Meinung
Vom Human in the Loop zum Human in Control: Was die fünf Stufen der KI-getriebenen Entwicklung für ein Sicherheitsunternehmen bedeuten
Ich muss ein Geständnis ablegen. In unserem Entwicklungsteam liest kaum noch jemand Code Zeile für Zeile. Vor einem Jahr hätte ich das als fahrlässig bezeichnet, erst recht für ein Unternehmen, das Sicherheitssoftware entwickelt. Heute bin ich vom Gegenteil überzeugt: Die Werkzeuge, die wir einsetzen, prüfen unseren Code sorgfältiger, als wir es selbst je getan haben.
Zwei aktuelle Lektüren haben mir geholfen, in Worte zu fassen, was wir erleben. Die erste ist Dan Shapiros Blogbeitrag The Five Levels, erschienen im Januar 2026, der fünf Stufen der KI-getriebenen Softwareentwicklung beschreibt, von “spicy autocomplete” (sinngemäß: überzüchtete Autovervollständigung) bis zur “dark factory”. Die zweite ist Ethan Mollicks neues Buch Co-Existence, erschienen im Oktober 2026, über das Leben und Arbeiten an der Seite von Maschinen, die manchmal klüger sind als wir. Beim parallelen Lesen wurde mir klar, dass unser Unternehmen Stufe vier erreicht hat und langsam auf Stufe fünf zuwächst. Wichtiger noch: Mir wurde klar, dass eine der hartnäckigsten Annahmen unserer Branche eine Neubewertung verdient, nämlich die Vorstellung, dass immer ein Mensch “in the loop” sein müsse.
Was sind die fünf Stufen der KI-getriebenen Softwareentwicklung?
Shapiro übernimmt sein Modell von den Stufen der Fahrautomatisierung. Auf Stufe null tippt ein Mensch jedes einzelne Zeichen. Auf Stufe eins übergeben Sie kleine, abgegrenzte Aufgaben wie das Schreiben eines unit test. Auf Stufe zwei arbeiten Sie mit der KI wie mit einem Kollegen im Pair Programming; laut Shapiro leben hier die meisten selbsternannten “AI-native” Entwickler. Auf Stufe drei schreibt die KI den Code, und der Entwickler wird zum Reviewer, der den Tag mit dem Lesen von diffs verbringt. Shapiro beobachtet, dass fast alle an dieser Stelle ihre Grenze erreichen.
Stufe vier ist anders. Der Entwickler ist kein Entwickler mehr und auch kein Entwicklungsleiter, sondern etwas, das einem Product Manager näherkommt. Sie schreiben die Spezifikation, Sie streiten mit ihr, Sie bauen die Skills, die Ihre Agenten verwenden, Sie prüfen Pläne, und dann gehen Sie weg und kontrollieren später, ob die Tests bestehen. Stufe fünf nennt Shapiro die dark factory: eine Blackbox, die Spezifikationen in Software verwandelt, benannt nach den Roboterfabriken, in denen Menschen weder gebraucht noch gewollt sind.
Unsere Entwickler verbringen ihre Zeit heute mit Spezifikationen, Skills und Testdesign statt mit dem Lesen von diffs. Das ist Stufe vier. Auf Stufe fünf sind wir nicht, denn Menschen entscheiden weiterhin, was gebaut wird, wie es getestet wird und was in die Produktion darf. Wie ich noch erläutern werde, bin ich nicht sicher, ob wir jemals wollen, dass die Lichter ganz ausgehen.
Ist es sicher, KI Sicherheitssoftware schreiben zu lassen?
Das ist eine berechtigte Frage, und ich habe sie mir oft gestellt. Die Belege dafür, dass ungeprüfter KI-generierter Code riskant ist, sind real. Eine Research Note der Cloud Security Alliance zitiert eine Analyse von CodeRabbit zu echten pull requests, nach der KI-generierter Code 2,74-mal mehr Sicherheitsprobleme enthielt als von Menschen geschriebener Code. Ein groß angelegter akademischer Vergleich aus dem Jahr 2025 kam zu einem ähnlichen Ergebnis: KI-generierter Code ist tendenziell einfacher, enthält aber eher Schwachstellen mit hohem Schweregrad.
Manche Unternehmen sind deutlich weiter gegangen als wir. Im Februar 2026 beschrieb das KI-Team von StrongDM, einem Unternehmen, das Software für Zugriffsmanagement und Sicherheit entwickelt, seine “Software Factory”, die zwei Regeln folgt: Code darf nicht von Menschen geschrieben werden, und Code darf nicht von Menschen geprüft werden. Simon Willison, der das Team besucht hat, merkte an, dass Sicherheitssoftware das Letzte sei, was man auf diese Weise gebaut erwarten würde. Forschende der Stanford Law School brachten einen schärferen Einwand vor: Wenn dieselbe Klasse von Technologie sowohl den Code schreibt als auch beurteilt, ob er funktioniert, droht ein Zirkelschluss, bei dem das System seine eigenen Hausaufgaben benotet.
Beide Punkte nehme ich ernst. Aber genau gelesen führen sie zum selben Schluss. Das Risiko liegt nicht darin, dass KI den Code schreibt. Es liegt im Fehlen einer ernsthaften, unabhängigen Verifikation. Dort liegt die eigentliche Arbeit.
Kann KI Code besser prüfen als Menschen?
Lange gingen wir davon aus, dass Menschen die Arbeit der KI kontrollieren müssen. In der Praxis haben wir festgestellt, dass KI die Arbeit von Menschen und von anderer KI weitaus besser kontrolliert.
Das ist kein Wunschdenken. Als OpenSSL, eine der am genauesten untersuchten Codebasen der Welt, im Januar 2026 zwölf neue Schwachstellen veröffentlichte, wurden alle zwölf nach Angaben des Unternehmens selbst vom KI-System des Sicherheits-Start-ups AISLE entdeckt. In ihrem Paper The Bugpocalypse Threshold vom Mai 2026 beschreibt die Cloud Security Alliance, wie KI-Werkzeuge heute Millionen Codezeilen in Stunden statt in Wochen prüfen können. Außerdem hält sie fest, dass der Agent Big Sleep von Google der erste dokumentierte KI-Agent war, der ohne menschliche Anleitung eine bis dahin unbekannte, ausnutzbare Schwachstelle in weit verbreiteter Software gefunden hat, nämlich in der Datenbank SQLite.
Seien wir ehrlich, was menschliche Reviews angeht. Wir ermüden. Wir überfliegen. Wir vertrauen einem Kollegen, dessen Arbeit bisher immer in Ordnung war. Wir genehmigen den großen pull request am Freitagnachmittag, weil er vernünftig aussieht. Ein gut instruierter maschineller Reviewer tut nichts davon. Der Abschied vom manuellen Review fühlte sich anfangs unbequem an, fast als würden wir das Lenkrad loslassen. Das änderte sich, als wir immer wieder sahen, dass die Werkzeuge Dinge entdeckten, die wir übersehen hätten.
Aufmerksame Leserinnen und Leser bemerken vielleicht eine Verschiebung. Im Oktober schrieb ich, dass jede Änderung in unserem Unternehmen von einer Person geprüft wird, die sie versteht, bevor sie in die Produktion gelangt. In einem Sinne gilt das weiterhin: Ein Mensch entscheidet, was in die Produktion geht. Geändert hat sich in den letzten Wochen, wer oder was das Lesen übernimmt. Das zeilenweise Review ist auf unsere Werkzeuge übergegangen, weil sie sich als gründlicher erwiesen haben als wir.
Das heißt nicht, dass von KI geschriebener Code standardmäßig sicher ist. Die oben genannte Forschung macht deutlich, dass er es nicht ist. Es heißt, dass eine Verifikation durch KI, wenn sie gut konzipiert und sauber in Schichten aufgebaut ist, gründlicher ist als eine Verifikation allein durch Menschen.
Wo liegt die Kontrolle tatsächlich?
“Human in the loop” bedeutet, dass ein Mensch jeden Schritt prüft. “Human in control” bedeutet, dass Menschen das System entwerfen, das die Prüfung durchführt, und entscheiden, was gut genug ist. Denken Sie an einen Verkehrspiloten. Der Autopilot fliegt den größten Teil der Strecke, und trotzdem hält niemand den Piloten für überflüssig. Der Pilot führt das Kommando, er ist nicht Teil der Schleife jeder einzelnen Korrektur.
Bei Guardian360 beginnt die Kontrolle, bevor eine einzige Codezeile geschrieben wird. Unsere Spezifikationen beschreiben nicht nur Anwendungsfälle, sondern auch Missbrauchsfälle: Wie könnte diese Funktion missbraucht werden, und von wem? Wir haben unsere KI-Werkzeuge angewiesen, kritisch zu sein und ausdrücklich nicht wie ein “helpful intern” aufzutreten. Ein hilfsbereiter Praktikant will Ihnen gefallen, und ein Agent, der Ihnen gefallen will, schreibt Code, der den Test besteht, statt Code, der richtig ist. Dahinter liegen die Schichten, die Sie in jeder reifen Umgebung erwarten würden: linting, Härtung, Segmentierung und role-based access control, dazu funktionale Tests, Integrationstests und unit tests. Mehrere Modelle prüfen den Code aus unterschiedlichen Blickwinkeln, sodass kein Modell seine eigene Arbeit abnimmt.
Eine Entscheidung wiegt schwerer, als es scheint. Wir betreiben ein open-weight model selbst, in unserem eigenen Server-Cluster in den Niederlanden, mit eigenen Skills, eigenen Fähigkeiten und eigenem harness sowie einem festen Test, den jedes Modell bestehen muss, bevor wir ihm vertrauen. Wer das harness besitzt, bestimmt, was Agenten sehen, berühren und tun können. Kontrolle ist nicht nur eine Frage der Aufsicht; sie ist auch eine Frage des Eigentums.
Was passiert, wenn Code nicht mehr der Engpass ist?
Im Oktober habe ich beschrieben, wie wir unsere Plattform in etwa drei Monaten neu gebaut haben, eine Arbeit, für die wir früher mehr als drei Jahre brauchten. Die Einschränkung hat sich vom Bauen zur Implementierung verschoben: Partner informiert halten und das Produkt einfach halten. Wenn Bauen fast nichts kostet, brauchen wir nicht die Disziplin, zu liefern, sondern die Disziplin, Nein zu sagen. Tempo gegen Sicherheit bleibt meine größte Sorge, und genau deshalb investieren wir in Verifikation statt in mehr Hände auf Tastaturen.
Was geschieht mit Entwicklern, wenn Programmieren nicht mehr die Aufgabe ist?
Ich habe bereits über die menschlichen Kosten der KI-gestützten Entwicklung geschrieben und darüber, was sie mit der Unterströmung einer Organisation macht. Der Übergang von Stufe drei zu Stufe vier bringt eine Wendung mit sich, die ich nicht erwartet hatte. Die Forschung, die ich zuvor zitiert habe, ergab, dass die Beaufsichtigung von KI die geistig anstrengendste Form der KI-Nutzung ist, und den ganzen Tag diffs zu lesen ist genau das. Auf Stufe vier führen Entwickler die Prüfungen nicht mehr selbst durch, sondern entwerfen sie: Sie schreiben Spezifikationen, definieren Missbrauchsfälle und entscheiden, wie “good” aussieht. Das ist intellektuell anspruchsvoller, aber möglicherweise weniger zermürbend.
Shapiro scherzt, dass man auf Stufe vier zu dem geworden ist, was man früher verachtet hat, ein Projektmanager. In unserem Team fühlt es sich eher an, als würde man zum Architekten des Vertrauens. Nicht jeder macht sich das sofort zu eigen, und als Führungskraft halte ich es für wichtig, das offen auszusprechen. Für manche fühlt sich das Loslassen des Codes wie ein Verlust an Handwerkskunst an, und die Kultur eines Teams wird davon geprägt, womit Menschen ihre Tage verbringen.
Stufe fünf, bei eingeschaltetem Licht
Shapiros dark factory ist ein Ort, an dem Menschen weder gebraucht noch gewollt sind. Dorthin wollen wir nicht. Wir wachsen insofern auf Stufe fünf zu, als immer mehr vom Prozess autonom abläuft, von der Spezifikation bis zur funktionierenden Software. Aber das Licht bleibt an.
Nicht, weil wir den Maschinen misstrauen, sondern weil Verantwortung sich nicht an eine Fabrik delegieren lässt. Unsere Partner und deren Kunden vertrauen uns nicht, weil ein Mensch jede Codezeile gelesen hat. Sie vertrauen uns, weil Menschen für das System, das den Code erzeugt, und für die Entscheidungen darüber, was es tun darf, verantwortlich bleiben.
Deshalb möchte ich Ihnen zwei Fragen mitgeben. Wo steht Ihr Entwicklungsteam auf Shapiros Skala? Und wenn etwas schiefgeht, können Sie dann sagen, wer die Kontrolle hatte, und nicht nur, wer im Prozess war?
Quellen
- Dan Shapiro, “The Five Levels: from Spicy Autocomplete to the Dark Factory” (23 January 2026), https://www.danshapiro.com/blog/2026/01/the-five-levels-from-spicy-autocomplete-to-the-software-factory/
- Ethan Mollick, “Co-Existence: The Next Phase of AI” (Portfolio / Penguin Random House, October 2026), https://co-existence.ai/
- Simon Willison, “How StrongDM’s AI team build serious software without even looking at the code” (7 February 2026), https://simonwillison.net/2026/feb/7/software-factory/
- Stanford Law School, “Built by Agents, Tested by Agents, Trusted by Whom?” (2026), https://law.stanford.edu/?p=557739
- Cloud Security Alliance, “Vibe Coding Security Crisis: Credential Sprawl and SDLC Debt” (research note, 2026), https://labs.cloudsecurityalliance.org/research/csa-research-note-ai-generated-code-security-vibe-coding-202/
- “Human-Written vs. AI-Generated Code: A Large-Scale Study of Defects, Vulnerabilities, and Complexity” (arXiv, 2025), https://arxiv.org/pdf/2508.21634
- Cloud Security Alliance, “The Bugpocalypse Threshold” (21 May 2026), https://labs.cloudsecurityalliance.org/research/ai-accelerated-vuln-discovery-patch-capacity-whitepaper-v1-0/
- AISLE, “AI found 12 of 12 OpenSSL zero-days” (January 2026), https://www.greaterwrong.com/posts/7aJwgbMEiKq5egQbd/ai-found-12-of-12-openssl-zero-days-while-curl-cancelled-its
- Guardian360, “We now build in three months what took us three years” (12 October 2026), https://guardian360.net/de/blog/we-now-build-in-three-months-what-took-us-three-years/
- Guardian360, “AI took away the typing, not the thinking” (19 October 2026), https://guardian360.net/de/blog/ai-took-away-the-typing-not-the-thinking/
- Guardian360, “AI agents need no social maintenance. Your organisation does” (25 October 2026), https://guardian360.net/de/blog/ai-agents-need-no-social-maintenance/
- Guardian360, “We tested our self-hosted LLMs and accidentally built a game” (1 October 2026), https://guardian360.net/de/blog/we-tested-our-self-hosted-llms-and-accidentally-built-a-game/