Holdning
Fra human in the loop til human in control: hvad de fem niveauer af AI-drevet udvikling betyder for en sikkerhedsvirksomhed
Jeg har en tilståelse. I vores udviklingsteam er der næsten ingen, der læser kode linje for linje længere. For et år siden ville jeg have kaldt det uansvarligt, især for en virksomhed, der bygger sikkerhedssoftware. I dag er jeg overbevist om det modsatte: de værktøjer, vi bruger, kontrollerer vores kode grundigere, end vi nogensinde selv gjorde.
To nylige læseoplevelser har hjulpet mig med at sætte ord på det, vi oplever. Den første er Dan Shapiros blog The Five Levels, udgivet i januar 2026, som beskriver fem niveauer af AI-drevet softwareudvikling, fra “spicy autocomplete” til “dark factory”. Den anden er Ethan Mollicks nye bog Co-Existence, udgivet i oktober 2026, om at leve og arbejde side om side med maskiner, der nogle gange er klogere end os. Da jeg læste dem ved siden af hinanden, gik det op for mig, at vores virksomhed har nået niveau fire og langsomt er på vej mod niveau fem. Endnu vigtigere gik det op for mig, at en af de mest sejlivede antagelser i vores branche fortjener at blive taget op igen: ideen om, at et menneske altid skal være “human in the loop”, altså være med i loopet.
Hvad er de fem niveauer af AI-drevet softwareudvikling?
Shapiro låner sin model fra niveauerne for automatisk kørsel. På niveau nul bliver hvert eneste tegn skrevet af et menneske. På niveau et giver du små, afgrænsede opgaver videre, for eksempel at skrive en unit test. På niveau to arbejder du sammen med AI som med en kollega; ifølge Shapiro er det her, de fleste selvudnævnte “AI-native” udviklere befinder sig. På niveau tre skriver AI koden, og udvikleren bliver en reviewer, der bruger dagen på at læse diffs. Shapiro bemærker, at næsten alle ender med at toppe her.
Niveau fire er anderledes. Udvikleren er ikke længere udvikler, og heller ikke udviklingschef, men noget, der ligner en produktansvarlig. Du skriver specifikationen, du diskuterer med den, du bygger de skills, dine agenter bruger, du gennemgår planer, og så går du din vej og tjekker senere, om testene består. Niveau fem er det, Shapiro kalder dark factory: en sort boks, der omsætter specifikationer til software, opkaldt efter robotfabrikker, hvor mennesker hverken er nødvendige eller velkomne.
Vores ingeniører bruger nu deres tid på specifikationer, skills og testdesign frem for på at læse diffs. Det er niveau fire. Vi er ikke på niveau fem, fordi mennesker stadig bestemmer, hvad der bliver bygget, hvordan det testes, og hvad der slipper ind i produktion. Som jeg vil forklare, er jeg ikke sikker på, at vi nogensinde vil have, at lyset slukkes helt.
Er det sikkert at lade AI skrive sikkerhedssoftware?
Det er et rimeligt spørgsmål, og et jeg har stillet mig selv mange gange. Beviserne for, at ukontrolleret AI-genereret kode er risikabel, er reelle. En forskningsnote fra Cloud Security Alliance henviser til en analyse fra CodeRabbit af pull requests fra den virkelige verden, som viste, at AI-genereret kode indeholdt 2,74 gange flere sikkerhedsproblemer end kode skrevet af mennesker. En akademisk sammenligning i stor skala, udgivet i 2025, nåede frem til en lignende konklusion: AI-genereret kode er ofte enklere, men har større sandsynlighed for at indeholde alvorlige sårbarheder.
Nogle virksomheder er gået langt videre end os. I februar 2026 beskrev AI-teamet hos StrongDM, en virksomhed der bygger software til adgangsstyring og sikkerhed, sin “Software Factory”, som styres af to regler: kode må ikke skrives af mennesker, og kode må ikke gennemgås af mennesker. Simon Willison, som besøgte teamet, bemærkede, at sikkerhedssoftware er det sidste, man ville forvente at se bygget på denne måde. Forskere ved Stanford Law School rejste en skarpere indvending: når den samme type teknologi både skriver koden og vurderer, om den virker, risikerer man et cirkulært system, der giver sig selv karakter for sit eget hjemmearbejde.
Jeg tager begge pointer alvorligt. Men læser man dem grundigt, peger de på den samme konklusion. Risikoen ligger ikke i, at AI skriver koden. Den ligger i fraværet af seriøs, uafhængig verifikation. Det er dér, det egentlige arbejde ligger.
Kan AI gennemgå kode bedre end mennesker?
I lang tid gik vi ud fra, at mennesker måtte kontrollere AI’s arbejde. Det, vi har opdaget i praksis, er, at AI er langt bedre til at kontrollere menneskers arbejde, og andre AI’ers.
Det er ikke ønsketænkning. Da OpenSSL, en af verdens mest gennemgåede kodebaser, offentliggjorde tolv nye sårbarheder i januar 2026, var alle tolv ifølge virksomheden selv fundet af AI-systemet fra sikkerhedsstartuppen AISLE. I sin rapport The Bugpocalypse Threshold fra maj 2026 beskriver Cloud Security Alliance, hvordan AI-værktøjer nu kan gennemgå millioner af kodelinjer på timer i stedet for uger. Rapporten nævner også, at Googles Big Sleep-agent blev den første dokumenterede AI-agent, der uden menneskelig styring fandt en hidtil ukendt, udnyttelig fejl i bredt udbredt software, databasen SQLite.
Lad os være ærlige om menneskelig gennemgang. Vi bliver trætte. Vi skimmer. Vi stoler på en kollega, hvis arbejde altid har været i orden. Vi godkender den store pull request en fredag eftermiddag, fordi den ser rimelig ud. En veludrustet maskinel reviewer gør ingen af delene. Det føltes utrygt i begyndelsen at gå væk fra manuel gennemgang, næsten som at give slip på rattet. Det ændrede sig, da vi igen og igen så, at værktøjerne fangede det, vi selv ville have overset.
Faste læsere vil måske lægge mærke til et skifte. I oktober skrev jeg, at hver ændring hos os bliver gennemgået af en person, der forstår den, før den når produktion. På ét plan gælder det stadig: et menneske beslutter, hvad der går i produktion. Det, der har ændret sig i ugerne siden, er, hvem eller hvad der læser. Gennemgangen linje for linje er flyttet over til vores værktøjer, fordi de viste sig at være mere grundige, end vi var.
Det betyder ikke, at AI-skrevet kode er sikker som udgangspunkt. Den forskning, jeg nævnte ovenfor, gør det klart, at det ikke er tilfældet. Det betyder, at verifikation med AI, hvis den er godt designet og lagt i de rette lag, er mere grundig end verifikation udelukkende ved hjælp af mennesker.
Hvor ligger kontrollen egentlig?
“Human in the loop” betyder, at et menneske tjekker hvert eneste trin. “Human in control” betyder, at mennesker designer det system, der udfører kontrollen, og bestemmer, hvad der er godt nok. Tænk på en flypilot. Autopiloten flyver det meste af rejsen, men ingen betragter piloten som overflødig. Piloten har kommandoen, men er ikke med i loopet for hver eneste justering.
Hos Guardian360 begynder kontrollen, før der er skrevet en eneste kodelinje. Vores specifikationer beskriver ikke kun use cases, men også abuse cases: hvordan kan denne funktion blive misbrugt, og af hvem? Vi har instrueret vores AI-værktøjer i at være kritiske og udtrykkeligt ikke opføre sig som en “helpful intern”, en hjælpsom praktikant. En hjælpsom praktikant vil gerne tilfredsstille dig, og en agent, der vil tilfredsstille dig, skriver kode, der består testen, i stedet for kode, der er rigtig. Bag det ligger de lag, man kan forvente i ethvert modent miljø: linting, hardening, segmentering og role-based access control, sammen med funktionelle tests, integrationstests og unit tests. Flere modeller gennemgår koden fra forskellige vinkler, så ingen enkelt model bedømmer sit eget arbejde.
Ét valg betyder mere, end det måske ser ud til. Vi kører selv en open-weight model i vores eget servercluster i Holland, med vores egne skills, kapabiliteter og harness, og en fast test, som enhver model skal bestå, før vi stoler på den. Når du ejer din harness, bestemmer du, hvad agenter kan se, røre ved og gøre. Kontrol er ikke kun et spørgsmål om tilsyn; det er også et spørgsmål om ejerskab.
Hvad sker der, når kode ikke længere er flaskehalsen?
I oktober beskrev jeg, hvordan vi genopbyggede vores platform på cirka tre måneder, et arbejde, der tidligere tog mere end tre år. Begrænsningen er flyttet fra at bygge til at implementere: at holde partnere informeret og holde produktet enkelt. Når det næsten ikke koster noget at bygge, er den disciplin, vi har brug for, ikke disciplinen til at levere, men disciplinen til at sige nej. Fart over for sikkerhed er fortsat min største bekymring, og netop derfor investerer vi i verifikation frem for i flere hænder på tastaturerne.
Hvad sker der med udviklerne, når kodning ikke længere er jobbet?
Jeg har tidligere skrevet om de menneskelige omkostninger ved AI-understøttet udvikling og om hvad det gør ved en organisations understrøm. Overgangen fra niveau tre til niveau fire tilføjer en drejning, jeg ikke havde forventet. Forskning, jeg tidligere har citeret, fandt, at det at føre tilsyn med AI er den mentalt mest krævende form for brug af AI, og at læse diffs hele dagen er præcis det. På niveau fire holder ingeniørerne op med at udføre kontrollerne og begynder at designe dem: de skriver specifikationer, definerer abuse cases og beslutter, hvordan “good” ser ud. Det er mere krævende intellektuelt, men det er meget muligt, at det er mindre opslidende.
Shapiro spøger med, at du på niveau fire er blevet det, du plejede at afsky, en projektleder. I vores team føles det mere som at blive arkitekt for tillid. Ikke alle tager det til sig med det samme, og som leder synes jeg, det er vigtigt at sige det højt. For nogle føles det at give slip på koden som et tab af håndværk, og et teams kultur formes af det, folk bruger deres dage på.
Niveau fem, med lyset tændt
Shapiros dark factory er et sted, hvor mennesker hverken er nødvendige eller velkomne. Det er ikke dér, vi er på vej hen. Vi vokser mod niveau fem i den forstand, at mere og mere af processen kører autonomt, fra specifikation til fungerende software. Men lyset forbliver tændt.
Ikke fordi vi mistror maskinerne, men fordi ansvar ikke kan uddelegeres til en fabrik. Vores partnere og deres kunder stoler ikke på os, fordi et menneske har læst hver eneste kodelinje. De stoler på os, fordi mennesker forbliver ansvarlige for det system, der producerer den, og for beslutningerne om, hvad det må gøre.
Så jeg vil gerne efterlade dig med to spørgsmål. Hvor er dit udviklingsteam på Shapiros skala? Og når noget går galt, kan du så sige, hvem der havde kontrollen, og ikke blot hvem der var i loopet?
Kilder
- Dan Shapiro, “The Five Levels: from Spicy Autocomplete to the Dark Factory” (23. januar 2026), https://www.danshapiro.com/blog/2026/01/the-five-levels-from-spicy-autocomplete-to-the-software-factory/
- Ethan Mollick, “Co-Existence: The Next Phase of AI” (Portfolio / Penguin Random House, oktober 2026), https://co-existence.ai/
- Simon Willison, “How StrongDM’s AI team build serious software without even looking at the code” (7. februar 2026), https://simonwillison.net/2026/feb/7/software-factory/
- Stanford Law School, “Built by Agents, Tested by Agents, Trusted by Whom?” (2026), https://law.stanford.edu/?p=557739
- Cloud Security Alliance, “Vibe Coding Security Crisis: Credential Sprawl and SDLC Debt” (forskningsnote, 2026), https://labs.cloudsecurityalliance.org/research/csa-research-note-ai-generated-code-security-vibe-coding-202/
- “Human-Written vs. AI-Generated Code: A Large-Scale Study of Defects, Vulnerabilities, and Complexity” (arXiv, 2025), https://arxiv.org/pdf/2508.21634
- Cloud Security Alliance, “The Bugpocalypse Threshold” (21. maj 2026), https://labs.cloudsecurityalliance.org/research/ai-accelerated-vuln-discovery-patch-capacity-whitepaper-v1-0/
- AISLE, “AI found 12 of 12 OpenSSL zero-days” (januar 2026), https://www.greaterwrong.com/posts/7aJwgbMEiKq5egQbd/ai-found-12-of-12-openssl-zero-days-while-curl-cancelled-its
- Guardian360, “We now build in three months what took us three years” (12. oktober 2026), https://guardian360.net/da/blog/we-now-build-in-three-months-what-took-us-three-years/
- Guardian360, “AI took away the typing, not the thinking” (19. oktober 2026), https://guardian360.net/da/blog/ai-took-away-the-typing-not-the-thinking/
- Guardian360, “AI agents need no social maintenance. Your organisation does” (25. oktober 2026), https://guardian360.net/da/blog/ai-agents-need-no-social-maintenance/
- Guardian360, “We tested our self-hosted LLMs and accidentally built a game” (1. oktober 2026), https://guardian360.net/da/blog/we-tested-our-self-hosted-llms-and-accidentally-built-a-game/