Opinião
Do human in the loop ao human in control: o que significam os cinco níveis de desenvolvimento com IA para uma empresa de segurança
Tenho uma confissão a fazer. Na nossa equipa de desenvolvimento, quase ninguém lê código linha a linha. Há um ano, eu teria chamado a isso negligência, sobretudo numa empresa que constrói software de segurança. Hoje estou convencido do contrário: as ferramentas que usamos verificam o nosso código com mais cuidado do que alguma vez o fizemos nós próprios.
Duas leituras recentes ajudaram-me a pôr em palavras aquilo que estamos a viver. A primeira é o blogue The Five Levels de Dan Shapiro, publicado em janeiro de 2026, que descreve cinco níveis de desenvolvimento de software com IA, do “spicy autocomplete” (autocompletar picante) à “dark factory” (fábrica às escuras). A segunda é o novo livro de Ethan Mollick, Co-Existence, publicado em outubro de 2026, sobre viver e trabalhar ao lado de máquinas que por vezes são mais inteligentes do que nós. Ao lê-los em conjunto, percebi que a nossa empresa chegou ao nível quatro e está a crescer lentamente em direção ao nível cinco. Mais importante ainda, percebi que um dos pressupostos mais persistentes do nosso setor merece ser revisto: a ideia de que tem de haver sempre um humano “in the loop”.
Quais são os cinco níveis de desenvolvimento de software com IA?
Shapiro vai buscar o seu modelo aos níveis de automação da condução. No nível zero, cada caractere é escrito por um humano. No nível um, delegas tarefas pequenas e bem delimitadas, como escrever um unit test. No nível dois, trabalhas em par com a IA como se fosse um colega; segundo Shapiro, é aqui que vive a maioria dos programadores que se dizem “AI-native”. No nível três, é a IA que escreve o código e o programador torna-se um revisor que passa o dia a ler diffs. Shapiro observa que quase toda a gente fica por aí.
O nível quatro é diferente. O programador já não é programador, nem gestor de desenvolvimento, mas algo mais próximo de um product manager. Escreves a especificação, discutes com ela, constróis as skills que os teus agentes utilizam, revês planos e depois afastas-te e verificas mais tarde se os testes passam. O nível cinco é aquilo a que Shapiro chama a “dark factory”: uma caixa negra que transforma especificações em software, com o nome inspirado nas fábricas de robôs onde os humanos não são necessários nem bem-vindos.
Os nossos engenheiros ocupam hoje o tempo com especificações, skills e desenho de testes, em vez de ler diffs. Isso é o nível quatro. Não estamos no nível cinco, porque os humanos continuam a decidir o que é construído, como é testado e o que pode entrar em produção. Como vou explicar, não tenho a certeza de que alguma vez queiramos que as luzes se apaguem por completo.
É seguro deixar a IA escrever software de segurança?
É uma pergunta legítima, e fi-la a mim próprio muitas vezes. As provas de que o código gerado por IA sem controlo é arriscado são reais. Uma nota de investigação da Cloud Security Alliance cita uma análise da CodeRabbit a pull requests reais, que concluiu que o código gerado por IA continha 2,74 vezes mais problemas de segurança do que o código escrito por humanos. Uma comparação académica em grande escala, publicada em 2025, chegou a uma conclusão semelhante: o código gerado por IA tende a ser mais simples, mas é mais provável que contenha vulnerabilidades de gravidade elevada.
Algumas empresas foram muito mais longe do que nós. Em fevereiro de 2026, a equipa de IA da StrongDM, uma empresa que constrói software de gestão de acessos e de segurança, descreveu a sua “Software Factory”, regida por duas regras: o código não pode ser escrito por humanos e o código não pode ser revisto por humanos. Simon Willison, que visitou a equipa, comentou que o software de segurança é a última coisa que se esperaria ver construída desta forma. Investigadores da Stanford Law School levantaram uma objeção mais incisiva: quando a mesma classe de tecnologia escreve o código e também avalia se ele funciona, corres o risco de ter um sistema circular que corrige os seus próprios trabalhos.
Levo ambos os argumentos a sério. Mas, lidos com atenção, apontam para a mesma conclusão. O risco não está em a IA escrever o código. Está na ausência de uma verificação séria e independente. É aí que está o verdadeiro trabalho.
Pode a IA rever código melhor do que os humanos?
Durante muito tempo assumimos que eram os humanos que tinham de verificar o trabalho da IA. O que descobrimos na prática é que a IA é muito melhor a verificar o trabalho dos humanos, e de outra IA.
Isto não é wishful thinking. Quando o OpenSSL, uma das bases de código mais escrutinadas do mundo, publicou doze novas vulnerabilidades em janeiro de 2026, todas as doze tinham sido descobertas pelo sistema de IA da start-up de segurança AISLE, segundo a própria empresa. No seu artigo de maio de 2026, The Bugpocalypse Threshold, a Cloud Security Alliance descreve como as ferramentas de IA conseguem hoje rever milhões de linhas de código em horas e não em semanas. Refere também que o agente Big Sleep da Google foi o primeiro agente de IA documentado a encontrar uma falha desconhecida e explorável em software amplamente utilizado, a base de dados SQLite, sem direção humana.
Sejamos honestos quanto à revisão humana. Cansamo-nos. Lemos na diagonal. Confiamos num colega cujo trabalho sempre esteve bem. Aprovamos a pull request enorme numa sexta-feira à tarde porque parece razoável. Um revisor máquina bem instruído não faz nada disto. Deixar a revisão manual pareceu desconfortável ao início, quase como largar o volante. Isso mudou quando vimos, uma e outra vez, que as ferramentas apanhavam aquilo que nos teria escapado.
Os leitores habituais poderão notar uma mudança. Em outubro escrevi que cada alteração na nossa empresa é revista por uma pessoa que a compreende antes de chegar a produção. Num certo sentido, isso continua a ser verdade: é um humano que decide o que entra em produção. O que mudou nas semanas seguintes foi quem, ou o quê, faz a leitura. A revisão linha a linha passou para as nossas ferramentas, porque se revelaram mais minuciosas do que nós.
Isto não significa que o código escrito por IA seja seguro por defeito. A investigação acima deixa claro que não é. Significa que a verificação feita por IA, se for bem desenhada e organizada em camadas, é mais minuciosa do que a verificação feita apenas por humanos.
Onde vive realmente o controlo?
“Human in the loop” significa que um humano verifica cada passo. “Human in control” significa que os humanos desenham o sistema que faz a verificação e decidem o que é suficientemente “good”. Pensa num piloto de linha aérea. O piloto automático conduz a maior parte da viagem, e ainda assim ninguém considera o piloto dispensável. O piloto está no comando, não no ciclo de cada ajuste.
Na Guardian360, o controlo começa antes de ser escrita uma única linha de código. As nossas especificações descrevem não só casos de utilização, mas também casos de abuso: como poderia esta funcionalidade ser mal utilizada, e por quem? Instruímos as nossas ferramentas de IA a serem críticas e, explicitamente, a não se comportarem como um “helpful intern” (estagiário prestável). Um estagiário prestável quer agradar-te, e um agente que quer agradar-te escreverá código que passa no teste em vez de código que está certo. Por trás disso estão as camadas que esperarias em qualquer ambiente maduro: linting, hardening, segmentação e role-based access control, juntamente com testes funcionais, de integração e unit tests. Vários modelos revêem o código a partir de ângulos diferentes, para que nenhum modelo avalie o seu próprio trabalho.
Há uma escolha que importa mais do que parece. Executamos nós próprios um open-weight model, no nosso próprio cluster de servidores nos Países Baixos, com as nossas próprias skills, capacidades e harness, e com um teste fixo que cada modelo tem de superar antes de lhe darmos confiança. Quando és dono do harness, decides o que os agentes podem ver, tocar e fazer. O controlo não é apenas uma questão de supervisão; é também uma questão de propriedade.
O que acontece quando o código deixa de ser o gargalo?
Em outubro descrevi como reconstruímos a nossa plataforma em cerca de três meses, um trabalho que antes demorava mais de três anos. A restrição passou da construção para a implementação: manter os parceiros informados e manter o produto simples. Quando construir quase não custa nada, a disciplina de que precisamos não é a de entregar, mas a de dizer não. A velocidade versus a segurança continua a ser a minha maior preocupação, e é exatamente por isso que investimos em verificação e não em mais mãos no teclado.
O que acontece aos programadores quando programar deixa de ser o trabalho?
Já escrevi sobre o custo humano do desenvolvimento assistido por IA e sobre o que isso faz à corrente subterrânea de uma organização. A passagem do nível três para o nível quatro acrescenta uma reviravolta que eu não esperava. A investigação que citei anteriormente concluiu que supervisionar a IA é a forma de utilização de IA mais exigente do ponto de vista mental, e ler diffs o dia inteiro é exatamente isso. No nível quatro, os engenheiros deixam de executar as verificações e passam a desenhá-las: escrevem especificações, definem casos de abuso e decidem o que é “good”. É mais exigente do ponto de vista intelectual, mas pode muito bem ser menos desgastante.
Shapiro brinca dizendo que no nível quatro te tornaste aquilo que antes detestavas, um gestor de projeto. Na nossa equipa, parece-se mais com tornarmo-nos arquitetos de confiança. Nem todos abraçam isso de imediato e, como líder, penso que é importante dizê-lo em voz alta. Para alguns, largar o código é sentido como uma perda de mestria artesanal, e a cultura de uma equipa é moldada por aquilo a que as pessoas dedicam os seus dias.
Nível cinco, com as luzes acesas
A dark factory de Shapiro é um lugar onde os humanos não são necessários nem bem-vindos. Não é para lá que vamos. Estamos a crescer em direção ao nível cinco no sentido em que cada vez mais do processo corre de forma autónoma, da especificação ao software a funcionar. Mas as luzes ficam acesas.
Não porque desconfiemos das máquinas, mas porque a responsabilidade não pode ser delegada numa fábrica. Os nossos parceiros e os respetivos clientes não confiam em nós porque um humano leu cada linha de código. Confiam em nós porque os humanos continuam a responder pelo sistema que o produz e pelas decisões sobre aquilo que ele pode fazer.
Por isso, quero deixar-te duas perguntas. Onde está a tua equipa de desenvolvimento na escala de Shapiro? E quando algo corre mal, consegues dizer quem estava in control, e não apenas quem estava in the loop?
Fontes
- Dan Shapiro, “The Five Levels: from Spicy Autocomplete to the Dark Factory” (23 de janeiro de 2026), https://www.danshapiro.com/blog/2026/01/the-five-levels-from-spicy-autocomplete-to-the-software-factory/
- Ethan Mollick, “Co-Existence: The Next Phase of AI” (Portfolio / Penguin Random House, outubro de 2026), https://co-existence.ai/
- Simon Willison, “How StrongDM’s AI team build serious software without even looking at the code” (7 de fevereiro de 2026), https://simonwillison.net/2026/feb/7/software-factory/
- Stanford Law School, “Built by Agents, Tested by Agents, Trusted by Whom?” (2026), https://law.stanford.edu/?p=557739
- Cloud Security Alliance, “Vibe Coding Security Crisis: Credential Sprawl and SDLC Debt” (nota de investigação, 2026), https://labs.cloudsecurityalliance.org/research/csa-research-note-ai-generated-code-security-vibe-coding-202/
- “Human-Written vs. AI-Generated Code: A Large-Scale Study of Defects, Vulnerabilities, and Complexity” (arXiv, 2025), https://arxiv.org/pdf/2508.21634
- Cloud Security Alliance, “The Bugpocalypse Threshold” (21 de maio de 2026), https://labs.cloudsecurityalliance.org/research/ai-accelerated-vuln-discovery-patch-capacity-whitepaper-v1-0/
- AISLE, “AI found 12 of 12 OpenSSL zero-days” (janeiro de 2026), https://www.greaterwrong.com/posts/7aJwgbMEiKq5egQbd/ai-found-12-of-12-openssl-zero-days-while-curl-cancelled-its
- Guardian360, “We now build in three months what took us three years” (12 de outubro de 2026), https://guardian360.net/pt/blog/we-now-build-in-three-months-what-took-us-three-years/
- Guardian360, “AI took away the typing, not the thinking” (19 de outubro de 2026), https://guardian360.net/pt/blog/ai-took-away-the-typing-not-the-thinking/
- Guardian360, “AI agents need no social maintenance. Your organisation does” (25 de outubro de 2026), https://guardian360.net/pt/blog/ai-agents-need-no-social-maintenance/
- Guardian360, “We tested our self-hosted LLMs and accidentally built a game” (1 de outubro de 2026), https://guardian360.net/pt/blog/we-tested-our-self-hosted-llms-and-accidentally-built-a-game/