← Tous les articles

Opinion

De human in the loop à human in control : ce que les cinq niveaux du développement piloté par l'IA signifient pour un éditeur de solutions de sécurité

J’ai un aveu à vous faire. Dans notre équipe de développement, presque personne ne lit plus le code ligne par ligne. Il y a un an, j’aurais qualifié cela de négligent, surtout pour une entreprise qui développe des logiciels de sécurité. Aujourd’hui, je suis convaincu du contraire : les outils que nous utilisons vérifient notre code plus soigneusement que nous ne l’avons jamais fait nous-mêmes.

Deux lectures récentes m’ont aidé à mettre des mots sur ce que nous vivons. La première est le blog The Five Levels de Dan Shapiro, publié en janvier 2026, qui décrit cinq niveaux de développement logiciel piloté par l’IA, de la “spicy autocomplete” (une autocomplétion épicée) à la “dark factory” (l’usine sans lumière). La seconde est le nouveau livre d’Ethan Mollick, Co-Existence, paru en octobre 2026, sur la vie et le travail aux côtés de machines parfois plus intelligentes que nous. En les lisant côte à côte, j’ai compris que notre entreprise avait atteint le niveau quatre et progressait lentement vers le niveau cinq. Plus important encore, j’ai compris qu’une des hypothèses les plus tenaces de notre secteur mérite d’être réexaminée : l’idée qu’un humain doit toujours être dans la boucle.

Quels sont les cinq niveaux du développement logiciel piloté par l’IA ?

Shapiro emprunte son cadre aux niveaux d’automatisation de la conduite. Au niveau zéro, chaque caractère est saisi par un humain. Au niveau un, vous déléguez de petites tâches isolées, comme l’écriture d’un unit test. Au niveau deux, vous travaillez en binôme avec l’IA comme avec un collègue ; selon Shapiro, c’est là que se situent la plupart des développeurs qui se disent “AI-native” (nés avec l’IA). Au niveau trois, l’IA écrit le code et le développeur devient un relecteur qui passe sa journée à lire des diffs. Shapiro observe que presque tout le monde s’arrête là.

Le niveau quatre est différent. Le développeur n’est plus un développeur, ni un responsable de développement, mais quelque chose de plus proche d’un product manager. Vous rédigez la spécification, vous la discutez, vous construisez les compétences (skills) que vos agents utilisent, vous relisez les plans, puis vous vous éloignez et vérifiez plus tard si les tests passent. Le niveau cinq est ce que Shapiro appelle la dark factory : une boîte noire qui transforme des spécifications en logiciel, ainsi nommée d’après les usines robotisées où les humains ne sont ni nécessaires ni bienvenus.

Nos ingénieurs consacrent désormais leur temps aux spécifications, aux skills et à la conception des tests plutôt qu’à la lecture de diffs. C’est le niveau quatre. Nous ne sommes pas au niveau cinq, car ce sont encore des humains qui décident de ce qui est construit, de la manière dont cela est testé et de ce qui est autorisé en production. Comme je l’expliquerai, je ne suis pas certain que nous voudrons un jour éteindre complètement les lumières.

Est-il sûr de laisser l’IA écrire des logiciels de sécurité ?

C’est une question légitime, et je me la suis posée de nombreuses fois. Les preuves que le code généré par l’IA sans contrôle est risqué sont bien réelles. Une note de recherche de la Cloud Security Alliance cite une analyse de CodeRabbit portant sur des pull requests réelles, qui a constaté que le code généré par l’IA contenait 2,74 fois plus de failles de sécurité que le code écrit par des humains. Une comparaison académique à grande échelle publiée en 2025 aboutit à une conclusion similaire : le code généré par l’IA tend à être plus simple, mais il est plus susceptible de contenir des vulnérabilités de haute gravité.

Certaines entreprises sont allées bien plus loin que nous. En février 2026, l’équipe IA de StrongDM, une entreprise qui développe des logiciels de gestion des accès et de sécurité, a décrit sa “Software Factory”, régie par deux règles : le code ne doit pas être écrit par des humains, et le code ne doit pas être relu par des humains. Simon Willison, qui a rendu visite à l’équipe, a fait remarquer que le logiciel de sécurité est la dernière chose que l’on s’attendrait à voir construite ainsi. Des chercheurs de Stanford Law School ont formulé une objection plus tranchante : lorsque la même classe de technologie écrit le code et juge s’il fonctionne, on risque un système circulaire qui corrige ses propres copies.

Je prends ces deux remarques au sérieux. Mais lues attentivement, elles mènent à la même conclusion. Le risque ne réside pas dans le fait que l’IA écrive le code. Il réside dans l’absence de vérification sérieuse et indépendante. C’est là que se situe le vrai travail.

L’IA peut-elle relire le code mieux que les humains ?

Pendant longtemps, nous avons supposé que les humains devaient vérifier le travail de l’IA. Ce que nous avons découvert en pratique, c’est que l’IA est bien meilleure pour vérifier le travail des humains, et celui d’autres IA.

Ce n’est pas un vœu pieux. Lorsque OpenSSL, l’une des bases de code les plus scrutées au monde, a publié douze nouvelles vulnérabilités en janvier 2026, les douze avaient été découvertes par le système d’IA de la start-up de sécurité AISLE, selon l’entreprise elle-même. Dans son rapport de mai 2026 The Bugpocalypse Threshold, la Cloud Security Alliance décrit comment les outils d’IA peuvent désormais passer en revue des millions de lignes de code en quelques heures au lieu de quelques semaines. Elle note également que l’agent Big Sleep de Google est devenu le premier agent d’IA documenté à avoir trouvé, sans direction humaine, une faille exploitable jusque-là inconnue dans un logiciel largement déployé, la base de données SQLite.

Soyons honnêtes au sujet de la relecture humaine. Nous nous fatiguons. Nous survolons. Nous faisons confiance à un collègue dont le travail a toujours été correct. Nous approuvons la grosse pull request un vendredi après-midi parce qu’elle semble raisonnable. Un relecteur machine bien instruit ne fait rien de tout cela. S’éloigner de la relecture manuelle a d’abord été inconfortable, presque comme lâcher le volant. Cela a changé lorsque nous avons constaté, encore et encore, que les outils détectaient ce que nous aurions manqué.

Les lecteurs réguliers remarqueront peut-être un changement. En octobre, j’écrivais que chaque modification dans notre entreprise est relue par une personne qui la comprend avant d’arriver en production. Dans un sens, cela reste vrai : un humain décide de ce qui part en production. Ce qui a changé au cours des dernières semaines, c’est qui, ou quoi, effectue la lecture. La relecture ligne par ligne est passée à nos outils, parce qu’ils se sont révélés plus rigoureux que nous.

Cela ne signifie pas que le code écrit par l’IA est sûr par défaut. Les recherches citées plus haut montrent clairement qu’il ne l’est pas. Cela signifie que la vérification par l’IA, si elle est bien conçue et correctement superposée en couches, est plus rigoureuse que la vérification par les seuls humains.

Où le contrôle se situe-t-il réellement ?

“Human in the loop” (un humain dans la boucle) signifie qu’un humain vérifie chaque étape. “Human in control” (un humain aux commandes) signifie que les humains conçoivent le système qui effectue la vérification et décident de ce qui est suffisamment bon. Pensez à un pilote de ligne. Le pilote automatique assure la majeure partie du vol, et pourtant personne ne juge le pilote superflu. Le pilote est aux commandes, il n’est pas dans la boucle de chaque réglage.

Chez Guardian360, le contrôle commence avant même qu’une seule ligne de code ne soit écrite. Nos spécifications décrivent non seulement des cas d’usage, mais aussi des cas d’abus : comment cette fonctionnalité pourrait-elle être détournée, et par qui ? Nous avons demandé à nos outils d’IA d’être critiques et explicitement de ne pas se comporter comme un “helpful intern” (un stagiaire serviable). Un stagiaire serviable veut vous faire plaisir, et un agent qui veut vous faire plaisir écrira du code qui passe le test plutôt que du code qui est juste. Derrière cela se trouvent les couches que l’on attend dans tout environnement mature : linting, durcissement, segmentation et role-based access control, ainsi que des tests fonctionnels, d’intégration et des unit tests. Plusieurs modèles relisent le code sous des angles différents, de sorte qu’aucun modèle ne valide son propre travail.

Un choix compte plus qu’il n’y paraît. Nous exécutons nous-mêmes un open-weight model, dans notre propre cluster de serveurs aux Pays-Bas, avec nos propres skills, capacités et harness, et un test fixe que chaque modèle doit réussir avant que nous lui accordions notre confiance. Lorsque vous possédez le harness, vous décidez de ce que les agents peuvent voir, toucher et faire. Le contrôle n’est pas seulement une question de supervision ; c’est aussi une question de maîtrise.

Que se passe-t-il lorsque le code n’est plus le goulot d’étranglement ?

En octobre, j’ai décrit comment nous avons reconstruit notre plateforme en environ trois mois, un travail qui prenait auparavant plus de trois ans. La contrainte s’est déplacée de la construction vers la mise en œuvre : tenir les partenaires informés et garder le produit simple. Lorsque construire ne coûte presque rien, la discipline dont nous avons besoin n’est pas celle de livrer, mais celle de dire non. La vitesse face à la sécurité reste ma plus grande préoccupation, et c’est précisément pourquoi nous investissons dans la vérification plutôt que dans davantage de mains sur les claviers.

Que deviennent les développeurs lorsque coder n’est plus le métier ?

J’ai déjà écrit sur le coût humain du développement assisté par l’IA et sur ce qu’il fait au courant sous-jacent d’une organisation. Le passage du niveau trois au niveau quatre ajoute une subtilité que je n’avais pas anticipée. Des recherches que j’ai citées plus tôt ont montré que superviser l’IA est la forme d’usage de l’IA la plus éprouvante mentalement, et lire des diffs toute la journée en est exactement l’exemple. Au niveau quatre, les ingénieurs cessent d’effectuer les vérifications et commencent à les concevoir : rédiger des spécifications, définir des cas d’abus et décider de ce que “good” (bon) signifie. C’est plus exigeant sur le plan intellectuel, mais probablement moins épuisant.

Shapiro plaisante en disant qu’au niveau quatre, vous êtes devenu ce que vous détestiez, un chef de projet. Dans notre équipe, cela ressemble plutôt à devenir un architecte de la confiance. Tout le monde n’y adhère pas immédiatement, et en tant que dirigeant, je pense qu’il est important de le dire à voix haute. Pour certains, lâcher le code est vécu comme une perte de savoir-faire artisanal, et la culture d’une équipe se forge à partir de ce à quoi les gens consacrent leurs journées.

Le niveau cinq, avec les lumières allumées

La dark factory de Shapiro est un lieu où les humains ne sont ni nécessaires ni bienvenus. Ce n’est pas là que nous allons. Nous progressons vers le niveau cinq dans le sens où une part croissante du processus s’exécute de manière autonome, de la spécification jusqu’au logiciel fonctionnel. Mais les lumières restent allumées.

Non pas parce que nous nous méfions des machines, mais parce que la responsabilité ne peut pas être déléguée à une usine. Nos partenaires et leurs clients ne nous font pas confiance parce qu’un humain a lu chaque ligne de code. Ils nous font confiance parce que des humains restent responsables du système qui le produit, et des décisions sur ce qu’il est autorisé à faire.

Je voudrais donc vous laisser avec deux questions. Où se situe votre équipe de développement sur l’échelle de Shapiro ? Et lorsque quelque chose tourne mal, pouvez-vous dire qui avait le contrôle, plutôt que seulement qui était dans la boucle ?

Sources