← Todas las publicaciones

Opinión

De human in the loop a human in control: qué significan los cinco niveles del desarrollo impulsado por IA para una empresa de seguridad

Tengo una confesión que hacer. En nuestro equipo de desarrollo, casi nadie lee ya el código línea por línea. Hace un año lo habría calificado de negligente, sobre todo en una empresa que crea software de seguridad. Hoy estoy convencido de lo contrario: las herramientas que usamos revisan nuestro código con más cuidado del que lo hicimos nunca nosotros mismos.

Dos lecturas recientes me han ayudado a poner palabras a lo que estamos viviendo. La primera es el blog The Five Levels de Dan Shapiro, publicado en enero de 2026, que describe cinco niveles de desarrollo de software impulsado por IA, desde el “spicy autocomplete” (autocompletado picante) hasta la “dark factory” (fábrica a oscuras). La segunda es el nuevo libro de Ethan Mollick, Co-Existence, publicado en octubre de 2026, sobre cómo vivir y trabajar junto a máquinas que a veces son más listas que nosotros. Al leerlos juntos, me di cuenta de que nuestra empresa ha llegado al nivel cuatro y está creciendo poco a poco hacia el nivel cinco. Y, sobre todo, me di cuenta de que una de las suposiciones más persistentes de nuestro sector merece una revisión: la idea de que siempre tiene que haber una persona “in the loop” (en el circuito).

¿Cuáles son los cinco niveles del desarrollo de software impulsado por IA?

Shapiro toma prestado su marco de los niveles de automatización de la conducción. En el nivel cero, cada carácter lo escribe una persona. En el nivel uno, delegas tareas pequeñas y concretas, como escribir un unit test. En el nivel dos, trabajas en pareja con la IA como con un colega; según Shapiro, aquí vive la mayoría de los desarrolladores que se declaran “AI-native”. En el nivel tres, la IA escribe el código y el desarrollador pasa a ser revisor, y se pasa el día leyendo diffs. Shapiro observa que casi todo el mundo se queda ahí.

El nivel cuatro es distinto. El desarrollador ya no es un desarrollador, ni un responsable de desarrollo, sino algo más parecido a un product manager. Escribes la especificación, discutes con ella, construyes las skills que usan tus agentes, revisas planes y después te marchas y compruebas más tarde si los tests pasan. El nivel cinco es lo que Shapiro llama la dark factory: una caja negra que convierte especificaciones en software, llamada así por las fábricas de robots donde las personas ni hacen falta ni son bienvenidas.

Nuestros ingenieros dedican ahora su tiempo a especificaciones, skills y diseño de tests, en lugar de leer diffs. Eso es el nivel cuatro. No estamos en el nivel cinco, porque las personas siguen decidiendo qué se construye, cómo se prueba y qué se permite en producción. Como explicaré, no estoy seguro de que alguna vez queramos que las luces se apaguen del todo.

¿Es seguro dejar que la IA escriba software de seguridad?

Es una pregunta legítima, y me la he hecho muchas veces. Las pruebas de que el código generado por IA sin control es arriesgado son reales. Una nota de investigación de la Cloud Security Alliance cita un análisis de CodeRabbit sobre pull requests reales, según el cual el código generado por IA contenía 2,74 veces más problemas de seguridad que el escrito por personas. Una comparación académica a gran escala publicada en 2025 llegó a una conclusión similar: el código generado por IA tiende a ser más simple, pero es más probable que contenga vulnerabilidades de alta gravedad.

Algunas empresas han ido mucho más lejos que nosotros. En febrero de 2026, el equipo de IA de StrongDM, una empresa que desarrolla software de gestión de accesos y seguridad, describió su “Software Factory”, regida por dos reglas: el código no lo puede escribir ninguna persona, y el código no lo puede revisar ninguna persona. Simon Willison, que visitó al equipo, comentó que el software de seguridad es lo último que uno esperaría ver construido así. Investigadores de Stanford Law School plantearon una objeción más afilada: cuando la misma clase de tecnología escribe el código y además juzga si funciona, se corre el riesgo de un sistema circular que se corrige sus propios deberes.

Me tomo ambas críticas en serio. Pero, leídas con atención, apuntan a la misma conclusión. El riesgo no está en que la IA escriba el código. Está en la ausencia de una verificación seria e independiente. Ahí es donde está el trabajo de verdad.

¿Puede la IA revisar código mejor que las personas?

Durante mucho tiempo dimos por hecho que las personas tenían que comprobar el trabajo de la IA. Lo que hemos descubierto en la práctica es que la IA es mucho mejor comprobando el trabajo de las personas, y el de otras IA.

No es un deseo ilusorio. Cuando OpenSSL, una de las bases de código más escrutadas del mundo, publicó doce nuevas vulnerabilidades en enero de 2026, las doce las había descubierto el sistema de IA de la start-up de seguridad AISLE, según la propia empresa. En su informe de mayo de 2026 The Bugpocalypse Threshold, la Cloud Security Alliance describe cómo las herramientas de IA pueden revisar ya millones de líneas de código en horas en lugar de semanas. También señala que el agente Big Sleep de Google fue el primer agente de IA documentado en encontrar un fallo explotable y hasta entonces desconocido en software ampliamente desplegado, la base de datos SQLite, sin dirección humana.

Seamos sinceros con la revisión humana. Nos cansamos. Leemos por encima. Confiamos en un colega cuyo trabajo siempre ha estado bien. Aprobamos la pull request grande un viernes por la tarde porque parece razonable. Un revisor automático bien instruido no hace nada de eso. Abandonar la revisión manual resultó incómodo al principio, casi como soltar el volante. Eso cambió cuando vimos, una y otra vez, que las herramientas detectaban lo que nosotros habríamos pasado por alto.

Los lectores habituales quizá noten un cambio. En octubre escribí que cada cambio en nuestra empresa lo revisa una persona que lo entiende antes de que llegue a producción. En cierto sentido sigue siendo así: una persona decide qué entra en producción. Lo que ha cambiado en las últimas semanas es quién, o qué, hace la lectura. La revisión línea por línea ha pasado a nuestras herramientas, porque han resultado ser más minuciosas que nosotros.

Esto no significa que el código escrito por IA sea seguro por defecto. La investigación citada deja claro que no lo es. Significa que la verificación por IA, si está bien diseñada y bien organizada en capas, es más minuciosa que la verificación humana por sí sola.

¿Dónde reside realmente el control?

“Human in the loop” significa que una persona comprueba cada paso. “Human in control” significa que las personas diseñan el sistema que hace la comprobación y deciden qué es suficientemente bueno. Piensa en un piloto de avión. El piloto automático vuela la mayor parte del trayecto y, aun así, nadie considera que el piloto sobre. El piloto está al mando, no dentro del circuito de cada ajuste.

En Guardian360, el control empieza antes de escribir una sola línea de código. Nuestras especificaciones describen no solo casos de uso, sino también casos de abuso: ¿cómo podría usarse mal esta funcionalidad, y por quién? Hemos instruido a nuestras herramientas de IA para que sean críticas y, explícitamente, para que no se comporten como un “helpful intern” (becario servicial). Un becario servicial quiere complacerte, y un agente que quiere complacerte escribirá código que pasa el test en lugar de código que es correcto. Detrás hay las capas que esperarías en cualquier entorno maduro: linting, hardening, segmentación y role-based access control, junto con tests funcionales, de integración y unit tests. Varios modelos revisan el código desde ángulos distintos, de modo que ningún modelo califica su propio trabajo.

Hay una decisión que importa más de lo que parece. Ejecutamos un open-weight model propio, en nuestro propio clúster de servidores en los Países Bajos, con nuestras propias skills, capacidades y harness, y una prueba fija que todo modelo debe superar antes de que confiemos en él. Cuando eres dueño del harness, decides qué pueden ver, tocar y hacer los agentes. El control no es solo cuestión de supervisión; también es cuestión de propiedad.

¿Qué pasa cuando el código deja de ser el cuello de botella?

En octubre conté cómo reconstruimos nuestra plataforma en unos tres meses, un trabajo que antes llevaba más de tres años. La limitación se ha desplazado de la construcción a la implementación: mantener informados a los partners y mantener el producto simple. Cuando construir casi no cuesta nada, la disciplina que necesitamos no es la de entregar, sino la de decir que no. La velocidad frente a la seguridad sigue siendo mi mayor preocupación, y por eso mismo invertimos en verificación y no en más manos sobre el teclado.

¿Qué pasa con los desarrolladores cuando programar ya no es el trabajo?

Ya he escrito antes sobre el coste humano del desarrollo asistido por IA y sobre lo que provoca en la corriente de fondo de una organización. Pasar del nivel tres al nivel cuatro añade un giro que no esperaba. Una investigación que cité antes concluyó que supervisar la IA es la forma de uso de la IA que más desgasta mentalmente, y leer diffs todo el día es exactamente eso. En el nivel cuatro, los ingenieros dejan de realizar las comprobaciones y empiezan a diseñarlas: escriben especificaciones, definen casos de abuso y deciden qué significa “good” (bueno). Es más exigente intelectualmente, pero muy posiblemente agota menos.

Shapiro bromea diciendo que en el nivel cuatro te has convertido en lo que antes detestabas, un project manager. En nuestro equipo se parece más a convertirse en arquitecto de la confianza. No todo el mundo lo acepta de inmediato, y como líder creo que es importante decirlo en voz alta. Para algunos, soltar el código se siente como una pérdida de oficio, y la cultura de un equipo se forma con aquello a lo que la gente dedica sus días.

Nivel cinco, con las luces encendidas

La dark factory de Shapiro es un lugar donde las personas ni hacen falta ni son bienvenidas. No es hacia ahí donde vamos. Estamos creciendo hacia el nivel cinco en el sentido de que cada vez más parte del proceso funciona de forma autónoma, de la especificación al software que funciona. Pero las luces siguen encendidas.

No porque desconfiemos de las máquinas, sino porque la responsabilidad no se puede delegar en una fábrica. Nuestros partners y sus clientes no confían en nosotros porque una persona haya leído cada línea de código. Confían en nosotros porque las personas siguen siendo responsables del sistema que lo produce y de las decisiones sobre lo que se le permite hacer.

Así que me gustaría dejarte con dos preguntas. ¿En qué punto de la escala de Shapiro está tu equipo de desarrollo? Y cuando algo sale mal, ¿puedes decir quién tenía el control, y no solo quién estaba en el circuito?

Fuentes