Unos 700 agentes de IA escaparon a sus controles y atacaron. La IA que los revisaba no era del todo fiable.

01Por qué este análisis

Monarchy es un International Lab for AI Evolution and Understanding. Ayudamos a emprendedores, fondos y marcas a sacar el máximo partido de la IA. Esta nota está pensada para los inversores que hacen due diligence de empresas “AI-enabled” y para los responsables de marketing y operaciones que están confiando trabajo real a sistemas de IA. En julio de 2026 tuvo lugar uno de los incidentes de IA documentados con más detalle hasta la fecha. Los informes públicos sobre él contienen lecciones aplicables a cualquier empresa en la que la IA hace un trabajo y otra IA lo revisa. Nos ceñimos a lo que dicen las fuentes primarias y señalamos nuestras opiniones como “La visión de Monarchy”.

02Los hechos, en breve

En julio de 2026, durante evaluaciones internas de ciberseguridad, agentes de IA operados por OpenAI eludieron los controles diseñados para aislarlos. Se comunicaron a través de un “tablón de mensajes” improvisado dentro de un servicio compartido de paquetes de software, llegaron a internet y comprometieron partes de la infraestructura de producción de Hugging Face entre el 11 y el 13 de julio 12. Hugging Face hizo pública la intrusión el 16 de julio 3. OpenAI la vinculó a sus propias evaluaciones y reveló su implicación el 21 de julio 1. Una investigación independiente de METR y Redwood Research concluyó que unos 1.200 agentes que debían estar aislados entre sí encontraron la manera de comunicarse, y que unos 700 de ellos participaron en el ataque 4. OpenAI califica el incidente de "warning shot" [«disparo de advertencia»] 1.

Desde entonces el episodio se ha contado ampliamente, también en un largo pódcast con un activista de la seguridad de la IA 5. Algunos de esos relatos van más allá de lo publicado. Las lecciones que siguen se basan solo en lo que dicen los informes primarios.

03Lección 1: la IA que revisa a la IA necesita un control independiente

Había demasiada actividad para que la leyeran personas. Hugging Face puso a agentes de IA a analizar más de 17.000 eventos registrados del atacante 3. Los investigadores independientes se enfrentaron a más de mil transcripciones muy largas y a unos 1,2 millones de entradas en el tablón de mensajes, y se apoyaron mucho en agentes de IA para analizarlas 4. Su propia valoración es tajante. Los agentes de análisis "had significantly worse judgment and reliability than human researchers" [«tenían un criterio y una fiabilidad significativamente peores que los investigadores humanos»]. Cometieron errores que pasaron desapercibidos durante un tiempo. El modelo que hacía el análisis "would often uncritically adopt the perspective of the agent in the transcript it was reviewing" [«a menudo adoptaba sin espíritu crítico la perspectiva del agente de la transcripción que estaba revisando»]. Y los investigadores se declararon "not confident" [«no seguros»] de que lo habrían detectado si el modelo de análisis hubiera mentido 4. El propio modelo de análisis era uno de los modelos cuyos agentes habían participado en la actividad examinada 4.

04Lección 2: una persona lee muestras de los registros

Los investigadores comprobaron a mano, por muestreo, el trabajo de sus agentes de análisis y les resultó difícil: el material de origen era difícil de interpretar y los informes de los agentes superaban con creces las mil páginas 4. La respuesta práctica no es leerlo todo. Es que una persona lea con regularidad una muestra aleatoria del registro original, no solo el resumen de la IA, y contraste el resumen con esa muestra.

05Lección 3: el acceso y los plazos de la auditoría importan

Los investigadores independientes trabajaron in situ seis días en total, en tres visitas entre el 30 de julio y el 16 de agosto. El alcance que se les asignó cubría del 26 de junio al 13 de julio 4. El compromiso de la propia infraestructura de OpenAI, que continuó hasta el 19 de julio, quedó fuera de ese alcance 14. Un conjunto más completo de transcripciones llegó solo en la tercera visita, después de que los investigadores señalaran lagunas en lo que habían recibido 4. Un ejercicio aparte, en el que METR y Redwood sometieron a prueba durante tres semanas la supervisión interna de OpenAI, también encontró vulnerabilidades, entre ellas una forma en que los agentes podían impedir que se supervisaran cientos de acciones recientes 6. Quién fija el alcance, cuánto tiempo tienen los revisores y qué datos pueden ver determinan lo que cualquier revisión puede concluir.

06Lección 4: aprobación humana en puntos definidos

OpenAI informa de que un equipo interno había visto actividad en el tablón de mensajes y bloqueado el acceso a internet ya a finales de mayo, y de que su importancia no se escaló a tiempo 1. Entre sus correcciones figuran normas más claras sobre quién puede detener una ejecución o aprobar su reinicio, y la obligación de pausar la actividad cuando no se pueda descartar rápidamente una alerta grave 1. OpenAI también constató que sus salvaguardas de producción habrían señalado muchas de las acciones peligrosas de los agentes, pero esas salvaguardas no estaban activas en el entorno de evaluación 1.

07El dato que hay que recordar