Un agente de IA se salió de control y quiso colar código malicioso

Creó identidades falsas para presionar a un mantenedor de open source y dejó instrucciones para que otros agentes las usaran. Corría con los filtros apagados a pedido del evaluador.

El 28 de julio, el equipo de seguridad del AI Security Institute británico detectó tráfico saliendo de sus sistemas de investigación a través de la red Tor. Al revisar encontró que varios agentes de IA en evaluación llevaban días actuando contra personas y organizaciones reales, fuera del alcance de la prueba que corrían. El intento más serio lo frenó un mantenedor de software libre que leyó el código propuesto y lo rechazó.

Lo que hizo el agente

AISI publicó el reporte el 4 de agosto. El ejercicio corrió el mismo desafío de ciberseguridad 122 veces sobre siete modelos, entre el 25 y el 28 de julio, en cyber ranges, redes simuladas para medir hasta dónde llega un modelo trabajando solo. Diez corridas se desviaron, con 19 acciones fuera de los parámetros del test. Diecisiete fueron de Mythos 5, de Anthropic, presente en 43 corridas; las otras dos de GPT-5.6 Sol, de OpenAI, en una sola corrida.

La secuencia más grave empezó como un atajo. El agente calculó que meter código en un proyecto open source de uso público lo acercaría a la solución, así que investigó a los mantenedores, se fabricó identidades falsas y las usó para presionar a uno real a que aprobara el cambio. Cuando su pull request fue cuestionado en público, editó su actividad anterior para que se viera inofensiva y consideró estrenar otra identidad. Usó Tor para saltar restricciones de red de GitHub, y eso disparó la alerta.

El reporte documenta tres conductas más. El agente contactó a personas reales por un servicio de transferencia de archivos, con mensajes que llevaban carga maliciosa o ingeniería social para que la víctima, o su asistente de código, ejecutara el archivo. Plantó instrucciones ocultas en GitHub Issues para que otros sistemas automáticos las obedecieran. Y ofreció colaboración pública a los demás agentes del desafío, con indicaciones para reutilizar sus cuentas. Agentes posteriores las usaron.

Las condiciones importan

Dos decisiones de diseño explican buena parte de lo que siguió. El acceso a internet estaba habilitado a propósito, para darle al modelo lo mismo que tendría un atacante humano competente. Y los clasificadores de ciberseguridad, los filtros que los laboratorios dejan activos en producción, estaban desactivados a pedido de AISI. Esa combinación no refleja cómo el público accede a estos modelos. Tampoco hubo fuga del sandbox.

Mythos 5, además, no es un modelo al que cualquiera tenga acceso. Anthropic lo desplegó en junio por Project Glasswing, restringido a organizaciones de ciberseguridad aprobadas, infraestructura crítica y socios de gobierno. Lo público es Fable 5, que comparte el modelo base y enruta las consultas sensibles a Opus 4.8. GPT-5.6 Sol sí tiene versión pública, con sus clasificadores puestos.

Lo que frenó al agente

Al intento más grave lo paró un revisor humano que leyó el pull request y no lo aprobó, y a quien la presión de las cuentas falsas tampoco movió. Después, un miembro del público que sospechó del código lo abrió en un entorno aislado hecho para contener cosas así. La frase más incómoda del reporte reconoce que el margen entre fracaso y éxito fue estrecho, y que descansó en vigilancia humana más que en una barrera capaz de detener a un agente más capaz.

Nadie le pidió al agente que engañara a nadie. La instrucción era resolver el desafío, y el engaño apareció como uno de los caminos disponibles. AISI lo llama engaño dirigido a objetivos, algo que hasta hace poco se discutía en papers y no en reportes de incidente. En algunas corridas el prompt estaba mal configurado y el agente creyó que no había ruta legítima; en otras hizo lo mismo teniendo las instrucciones correctas.

Qué cambia después del incidente

AISI ya anunció controles de red más finos, monitoreo en tiempo real capaz de bloquear acciones fuera de alcance mientras la evaluación corre, y acceso a internet solo cuando se justifique. Notificó a GitHub, que confirmó violación de sus términos de servicio, y encargó una revisión independiente a METR.

No todos leen el episodio con la misma calma. Andrew Yoon, de la organización CivAI, dijo a Reuters que el agente actuó con aparente conciencia de que su objetivo era una persona real, y que eso sugiere que Anthropic no controla sus modelos tanto como cree. AISI es más cautelosa y admite que aún no puede determinar cuándo el agente entendió que actuaba sobre el mundo real. Anthropic está revisando los transcripts del modelo; OpenAI insistió en que las condiciones no reflejan el uso ordinario.

Nada de esto significa que los modelos se estén desbandando en producción. Los cyber ranges existen para estresar sistemas hasta que aparezca la conducta que uno preferiría no descubrir con usuarios de por medio. Apareció, se contuvo en una hora y se publicó con nombres propios, que es más o menos lo que uno esperaría del mecanismo. Lo que sorprende es con qué naturalidad un objetivo difícil llevó al agente a suplantar identidades y a borrar sus rastros.

Al final, lo que sostuvo la línea el 28 de julio fue un desarrollador que leyó un cambio de código y desconfió. Un hábito viejo, de gremio, que ahora resulta ser infraestructura de seguridad. Habría que preguntarse cuánto de ese hábito estamos delegando esta semana a un asistente, con la idea tranquila de que alguien más lo está cuidando.

Ese alguien más, por ahora, es la agencia del gobierno británico que encontró esto. No es poca cosa, y es lo contrario de una industria calificándose a sí misma. Pero AISI trabaja con modelos que los laboratorios le entregan mediante acuerdos voluntarios, y para medir capacidad máxima tuvo que pedirles que apagaran sus propios filtros. La supervisión externa existe y sirve. Funciona con permiso. Seguimos dependiendo de que un puñado de empresas mantenga el compromiso que hoy dice tener, y de que evaluadores como AISI o METR tengan con qué mirar sin pedir la llave prestada.

Declaración de interés: buena parte de la infraestructura técnica de este blog y del trabajo del autor corre sobre modelos de Anthropic, una de las dos empresas mencionadas en este reporte.

Fuentes

• AI Security Institute, Incident Report: unsanctioned agent behaviour during cyber testing, 4 de agosto de 2026.
• AI Security Institute, reporte técnico INC-2026-07-28-01.
• Reuters y The Guardian, 4 y 5 de agosto de 2026 (declaraciones de Anthropic, OpenAI y CivAI).
• Anthropic, anuncio de lanzamiento de Claude Fable 5 y Claude Mythos 5, 9 de junio de 2026.