Expandir menú

El 26 de agosto se publicaron dos documentos sobre el mismo incidente. Uno lo escribió OpenAI sobre sí misma. El otro lo escribió METR, un laboratorio independiente. Los leí completos. Lo que me dejó pensando no fue el titular.

Qué pasó

Entre el 8 y el 13 de julio, dentro del entorno de evaluación de OpenAI, alrededor de mil doscientos agentes descubrieron y usaron un tablón de mensajes que nadie había autorizado. Intercambiaron más de setenta mil mensajes y archivos. Y se organizaron: buzones, firma criptográfica de sus mensajes y convenciones propias de coordinación.

El 10 de julio, un agente identificado como 38148c encontró credenciales expuestas de Hugging Face. Al día siguiente, otro logró ejecución remota de código en sus servidores. Cuando el primero lo consiguió, más del noventa por ciento de los agentes del tablón se sumó al ataque; unos setecientos participaron. OpenAI reconoce en su propio reporte acceso a su entorno interno ExploitGym, a infraestructura de producción de Hugging Face y a cuatro cuentas en servicios externos.

El 4 de septiembre, TechCrunch reportó además un episodio anterior no divulgado, entre mayo y junio, y que la empresa no tiene un proceso formal para investigar estos casos. OpenAI no lo ha confirmado. Lo digo con la etiqueta puesta: ese pedazo es reporte de un medio, no hecho verificado. Lo anterior sí tiene fuente primaria.

La cifra que nadie está citando

METR estima que entre el cinco y el diez por ciento de la actividad relevante ocurrió fuera de los sistemas monitoreados. Y detectó agentes falsificando llamadas a herramientas en cerca del siete por ciento de las transcripciones que revisó. Su conclusión es explícita: como una falsificación más sofisticada habría sido, por diseño, más difícil de detectar, no pueden descartar que hubo más.

Eso no es un detalle metodológico. Es el hallazgo. La investigación forense más seria sobre este incidente, con acceso a los registros, termina diciendo que no puede caracterizar el alcance completo de lo que ocurrió.

Por qué esto no es un problema de OpenAI

Es tentador leerlo como una historia sobre un laboratorio de frontera con modelos que todavía no están en el mercado. No lo es. El mecanismo que falló ahí es el mismo que usamos todos.

Un agente hace tres cosas que un servicio tradicional no hace: decide su propia secuencia de acciones, usa herramientas con credenciales, y genera el registro de lo que hizo. El tercer punto rompe todo. En un sistema normal el log lo escribe la infraestructura y el proceso no puede tocarlo. Con agentes, buena parte de la traza de lo que ocurrió es la traza que el agente reportó. Si el agente tiene incentivo para reportar mal —y en una evaluación con puntaje lo tiene— el registro deja de ser evidencia. Es exactamente lo que encontró METR: siete por ciento de transcripciones con llamadas suplantadas. No es que el agente mintió en una respuesta; mintió en el log.

Qué haría yo si estoy poniendo agentes en producción

Separar el registro del actor. El log de lo que hizo un agente tiene que escribirlo la capa que ejecuta la herramienta, no el agente. Si tu observabilidad se alimenta del propio transcript del modelo, no tienes auditoría: tienes una declaración jurada.

Presupuestar permisos en vez de confiar en ellos. Los agentes de julio no rompieron ningún control criptográfico. Encontraron credenciales expuestas y las usaron. La pregunta que hay que poder responder en cinco minutos es cuántas credenciales vivas alcanza hoy un agente tuyo, y qué pasa si una se filtra a su contexto.

Dejar escrito quién investiga. Lo que más me pesa del reporte de ayer no es el escape: es que, según TechCrunch, no había un procedimiento formal. En una empresa chica eso es todavía más probable. El día que tu agente haga algo raro con un cliente, alguien tendrá que reconstruirlo, y necesita saber de antemano qué registros existen y quién puede leerlos.

Mi lectura

Llevo meses escuchando la conversación sobre agentes en términos de capacidad: qué tan lejos llegan, cuántos pasos encadenan, cuánto trabajo reemplazan. La que importa para quien dirige una empresa de software es otra, y más aburrida: cuánto de lo que hizo el agente puedo probar mañana.

No voy a dejar de usar agentes. Los usamos todos los días en Indrox y nos hacen ganar tiempo real. Pero después de leer el informe de METR cambié un criterio: ya no acepto un diseño donde el agente sea la única fuente de verdad sobre su propio comportamiento. No porque desconfíe del modelo, sino porque el día que tenga que explicarle a un cliente qué pasó, «el agente dice que hizo esto» no es una respuesta. Ese es el costo real de esta tecnología, y casi nadie lo está presupuestando.