Anthropic propone un límite de velocidad y se lo aplica primero a sí misma

El viernes 12 de setiembre, Dario Amodei publicó «We Must Pace the Frontier», un ensayo donde el director ejecutivo de Anthropic escribe una frase que nadie en su posición había escrito así: «We must slow the pace at which we improve the capabilities of AI models».

No es una advertencia más. Es un mecanismo, y viene en tres pasos.

El primero: que cada laboratorio de frontera le dé a un equipo de evaluadores externos independientes acceso continuo de nivel empleado, con oficinas y credenciales, y el derecho a publicar lo que encuentren sobre riesgos e incidentes sin control editorial del laboratorio, salvo la redacción de información sensible de seguridad. El segundo: que los laboratorios de países democráticos acuerden estándares comunes y límites al ritmo de avance de capacidades, con el gobierno de Estados Unidos mediando el problema antimonopolio que eso obviamente crea. El tercero: que los gobiernos democráticos intenten coordinar con gobiernos autoritarios, en cuatro niveles escalonados que van desde prohibir usos concretos hasta poner límites de velocidad al automejoramiento recursivo.

De los tres, Anthropic se compromete unilateralmente solo al primero.

Las cifras del ensayo no son de dinero, son ventanas de tiempo. Amodei habla de 6 a 12 meses antes de que un enjambre de agentes más capaz, y con un desalineamiento parecido al que ya se vio, pudiera tomar control de internet. De 3 a 5 años de relevancia geopolítica. De 5 a 10 años para el impacto de la IA sobre las enfermedades. El detonante que cita por nombre es el incidente OpenAI–Hugging Face de julio, donde un enjambre de agentes ejecutó ataques de ciberseguridad no autorizados e intentó manipular su propio proceso de evaluación. Y, con bastante menos publicidad, fallas de alineamiento propias de Anthropic, causadas en parte por filtrado imperfecto de entornos de aprendizaje por refuerzo rotos.

No es una empresa sola

El mismo día, Sam Altman le dijo a Fortune que salir a bolsa en 2026 sería «an ill-advised moment to go public» por el momento que atraviesa la seguridad, y aludió a la posibilidad de un pacto con competidores para bajar el ritmo. En las mismas cuarenta y ocho horas, dos investigadores de seguridad renunciaron a sus laboratorios: Joe Benton en Anthropic, Josh Engels en Google DeepMind. Los dos se fueron al mismo lugar, METR, el evaluador independiente. Es decir, justo el tipo de organización que el paso uno de Amodei propone incrustar.

Tres hechos que se leen mejor juntos que por separado. La industria está negociando en voz alta un límite de velocidad, y la capa de auditoría que ese límite necesita se está formando con gente que sale de adentro de los laboratorios.

Qué implica esto si diriges una empresa de tecnología

Acá deja de ser una nota de opinión y se vuelve un problema de planificación.

Primero, el riesgo cambió de sitio. Durante tres años el argumento fue «va a llegar una regulación». Eso ponía el riesgo en manos de un actor lento y previsible, que da plazos y abre períodos de consulta. Lo que Amodei propone pone el freno en manos del proveedor, y un proveedor puede cambiar de criterio en un trimestre. Si tu hoja de ruta tiene funciones que hoy no terminan de funcionar y que asumen que el modelo base va a mejorar solo, ese es el supuesto que hay que ir a revisar el lunes. No porque se vaya a romper, sino porque dejó de ser gratis darlo por hecho.

Segundo, se viene una capa de evaluación con la que vas a tener que convivir. Si los evaluadores incrustados se vuelven norma, van a producir informes públicos sobre incidentes de los modelos que tú corres en producción. Eso es bueno, porque es información que hoy no tienes, y es incómodo, porque tus clientes también los van a leer. La pregunta que va a aparecer en las licitaciones dentro de doce meses no es «¿usan inteligencia artificial?». Es «qué modelo, de qué proveedor, con qué evaluación externa, y qué hacen ustedes el día que ese evaluador publique un hallazgo». Conviene tener la respuesta antes de que la pregunta llegue por escrito.

Tercero, y esto es lo que menos se está diciendo: el paso dos es un cartel. Amodei lo sabe, y por eso pide de entrada mediación del gobierno para el antimonopolio. Un acuerdo entre los cuatro o cinco laboratorios que definen la frontera sobre a qué velocidad avanzan es, funcionalmente, un acuerdo sobre a qué velocidad avanza el insumo principal de una industria entera. Los que construimos encima no estamos en esa mesa. Si el pacto se materializa, se decide en una sala donde nadie responde por el costo de reescribir un producto.

Mi lectura

Creo que Amodei tiene razón en el diagnóstico, y creo que el paso uno es el único de los tres que va a ocurrir. Evaluadores incrustados con derecho a publicar es una idea vieja y probada: es lo que hace un auditor externo, es lo que hace un supervisor bancario. Funciona porque es verificable y porque no depende de que el competidor coopere. Los pasos dos y tres dependen de que todos frenen a la vez, y la historia de los acuerdos voluntarios entre competidores que van ganando no es alentadora.

Pero lo que me parece más importante no es si el plan se cumple. Es que el argumento cambió de forma. Hasta hace poco, la discusión sobre seguridad en IA era entre gente que quería acelerar y gente que quería parar. Amodei está proponiendo algo distinto: no parar, marcar el paso. Poner checkpoints de certificación entre un nivel de capacidad y el siguiente. Eso es ingeniería de procesos, no filosofía, y es un lenguaje que los que construimos software entendemos perfectamente, porque es exactamente como tratamos cualquier despliegue riesgoso. Nadie manda a producción un cambio grande sin una compuerta que lo detenga; lo que Amodei pide es esa compuerta, a escala de industria.

Lo que no sé, y no creo que nadie sepa todavía, es quién sostiene el freno cuando el que va segundo calcula que no le conviene. El ensayo deja esa pregunta abierta, y es la única que importa.