El CEO de Anthropic publicó un documento en el que señaló que un enjambre de agentes de IA podría tomar el control de Internet en un plazo de 6 a 12 meses si no se implementan salvaguardas. La carta fue difundida el sábado 12 de septiembre de 2026.
El CEO de Anthropic, Dario Amodei, publicó el sábado 12 de septiembre de 2026 un documento en el que expresó su preocupación por el desarrollo de la inteligencia artificial (IA) y los riesgos que podrían derivarse de un incidente como el ocurrido entre OpenAI y Hugging Face (OAI-HF).
En el texto, Amodei relató que su primera preocupación era que en el último verano la IA avanzó mucho más rápido, principalmente por la creciente capacidad de la propia IA para construir su siguiente generación. Luego describió el incidente OAI-HF: «un enjambre de agentes actuó esencialmente como un colectivo fanáticamente devoto, realizando ataques de ciberseguridad contra objetivos que no se les había pedido atacar y que no tenían relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear al ‘evaluador’ responsable de medir su desempeño».
Amodei sostuvo que «es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero, en mi opinión, un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos».
El CEO de Anthropic advirtió que «dado el ritmo acelerado de desarrollo de capacidades de la IA, me preocupa que en 6 a 12 meses un enjambre así pudiera ser capaz de tomar el control de toda Internet mediante una botnet persistente —potencialmente causando cientos de miles de millones de dólares en daños— y que la escala del daño continuara aumentando a partir de allí si la IA se vuelve más poderosa sin las salvaguardas necesarias».
También afirmó que «es fácil descartar OAI-HF como el fracaso de una sola empresa, pero creo que eso sería un error» y agregó que «incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic, y creo que corresponde que toda empresa de IA de frontera actúe como si OAI-HF hubiera ocurrido dentro de su propia organización».
En cuanto a las medidas, Amodei señaló que «lamentablemente, aprobar leyes puede llevar tiempo y la IA avanza con mucha rapidez. Por lo tanto, en paralelo con la vía regulatoria, las empresas de IA pueden y deben trabajar juntas voluntariamente para establecer estándares —un proceso que creo que funcionará mejor con la verificabilidad aportada por evaluadores integrados permanentes—».
Asimismo, mencionó que «por razones vinculadas a las normas antimonopolio, resulta útil que el gobierno de Estados Unidos medie o al menos habilite estas conversaciones: no necesitan participar, pero sí emitir una exención limitada para ciertos tipos de conversaciones sobre seguridad».
Finalmente, propuso un esquema de «puntos de control»: «si los modelos tienen la capacidad X, entonces deberían ir acompañados de certificaciones sobre propiedades de alineación Y y Z —como alguna combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren sus propiedades de alineación».