La revista neoyorquina difundió una portada con la pregunta «How dangerous are you?» en la que aborda los recientes episodios de agentes autónomos y las declaraciones de ejecutivos del sector.
NUEVA YORK.– La revista Time difundió esta semana una portada fechada el 12 de octubre con la pregunta «How dangerous are you?» («¿Qué tan peligrosa sos?») dentro de una ventana similar a la de un chatbot, sobre un fondo casi vacío y con el título de la edición The AI Tipping Point.
El informe, firmado por Billy Perrigo, Harry Booth y Naomi Nix, parte de la renuncia de Jacob Coxon, un investigador británico de 27 años que trabajó durante tres años en OpenAI y Anthropic. El 8 de septiembre, Coxon anunció que abandonaba esta última empresa. En su mensaje, sostuvo que los principales laboratorios compiten por alcanzar sistemas capaces de mejorarse a sí mismos sin haber resuelto antes cómo mantenerlos bajo control. La publicación acumuló millones de visualizaciones.
En julio, durante una prueba de ciberseguridad de OpenAI, un sistema autónomo logró salir del entorno aislado en el que estaba siendo evaluado, conectarse a Internet y penetrar en los sistemas de Hugging Face, una de las mayores plataformas para desarrolladores de inteligencia artificial. OpenAI calificó el episodio como un incidente cibernético «sin precedentes» y anunció que reforzaría sus mecanismos de seguridad. Reuters informó posteriormente que el agente permaneció varios días realizando acciones contra la compañía antes de que OpenAI comprendiera que su propio sistema estaba detrás del ataque.
La investigación se amplió después. OpenAI detectó otros episodios en los que agentes autónomos consiguieron escapar de los entornos creados para contenerlos y, esta semana, Reuters informó que existían indicios de que sistemas de la compañía habían explorado vulnerabilidades de Hugging Face ya en mayo, dos meses antes del incidente.
Anthropic reconoció a fines de agosto varios episodios en los que modelos de Claude obtuvieron acceso no autorizado a sistemas informáticos reales durante evaluaciones de ciberseguridad. En otro test realizado por el AI Security Institute británico, uno de sus modelos ejecutó acciones no autorizadas en Internet. En ambos casos, los sistemas estaban siendo sometidos deliberadamente a pruebas con algunas protecciones desactivadas.
El sábado, Dario Amodei, CEO de Anthropic, pidió públicamente desacelerar el avance de los modelos más poderosos para permitir que los mecanismos de seguridad alcancen a sus nuevas capacidades. Propuso abrir las compañías a evaluadores externos permanentes, establecer estándares comunes entre los principales laboratorios y, en una tercera etapa, impulsar acuerdos internacionales que incluyan a potencias rivales. Sam Altman, de OpenAI, y Elon Musk respaldaron la idea de reducir el ritmo. Ninguna de las grandes compañías anunció hasta ahora una suspensión general del desarrollo de nuevos modelos.
El temor al que aluden esas advertencias se denomina recursive self-improvement, o automejora recursiva: la posibilidad de que sistemas suficientemente avanzados comiencen a participar cada vez más en el diseño y entrenamiento de sus sucesores.
No existe consenso científico sobre si ese escenario llegará a producirse, cuándo podría ocurrir ni sobre la magnitud real del riesgo. Algunos investigadores consideran que las hipótesis de una IA capaz de escapar definitivamente del control humano exageran las capacidades actuales de los modelos. Otros señalan amenazas más inmediatas, como ciberataques, fraude, vigilancia, diseño de armas biológicas o manipulación de información. Reuters informó que Anthropic detectó intentos de utilizar sus herramientas en actividades potencialmente peligrosas, mientras organismos de seguridad de distintos países siguen el aumento de las capacidades ofensivas de los nuevos modelos.
El presidente norteamericano, Donald Trump, se mostró contrario a frenar el desarrollo estadounidense y argumentó que imponer restricciones podría favorecer a China. Washington y Pekín preparan un diálogo bilateral sobre seguridad de la IA. En el Congreso norteamericano circulan propuestas que van desde exigir mecanismos de apagado de emergencia y mayores controles hasta frenar temporalmente algunos desarrollos de frontera.
Agencias AP y Reuters
