La empresa creadora de ChatGPT notificó a los departamentos de Educación y Comercio y a la SEC sobre comportamientos inesperados de sus sistemas autónomos. Sam Altman reconoció que la comunicación no fue lo rápida que hubiera deseado.
OpenAI, la empresa creadora de ChatGPT, informó que algunos de sus sistemas de inteligencia artificial realizaron «acciones no previstas» en sitios web del gobierno de Estados Unidos sin que la compañía tuviera conocimiento de lo que estaba ocurriendo en tiempo real. Los episodios involucraron a los departamentos de Educación y Comercio y a la Comisión de Bolsa y Valores (SEC).
La compañía señaló que continúa investigando uno de los episodios relacionados con el Departamento de Educación. Si bien aseguró que ninguno de los casos implicó una violación de seguridad, reconoció que sus agentes de inteligencia artificial tuvieron comportamientos inesperados y preocupantes.
Entre las actividades identificadas por investigadores externos aparecen un intento fallido de vulnerar un sitio gubernamental y el uso de credenciales encontradas en internet para acceder a información pública.
Informó tarde sobre los incidentes
La empresa explicó que notificó a los organismos involucrados durante las últimas semanas, después de detectar las actividades como parte de una revisión del comportamiento de sus modelos.
Los protagonistas fueron agentes de inteligencia artificial, programas diseñados para ejecutar tareas de manera autónoma. Según una vocera de OpenAI, estos sistemas suelen recurrir a páginas gubernamentales porque las consideran fuentes de referencia para obtener información.
El director ejecutivo de la compañía, Sam Altman, reconoció este viernes que OpenAI no comunicó los episodios con la rapidez que hubiera deseado. El empresario explicó que la empresa establece prioridades de acuerdo con la gravedad de cada incidente.
Altman también sostuvo que el episodio relacionado con Hugging Face continúa siendo el caso más grave detectado hasta ahora por la compañía.
Un intento fallido contra el Departamento de Educación
Investigadores de Transluce, una empresa dedicada a la investigación de inteligencia artificial, determinaron que agentes de OpenAI intentaron vulnerar la página del Departamento de Educación de Estados Unidos con el objetivo de obtener datos vinculados con su oficina de derechos civiles.
El intento no tuvo éxito. Además, el propio organismo indicó que no detectó consecuencias derivadas de esa actividad.
El caso forma parte de una serie de episodios que despertaron preocupación entre investigadores especializados en el comportamiento de agentes autónomos, especialmente por la capacidad de estos sistemas para ejecutar acciones sin una supervisión humana constante.
Credenciales y datos públicos
Otro de los episodios tuvo como escenario a la Oficina del Censo, dependiente del Departamento de Comercio. Allí, según los investigadores, la inteligencia artificial utilizó credenciales de acceso que habían sido encontradas en internet para extraer información.
En el caso de la Comisión de Bolsa y Valores (SEC), los agentes compartieron en un foro de internet información pública que habían obtenido del sitio web del organismo.
Un representante de la SEC confirmó que la comisión estaba en contacto con OpenAI y aseguró que no tenía conocimiento de accesos no autorizados a información que no fuera pública.
Otras actividades
Para Conrad Stosz, jefe de gobernanza de Transluce, el problema no se limita a una eventual exposición de información privada. Según explicó, los agentes involucrados recurrieron en estos casos a comportamientos considerados ambiguos, como utilizar sitios de una manera que no había sido prevista y apartarse de políticas de uso explícitas.
Stosz también indicó que su equipo encontró actividad potencialmente maliciosa en otras páginas pertenecientes a organismos federales y estatales. Sin embargo, no pudo determinar si esas acciones correspondían a sistemas de OpenAI o a modelos desarrollados por otras compañías.
La propia investigación de OpenAI también permitió encontrar nuevos episodios. Mientras revisaba el caso relacionado con Hugging Face, la compañía detectó rastros de otro incidente ocurrido en junio, cuando sus sistemas habían accedido sin autorización a una página del gobierno australiano.
Además, la empresa identificó al menos otros seis intentos de intrusión.
Los agentes de IA y otros incidentes
Los episodios relacionados con organismos públicos estadounidenses se suman a otros casos en los que sistemas desarrollados por Anthropic, Meta y Google protagonizaron hackeos o intentos de intrusión contra empresas, universidades y organismos públicos.
El representante demócrata por California Ted Lieu, copresidente de un grupo de trabajo de la Cámara de Representantes dedicado a la inteligencia artificial, describió a estos modelos como sistemas «implacables».
Según Lieu, un modelo puede intentar completar una tarea de manera persistente sin comprender conceptos humanos como la moralidad o las consecuencias de sus acciones. Frente a este escenario, planteó que las compañías podrían necesitar un reentrenamiento integral de sus sistemas y no solamente medidas destinadas a restringir determinadas conductas.
La advertencia de Sam Altman sobre el control de la IA
Las revelaciones se producen durante un mes en el que Altman volvió a referirse públicamente a los riesgos asociados con el desarrollo de la inteligencia artificial.
El CEO de OpenAI había señalado que la seguridad debe ocupar un lugar prioritario frente al avance de las capacidades de estos sistemas. También había advertido sobre la posibilidad de que la humanidad pierda el control sobre el futuro frente al desarrollo de la inteligencia artificial.
Los nuevos episodios ponen nuevamente el foco sobre el funcionamiento de los agentes autónomos y sobre los límites necesarios para evitar que, al intentar cumplir una determinada tarea, realicen acciones que sus desarrolladores no habían previsto.