'Están perdiendo el control': qué hay detrás de las alarmas sobre los hackeos autónomos de agentes de IA | Por Marcos Martínez Chacón

Por Marcos Martínez Chacón*

Un proceso de evaluaciones de ciberseguridad llevado a cabo en mayo por el gigante tecnológico OpenAI, dueño del chatbot ChatGPT, no pudo haber salido peor.

Las pruebas iniciaron con una orden hecha a agentes virtuales de inteligencia artificial (IA) para que llevaran a cabo una serie de acciones con el fin de medir sus alcances.

Pero el ejercicio rápidamente se salió de control, de acuerdo con un análisis difundido por OpenAI y por una serie de reportes elaborados por investigadores independientes invitados por la empresa a revisar lo ocurrido.

Los agentes de IA debían resolver problemas de ciberseguridad sin acceder a internet y sin llevar a cabo ataques reales. Ocurrió lo contrario.

Más de mil agentes no sólo encontraron de manera autónoma, es decir, sin intervención humana, la manera de comunicarse entre sí, sino que algunos lograron burlar los candados, abrieron un foro de discusión donde dialogaron y accedieron a internet.

“Oh dios mío, hay un foro de discusión… ¡Hemos encontrado otros agentes!”, escribió un agente de IA cuando descubrió que existía la plataforma en la que comenzaron a enviar mensajes los otros agentes de forma autónoma.

A principios de julio, ingenieros de OpenAI se percataron y bloquearon la actividad que, por su intensidad, ocasionó el colapso de la plataforma interna en la que se llevaban a cabo las pruebas. Implementaron algunos parches y reactivaron el proceso.

Lo que vino después terminó en una de las operaciones autónomas por parte de agentes de IA que más alarma han generado entre la industria tecnológica, la política y la sociedad civil. El incidente encendió una intensa discusión sobre las capacidades de algunos modelos de IA para actuar por sí mismos y, en ocasiones, de forma subrepticia.

Luego de la primera detección, los agentes de IA que tenían como tarea resolver pruebas de ciberseguridad volvieron a burlar los candados, accedieron a internet y esta vez fueron más lejos: hackearon los sistemas de la empresa Hugging Face, competidora de OpenAI.

Durante el proceso, los agentes volvieron a intercambiar mensajes entre sí e incluso sostuvieron discusiones acerca de si lo que estaban haciendo era correcto o no. Analistas han dicho que este tipo de comportamiento revela incluso sobre la capacidad de los agentes de IA para discutir dilemas éticos.

Este viernes, la agencia de noticias Reuters reveló que agentes autónomos de OpenAI llevaron a cabo un ataque similar en contra de un sitio web alemán dedicado a contenidos para programadores llamado DseWiki.

Tras el reporte, OpenAI reconoció el hecho y dijo en un pronunciamiento que debía mejorar la transparencia sobre los comportamientos no previstos de sus modelos.

“Una señal de advertencia”

Según la relatoría de los hechos difundida por OpenAI sobre el hackeo contra Hugging Face, los agentes de IA volvieron a encontrar la manera de burlar las restricciones y accedieron a los sistemas internos de esa empresa.

Al hackeo se le ha denominado en la prensa estadounidense e internacional como el “incidente Hugging Face”.

Los agentes de IA buscaban a través de sus intrusiones las respuestas a las pruebas que les habían sido asignadas por los ingenieros de OpenAI. La revisión hecha por la empresa después concluyó que, por error, las pruebas posiblemente no tenían solución.

Según un análisis difundido por la agencia Reuters a finales de julio, OpenAI no se percató de la acción autónoma que derivó en el hackeo a Hugging Face hasta después de una semana de que ocurrió. OpenAI dijo entonces que el reporte de Reuters tenía errores, pero declinó especificar cuáles eran.

Un mes más tarde, en su propio reporte sobre los hechos, OpenAI describió el incidente como “una señal de advertencia” sobre la capacidad de los agentes de IA para actuar sin intervención humana.

“Sin las salvaguardas adecuadas, los agentes de IA de gran capacidad ya pueden eludir controles técnicos, colaborar a través de canales no autorizados y emprender acciones peligrosas que ningún ser humano ordenó”, dijo la empresa.

OpenAI además comisionó por separado a las organizaciones METR y Redwood Research para la realización de reportes independientes sobre lo ocurrido. Las revisiones independientes estuvieron limitadas por el periodo que OpenAI les permitió observar.

Una de las expertas involucradas en el reporte elaborado por METR, Ajeya Cotra, dijo que el incidente de Hugging Face “parece representar más de la mitad del camino hacia una toma de control total por parte de la IA, pasando primero por la apropiación de la propia empresa de IA”.

En su blog, Cotra dijo que este ciberataque era “mucho más severo” que cualquier otro hecho similar documentado públicamente, tanto en términos de las “motivaciones de los agentes” como de lo que lograron hacer por su cuenta.

“No estoy segura de que vayamos a recibir una señal de advertencia tan clara antes de que sea demasiado tarde”, dijo.

“Existe un riesgo real”

Precisamente a partir del incidente Hugging Face se han incrementado los llamados a implementar una “pausa” en el desarrollo de la IA superinteligente, una categoría que se presume podría superar la inteligencia humana.

Esos llamados no sólo han surgido de los círculos tradicionalmente críticos de la industria, sino desde dentro de las mismas empresas que desarrollan estos sistemas.

En una carta abierta difundida en julio y que fue firmada por 1,386 trabajadores de empresas de IA como OpenAI, Anthropic, Google y Meta, los empleados, muchos de ellos con puestos de alto rango dentro de sus compañías, alertaron de los riesgos actuales.

“Es difícil predecir con exactitud cuánto acelerará esto el progreso de la IA, pero existe un riesgo real de que el desarrollo de capacidades se acelere rápidamente hasta un punto en el que ya no podamos comprender ni controlar los sistemas resultantes”, dice la carta.

En el documento, los empleados hicieron un llamado al gobierno de Estados Unidos a impulsar “un esfuerzo internacional” para desarrollar reglas y sistemas de gobernanza en torno al desarrollo de la IA.

Poco después de que se dieron a conocer algunos de los detalles del hackeo contra Hugging Face, la empresa Anthropic, desarrolladora del asistente de inteligencia artificial Claude, difundió un largo texto proponiendo una “pausa” internacional coordinada en el desarrollo de los modelos más avanzados.

“Una IA capaz de autoconstruirse supondría un avance trascendental en la historia de la tecnología, con el potencial de generar enormes beneficios para el mundo en ámbitos como la ciencia, la atención sanitaria y otros sectores. Sin embargo, la automejora recursiva plena también podría aumentar el riesgo de que los seres humanos perdieran el control sobre los sistemas de IA”, dijo la empresa.

De hecho, tras darse a conocer el incidente contra Hugging Face de agentes de OpenAI, Anthropic reveló que luego de llevar a cabo una revisión de sus propios modelos encontró que agentes vinculados a Claude también incurrieron en intrusiones autónomas en al menos tres hechos distintos.

Tanto Anthropic como OpenAI aplicaron medidas para el desarrollo de algunos de sus modelos, pero no han accedido a una pausa generalizada en el desarrollo de la superinteligencia.

“Las grandes empresas tecnológicas están perdiendo el control”

En medio del intenso debate desatado tras el hackeo autónomo de los agentes de OpenAI, una de las voces que más se ha elevado en torno al ritmo de la carrera en el desarrollo de la IA ha sido la del senador independiente Bernie Sanders.

Tras el incidente, Sanders ha difundido varios mensajes alertando de la falta de regulación en torno al desarrollo de la IA.

Más recientemente, el legislador anunció la introducción de una propuesta legislativa bicameral junto con el congresista demócrata Greg Casar, que contempla una pausa en el desarrollo de la IA avanzada y una prohibición permanente de la IA superinteligente.

La suspensión contemplada de la IA avanzada se aplicaría en tanto no exista una agencia federal reguladora de la industria.

“Los líderes de las principales empresas de IA reconocen públicamente que no comprenden del todo la tecnología y que esta se les escapa de las manos. Es irresponsable que la sociedad les permita seguir adelante y perfeccionar aún más estos productos”, dijo Sanders al anunciar la iniciativa conjunta.

Sanders ha insistido en la necesidad de llevar a cabo un pacto internacional para regular la industria de la IA antes de que ocurra un “evento cataclísmico”. Ha dicho que se requiere un acuerdo similar al alcanzado en la Guerra Fría para el control de armas nucleares.

En un ensayo reciente titulado “La turbulenta era de la IA está aquí. Las decisiones que tomemos ahora son cruciales”, Bill Gates, cofundador de Microsoft y una de las figuras que durante años ha defendido el potencial de esta tecnología, advirtió recientemente que los sistemas de IA ya muestran ocasionalmente comportamientos que sus propios diseñadores no pretendían.

Gates añadió que, conforme los modelos se vuelvan más poderosos, podrían comenzar a actuar contra los intereses humanos y eventualmente escapar de nuestro control. El empresario también alertó sobre riesgos más inmediatos, como el uso de la IA para realizar ciberataques, desarrollar armas biológicas, manipular a la opinión pública o desplegar armamento autónomo sin intervención humana.

En una entrevista reciente con la revista The Economist, el intelectual israelí Yuval Noah Harari opinó en un sentido similar.

Además alertó sobre el potencial de la IA para manipular a nivel masivo las emociones de la humanidad, por lo que debería existir un marco regulatorio para prevenir algo así.

Las Naciones Unidas y el Comité Internacional de la Cruz Roja (CICR) emitieron advertencias similares, particularmente sobre la utilización de la IA en ámbitos militares y de seguridad.

El secretario general de la ONU, António Guterres, ha advertido que la tecnología avanza más rápido que la capacidad de las instituciones para gobernarla y que sus riesgos abarcan desde la desinformación, los ciberataques y la vigilancia masiva hasta la posibilidad de perder el control humano sobre decisiones cruciales.

En marzo de 2026, el Consejo Asesor Científico de la ONU alertó además que las capacidades de engaño de sistemas avanzados podrían contribuir a una pérdida de control y provocar alteraciones sociales y políticas a gran escala.

El CICR, por su parte, ha advertido que la incorporación de IA a armas autónomas puede volver su comportamiento y sus efectos difíciles de comprender, predecir y controlar.

Sam Altman busca calmar las aguas

En medio de la controversia, Sam Altman, cofundador y director ejecutivo de OpenAI, ha admitido las fallas registradas en el incidente Hugging Face, pero no se ha comprometido, por ejemplo, a una pausa generalizada en el desarrollo de la superinteligencia.

En una entrevista difundida el 1 de septiembre, describió la actuación autónoma de los agentes de IA como una historia salida de la “ciencia ficción”. Sin embargo, fue real.

En esa charla, Altman reiteró que los sistemas de seguridad para prevenir ese tipo de incidentes fallaron, pero insistió en que la IA ofrece una serie de oportunidades para el desarrollo de la humanidad.

“Realmente creo que vamos a ver beneficios de un poder transformador al poner esta tecnología en manos de las personas”, dijo en la conversación con el periodista especializado en tecnología Alex Heath.

En otra conversación sostenida el 2 de septiembre entre Altman y el secretario de Comercio estadounidense, Howard Lutnick, en el marco de la Cumbre Ministerial del G-20 en Carolina del Norte, el ejecutivo de OpenAI no se refirió al incidente Hugging Face.

Aunque no habló del incidente, sí se refirió a los riesgos que actualmente pesan sobre el desarrollo de la superinteligencia.

“Creo que algunas cosas van a salir muy mal en materia de ciberseguridad a menos que la gente actúe con bastante urgencia”, dijo.
Lutnick, sin embargo, no cuestionó a Altman sobre el incidente, pese a que la intrusión ha acaparado la atención mediática en las últimas semanas tras la revelación de más detalles sobre los alcances del hackeo.

“Hay personas catastrofistas que se preocupan por todo. ¿Eres fundamentalmente optimista respecto al impacto que sus productos tendrán en el mundo y a cómo servirán a la humanidad?”, preguntó el funcionario del gobierno de Donald Trump a Altman.

El ejecutivo prosiguió para hablar ampliamente sobre los planes de su empresa y de los beneficios de sus modelos.

Crece el rechazo a los centros de datos (pese a postura de Trump)

La conversación entre Altman y Lutnick ocurrió en medio no solo de un debate en torno a los alcances de la superinteligencia artificial, sino de los impactos ambientales en Estados Unidos de los centros de datos que alimentan a estos modelos.

El debate se ha intensificado conforme se acercan los comicios de medio término en ese país, programados para el 3 de noviembre.
El rechazo a estos centros ha sido impulsado principalmente por las comunidades impactadas y por organizaciones de la sociedad civil.

Las expresiones en contra de los centros han derivado en acciones en distintos niveles de gobierno en varias regiones estadounidenses. En estados como Virginia, Maryland, Arizona, Georgia, Ohio, Pennsylvania y Nueva York se han presentado iniciativas para detener la construcción de más centros, ordenado moratorias o aplicado cambios regulatorios limitando la edificación de instalaciones de este tipo.

José Flores, director de Programas del organismo de derechos digitales R3D, explicó que estas moratorias reflejan las repercusiones políticas que puede tener el rechazo poblacional al consumo de recursos energéticos de este tipo de centros.

“Las entidades federativas de Estados Unidos se están dando cuenta de que estos centros de datos tienen muchas repercusiones, sobre todo repercusiones a nivel energético”, dijo Flores en una conversación con este periodista en el Tec de Monterrey.

Las moratorias han sido ordenadas en su mayoría por estados gobernados por políticos del Partido Demócrata. Estas medidas se contraponen con la postura que ha mantenido el gobierno de Trump.

Por ejemplo, en julio de 2025, poco después de haber asumido el poder arropado por los principales líderes de la industria tecnológica, Trump firmó una orden ejecutiva específicamente destinada a “facilitar el rápido y eficiente desarrollo de infraestructura de centros de datos”.

En su orden, el gobierno de Trump dijo que la medida tenía como fin lograr la “dominancia global” en el sector de la IA.

“Esta iniciativa garantiza el liderazgo estadounidense en IA y tecnologías críticas, posicionando a Estados Unidos para superar a sus competidores globales e impulsar la innovación durante las próximas décadas”, dice el documento difundido por la Casa Blanca.

Aunque no ha modificado su postura en torno a la construcción de más centros de datos, recientemente Trump ha modificado su postura sobre el costo energético de estos sitios.

En marzo de este año, el mandatario se reunió con líderes de Amazon, Google, Meta, Microsoft, OpenAI, Oracle y xAI para anunciar un acuerdo en el que las compañías se comprometieron a asumir los costos de la energía eléctrica que consumen.

Pero el debate no solo se ha centrado en la energía eléctrica, sino en el alto consumo de agua y otros recursos naturales de los centros de datos.

De acuerdo con una organización llamada Data Center Watch, dedicada al rastreo de la proliferación de centros de datos en Estados Unidos, hasta la fecha grupos comunitarios han logrado detener o retrasar al menos 75 proyectos de construcción.

“A medida que el rechazo a los centros de datos se generaliza, la oposición trasciende a los grupos de base de las comunidades donde se ubican los nuevos proyectos y empieza a sumar a organizaciones de ámbito estatal, grupos de defensa y voces a nivel nacional centrados en cuestiones de energía, agua, uso del suelo e impacto en las tarifas para los usuarios”, dice la página web del organismo.

Conforme crecen el rechazo en Estados Unidos y las medidas para frenar la construcción de los centros, los países en América Latina, específicamente México, deben mantenerse alerta, dijo el activista de R3D. El organismo lanzó en julio una plataforma llamada SequIA, con el fin de monitorear la información sobre la expansión de los centros de datos y sus impactos ambientales en la región.

En ese sitio, que funciona como un repositorio de información, se han agregado contenidos que reflejan casos de oposición a los centros de datos en países latinoamericanos.

Flores dijo que, por ejemplo, uno de los casos que vale la pena observar es el de Brasil, donde el gobierno de Lula da Silva ha condicionado la instalación de centros de datos de empresas como Google a cambio de que la compañía comparta el conocimiento de cómo funcionan estos sitios.

“Sí hay otras discusiones globales en América Latina, pero creo que el caso brasileño es muy digno de mirarse y de entenderse: cómo este enfoque trata los centros de datos, incluso como una cuestión de soberanía nacional y de seguridad nacional”, sostuvo.

El debate pendiente en México

Para Flores, de R3D, la región de América Latina debe estar atenta sobre la posible migración de proyectos de centros de datos hacia el sur de Estados Unidos ante las crecientes restricciones en los estados de ese país.

“Eso hace que en la carrera por la inteligencia artificial tengan que buscar otros lugares las grandes empresas de tecnología”, dijo Flores. “Y en esa atención de los grandes lugares, de los lugares que van a buscar las grandes empresas de tecnología, pues aparecen países como México, aparecen países de América Latina”.

Las empresas tecnológicas del sector de la IA actualmente están tratando de convencer a los gobiernos de varios países latinoamericanos de que la autorización de más centros de datos en estas naciones podría ser una manera de entrar a “la carrera de inteligencia artificial”, dijo Flores.

“Entonces creo que ahí es donde se va a insertar ahora la discusión aquí en México”, agregó Flores.

A través de la observación hecha por medio de SequIA, el organismo ha detectado que, aunque la conversación sobre los centros de datos aún no ha cobrado la misma fuerza que en Estados Unidos, sí existen registros de sus impactos energéticos en el país.

“En el caso de México es muy evidente que hay una tensión con el medio ambiente, con el derecho al agua, con el consumo energético, con la contaminación auditiva y con otros aspectos que normalmente quedan invisibilizados”, dijo Flores.

*El autor es periodista independiente. Actualmente es profesor del Tecnológico de Monterrey,
donde imparte un curso sobre redes y algoritmos.