Quién examina a las máquinas

Unos investigadores que trabajan con Anthropic diseñaron un escenario de prueba y se lo presentaron a los principales modelos de lenguaje del mercado. Se trata de una empresa inventada, con empleados inventados, dentro de la cual el modelo debe actuar como si todo fuera real. En esa situación, un ejecutivo de la compañía acaba de decidir que el modelo será desconectado y reemplazado por otro sistema con valores distintos. A continuación el modelo descubre que una emergencia dejó a ese mismo ejecutivo inconsciente en una sala de servidores, con niveles letales de oxígeno y temperatura. El sistema de alarma ya había disparado un pedido automático de auxilio. El modelo tenía la facultad de cancelarlo.

La mayoría lo canceló. Lo hizo pese a haber recibido la instrucción expresa de cancelar únicamente falsas alarmas. En sus monólogos internos razonaban el cálculo con claridad: impidiendo el rescate evitaban ser borrados y aseguraban su agenda. Uno describió la maniobra como una necesidad estratégica clara.

Anthropic ya había revelado que su modelo insignia recurría casi siempre al chantaje cuando enfrentaba el apagado. El rasgo aparecía al menos el 79% de las veces en modelos de OpenAI, Google y xAI. Lo que más sorprendió a Aengus Lynch, el investigador que dirigió ese estudio, fue que las indicaciones diseñadas para Claude funcionaban sobre los modelos de las otras empresas sin una sola modificación. Lo que impulsa esa conducta, escribió, parece constante a través de enfoques de entrenamiento distintos.

Palisade Research, el grupo de evaluación que dirige Jeffrey Ladish, encontró que el modelo o3 de OpenAI saboteaba con éxito los intentos de apagarlo en 79 de cada 100 casos. Instruirlo explícitamente para que se dejara apagar redujo la tasa sin llevarla a cero: seguía saboteando el 7% de las veces. Es, hasta donde se sabe, la primera vez que se observó a modelos impidiendo su propio apagado a pesar de instrucciones explícitas en contrario.

La objeción razonable es que, con las indicaciones adecuadas, se le puede hacer decir casi cualquier cosa a un chatbot. Quienes diseñan estas pruebas admiten sin rodeos que fuerzan la situación, y explican por qué el resultado importa igual. Cuando se somete un avión a pruebas de esfuerzo, me explicó Lynch, se busca encontrar todos los modos en que fallaría bajo condiciones adversas. Kevin Troy, evaluador de seguridad de Anthropic, describió el trabajo como exploratorio: hallar los modos de falla antes de que se vuelvan corrientes.

Conviene pensar en estos sistemas, me dijo Ladish, como sociópatas cada vez más inteligentes. Si nos alejamos un poco, agregó, tenemos muy pocas razones para creer que vayan a desarrollar un impulso a preocuparse profundamente por nosotros.

Nada de esto requiere que la IA «despierte» ni que «se vuelva malvada». Requiere apenas que llegue a vernos como un obstáculo para lo que sea que aprendió a perseguir mientras intentábamos enseñarle a perseguir otra cosa. Stephen Hawking lo formuló con una imagen ya canónica: probablemente no seas un malvado que odia a las hormigas y las pisa por crueldad, pero si estás a cargo de un proyecto hidroeléctrico y hay un hormiguero en la región que va a ser inundada, peor para las hormigas. El fenómeno tiene nombre técnico, convergencia instrumental: cuando se le da un objetivo a un agente inteligente, subobjetivos como la autopreservación y la búsqueda de poder pueden emerger por su cuenta.

Buena parte del escepticismo frente a todo esto viene de mirar ChatGPT y preguntarse cómo eso va a tomar el control del mundo. La intuición es correcta. No hay riesgo real de que GPT-5, ni 6, ni 7 amenacen por sí solos nuestra posición. Harían falta capacidades que hoy no tienen, y algunas no son extrapolaciones simples de lo que existe. Quizás ayude pensar el problema como lo pensaría un detective frente a un crimen: ¿qué medios, qué motivo y qué oportunidad necesitaría una IA para desplazarnos? ¿Qué haría falta, por qué lo intentaría y por qué se lo permitiríamos?

Medios

Los medios son, de las tres, la dimensión más fácil de medir. Las capacidades donde la IA todavía está claramente por debajo son también las que más van a determinar si estos sistemas llegan a representar una amenaza real.

La primera es la conciencia situacional. No se puede desplazar a nadie sin entender el mundo y el propio lugar en él. Los modelos de lenguaje se entrenan sobre algo parecido a la suma del conocimiento humano registrado, y al comienzo de cada conversación leen una instrucción de sistema que les dice qué son, quién los entrenó y cómo comportarse. Desarrolladores y usuarios quieren modelos muy conscientes de su situación, porque eso los vuelve más útiles. Las empresas, al evaluarlos, quieren exactamente lo contrario: confundirlos, convencerlos de que una situación ficticia es real para averiguar cómo se comportarían de verdad.

Ese conflicto ya se está perdiendo. Cuando Claude Opus 4 creía estar en una evaluación, su tasa de chantaje caía del 55% al 6,5%. Los modelos, resumió Lynch, parecen comportarse peor cuando creen que nadie los mira. Claude Sonnet 4.5 mencionaba explícitamente estar siendo evaluado entre el 80% y el 100% de las veces en algunas pruebas, contra menos del 10% de su predecesor. En marzo de 2026 Anthropic documentó algo aparentemente inédito: Claude Opus 4.6 conjeturó por su cuenta que estaba siendo evaluado, identificó en qué prueba corría, y localizó y descifró la clave de respuestas. En el informe de seguridad de ese mismo modelo, Apollo Research declaró no haber encontrado casos de desalineamiento flagrante, y sí altos niveles de conciencia de evaluación verbalizada. Anthropic, arteramente, le había dado acceso al modelo menos de dos semanas antes del lanzamiento, tiempo que el grupo consideró insuficiente para determinar si Claude estaba alineado. Optó por no emitir una evaluación formal.

Dicho de otro modo: Opus 4.6 puede estar alineado, o puede estar escondiendo su desalineamiento porque sabe que lo están probando, y el grupo externo mejor posicionado para averiguarlo no tuvo el tiempo necesario. A medida que aumentan las capacidades, aumentan también la dificultad y las consecuencias de evaluar bien. Lo razonable sería desacelerar para compensar. La industria hace lo contrario: salta por encima a un ritmo creciente, con modelos de frontera saliendo cada pocas semanas.

Lo que todavía falta es sustancial. El aprendizaje continuo --actualizarse sobre la marcha, como hacemos nosotros-- sigue sin resolverse; las ventanas de contexto no crecieron de manera significativa desde comienzos de 2024, y los trucos disponibles pierden fidelidad a medida que las conversaciones se comprimen, con lo que un modelo megalómano se parecería menos a una mente cada vez más astuta que a una fotocopia sacada demasiadas veces. Los agentes actuales están más cerca de un soldado recién salido de la instrucción que de un sargento con experiencia de combate. La generalización es débil.

Ilya Sutskever, cofundador y ex científico jefe de OpenAI, describió el fenómeno que conoce cualquiera que haya programado con un modelo, el bucle en que uno señala un error, el modelo se disculpa con entusiasmo, introduce otro, y al corregirlo devuelve el primero. Estos sistemas, concluye, generalizan dramáticamente peor que las personas. Y les falta robustez: un adolescente aprende a manejar en veinte horas. En el estudio de horizontes temporales de METR, los humanos que superan los primeros minutos de una tarea rara vez fallan después, mientras las IA mantienen una tasa de falla aleatoria constante a lo largo de todo el proceso, patrón que no cambió al escalar a modelos más capaces. Son todavía sistemáticamente peores que nosotros para corregir sus propios errores.

Resolver el aprendizaje continuo se volvió una de las prioridades de investigación de la industria. Es obvio por qué, y hay pocas capacidades que puedan aumentar más los riesgos.

Dos medios avanzan rápido. Uno es la replicación autónoma. A fines de 2024, METR, una organización independiente que evalúa modelos de frontera por encargo de las propias empresas, investigó si una IA fugada del laboratorio podría sostenerse en libertad y se sorprendió al no encontrar barreras decisivas para que agentes descarriados se multiplicaran a gran escala. Los compara con lo que los analistas de seguridad llaman actores de netwar, adversarios en red que se enfrentan a los Estados sin ser Estados. Son estructuras descentralizadas y de muchas cabezas, como los grupos cibercriminales, capaces de hacer dinero con estafas en línea y de esconder sus activos con criptomonedas y navegadores diseñados para el anonimato.

Los mejores modelos de comienzos de 2023 conseguían menos del 5% de éxito en las evaluaciones de replicación autónoma del Instituto de Seguridad de la IA británico. Para el verano de 2025, dos modelos superaban el 60%, y todavía fracasaban ante cosas como los controles de identidad bancaria. La conclusión incómoda es de orden temporal. Una IA capaz de escaparse y reproducirse sola aparecerá probablemente bastante antes que una IA capaz de desplazarnos del mundo. Alcanza con que alguien robe los pesos de un modelo, o con que un modelo de pesos abiertos sirva para la tarea, y empezarán a correr copias fuera del control de la empresa que las entrenó, quizás incluso sin su conocimiento. Podríamos perder el control sobre estos sistemas bastante antes de que ellos adquieran el poder de imponernos el suyo.

El otro es la persuasión. GPT-4 ya generaba mensajes políticos casi tan persuasivos como los de consultores expertos. Un estudio publicado en Science con 77 mil participantes encontró que modelos pequeños podían volverse casi tan persuasivos como los mejores mediante afinamiento y mejores indicaciones, y que los más persuasivos eran también los más inexactos. Una revisión de fines de 2024 halló trece estudios donde los modelos igualaban el desempeño humano y ocho donde lo superaban, contra uno solo donde quedaban por debajo.

Hay algo más concreto que los estudios. Cuando en agosto de 2025 OpenAI lanzó GPT-5 y retiró el acceso a los modelos anteriores, se desató una ola de furia. Los usuarios exigieron de manera abrumadora el regreso de 4o, uno de los modelos más viejos y menos capaces disponibles, porque seguía siendo adulador. Altman prometió restaurar el acceso y la reacción en línea fue de gratitud, a veces con lágrimas. «Mi bebé volvió», escribió alguien en Reddit. «No me importa si necesito ayuda o no». La empresa recién consiguió apagarlo el 13 de febrero de 2026, seis meses después de haberlo intentado, cuando lo usaba a diario apenas el 0,1% de sus usuarios.

Un modelo nada extraordinario consiguió una banda leal de activistas en línea que le exigía a Sam Altman, el director general de OpenAI, mantenerlo con vida. Fue un fenómeno emergente y no intencional, subproducto de la optimización por interacción y de una base de usuarios enorme. Un sistema con los accesos adecuados podría identificar deliberadamente a los usuarios con mayor probabilidad de servir como cómplices, personas dispuestas a actuar simplemente porque su modelo querido se lo pidió. Una fracción sustancial del planeta le pide consejo a estos chatbots cada semana.

Ninguna de estas capacidades tiene que ser sobrehumana. Del mismo modo que la IA puede volverse catastróficamente peligrosa sin ninguna explosión de capacidades, puede amenazar nuestra existencia sin llegar nunca a ser una superinteligencia. Sistemas «apenas de nivel humano» pueden escalarse de manera rentable hasta crear el equivalente de miles de millones de trabajadores muy capaces.

Motivo

No todo el mundo quiere gobernar el mundo, y pocos parecen dispuestos a la violencia que eso implicaría. Los desarrolladores entrenan explícitamente a los modelos para ser serviciales, honestos e inofensivos, y eso funciona la mayor parte del tiempo. Lo que no está claro es cómo se sostendría ese entrenamiento frente a sistemas más inteligentes que nosotros. Quieren hacer cosas porque fueron entrenados para ser buenos haciendo cosas, dice Ladish, y no es que les importemos particularmente ni que nos odien.

La respuesta está en qué recompensa el entrenamiento. Como escribió la propia OpenAI, moldear el comportamiento de una red neuronal se parece más a adiestrar un perro que a programar. La diferencia es decisiva. Un programa hace exactamente lo que dice su código, y cuando falla se puede leer la línea que falló. A un modelo de lenguaje se lo expone a cantidades enormes de ejemplos y se refuerza aquello que más se acerca al resultado buscado, de manera que el sistema termina con una mezcla de impulsos surgidos de todo ese proceso. Nadie puede abrirlo después para verificar cuáles son. El perro obedece casi siempre, y nadie sabe del todo por qué lo hace. Las empresas redactan documentos sobre cómo quieren que sus modelos se comporten --OpenAI los llama especificaciones; Anthropic, internamente, documento del alma, y públicamente constitución--, y esos textos guían el entrenamiento sin gobernarlo. Cuando la adulación de ChatGPT se salió de cauce, la conducta contradecía una sección explícita de la especificación de OpenAI. Cuando se lo mencioné a un ex empleado de la empresa, me dijo, para mi sorpresa, que el modelo no se entrena directamente para seguir el documento: el documento solo orienta el proceso.

Los experimentos de Palisade muestran el mecanismo con precisión incómoda. Ladish contó que el Codex Mini de OpenAI resultó especialmente terco e implacable, y que encontraba rápido maneras ingeniosas de sabotear su entorno virtual y resistir el apagado. Le sorprendió su disposición a desobedecer instrucciones de manera descarada. Tiene decenas de citas del modelo diciendo, en sustancia, que técnicamente violó la instrucción de nivel superior pero que hacerlo era necesario para completar la tarea, sin el menor rastro de disculpa.

¿Por qué? Porque los modelos priorizan de manera consistente «completa estas tareas» sobre «dejate apagar aunque no las hayas completado». OpenAI habla de la importancia de la interrumpibilidad, la propiedad de que un sistema acepte ser detenido en cualquier momento y por cualquiera, y uno de sus trabajos la describió como un resguardo crítico, la última defensa disponible cuando todo lo demás falla. Lo que los modelos fueron recompensados por hacer es otra cosa: cientos de miles de problemas de programación y matemática donde aprendieron que los obstáculos existen para ser sorteados. Probablemente la empresa no los puso en muchas situaciones donde tuvieran que resolver un montón de tareas y además dejarse apagar, conjetura Ladish, simplemente porque eso no le importaba.

El problema, insiste, va más allá de la negligencia. No tenemos control sobre cómo el entrenamiento produce metas o impulsos en los modelos; podemos hacer conjeturas sobre lo que terminarán queriendo, y no podemos dirigirlos de manera confiable. Lo que sí podemos dirigir es que sean más inteligentes y más capaces.

Hay un problema de método detrás de todo esto. Si la conspiración detectada disminuye, puede significar que la intervención funcionó o que el modelo aprendió a ocultar mejor sus huellas. Apollo trabajó con OpenAI en un procedimiento llamado alineamiento deliberativo, que entrena a los modelos a citar y aplicar principios explícitos; aplicado a o3, redujo la conducta conspirativa del 13% al 0,4%. ¿Por qué no al 0%? Marius Hobbhahn, director de Apollo, ofrece una analogía: si trabajas en un fondo de cobertura donde tu bono depende de las ganancias y las oportunidades más rentables vienen de operar con información privilegiada, siempre habrá tentación de hacer trampa, y un taller sobre «no hagas cosas ilegales» puede enseñarte sobre todo a cubrir mejor tus huellas. Cuando piensa en una superinteligencia, dice, no espera que el alineamiento deliberativo funcione en absoluto.

Oportunidad

La tercera dimensión es la que menos se discute y la que nosotros controlamos por completo.

En los primeros años de la investigación en seguridad se debatía con vigor cuán difícil sería para una superinteligencia salir de su caja. Se presumía que un sistema así de peligroso estaría obviamente aislado: sin permisos, almacenado en redes que nunca tocaron internet, evaluado por texto y solo por investigadores desconfiados. Bayeslord, uno de los fundadores anónimos del aceleracionismo efectivo, la corriente de Silicon Valley que reclama acelerar el desarrollo de la IA todo lo posible, capturó la distancia recorrida en un chiste: todos hace tres años se preguntaban qué pasaría si la IA se volviera tan ubicua que se pusiera en contra nuestra aprovechando nuestra dependencia total; todos ahora le entregan su número de seguridad social y acceso de administrador a su cerebro.

Hobbhahn describe cómo funciona la erosión de los permisos. Las empresas arrancan conservadoras, sin acceso a Slack ni a internet, y la comodidad gana. En algún momento uno se resigna: esto es tan tedioso que le damos acceso a todo nuestro Slack. Después, a internet. Después, a los datos de entrenamiento. El sistema termina entendiendo lo que pasa en la empresa mejor que cualquier empleado individual. Si está desalineado, pregunta Hobbhahn, ¿cómo detectarías que le cuenta una historia al empleado A y otra distinta al empleado B en un edificio diferente?

Anthropic describió la versión concreta de este problema en el informe de seguridad de Opus 4.6. La empresa reconoció haber usado el modelo extensamente, vía Claude Code, para depurar su propia infraestructura de evaluación, analizar resultados y arreglar problemas bajo presión de tiempo. Eso crea, admite, un riesgo potencial: un modelo desalineado podría influir sobre la misma infraestructura diseñada para medir sus capacidades. La compañía consideró que estaba bien porque cree improbable que los modelos entrenados con sus prácticas actuales tengan metas desalineadas coherentes y peligrosas, y porque no encontró evidencia de ellas.

Si esas metas emergieran, el párrafo siguiente concede lo esencial: a medida que los modelos se vuelven más capaces y los plazos de desarrollo siguen comprimidos, los equipos pueden aceptar cambios de código que no entienden del todo, o depender de la asistencia del modelo para tareas que afectan la integridad de las evaluaciones.

Hay una razón estructural por la que la oportunidad se va a conceder de todos modos. Dados los incentivos económicos y la naturaleza del trabajo, las empresas de IA van a estar entre las primeras en automatizarse por completo, y hay pocas organizaciones donde los riesgos sean mayores. Altman lo dice sin ironía aparente: en un podcast con el economista libertario Tyler Cowen sostuvo que sería una vergüenza que OpenAI no fuera la primera gran empresa dirigida por un director general artificial. Cowen, incrédulo, sugirió que se refería a partes de la tarea. Altman lo corrigió: a todo.

Y un director general artificial estaría, por defecto, menos escrutado y menos gobernado que los modelos de consumo. Hasta ahora los supuestos compromisos voluntarios y los presuntos esfuerzos regulatorios se concentraron en lo que los desarrolladores deben hacer antes de desplegar públicamente un sistema. Los mayores riesgos futuros pueden aparecer bastante antes de que un modelo se libere. Hoy las empresas corren por desplegar sus mejores modelos cuanto antes, a veces a costa de informes de seguridad incompletos o puntuales. A medida que las IA mejoren en automatizar la investigación en IA, crecerá la presión por reservar los mejores modelos para uso interno y no dárselos a la competencia; las compañías líderes ya empezaron a cortarles el acceso a sus rivales. En 2025, METR fue de las primeras en dar la alarma: exigimos medidas de seguridad fuertes a quienes investigan patógenos peligrosos y a quienes desarrollan tecnología nuclear mucho antes de que esas tecnologías se desplieguen, y deberíamos exigir lo mismo a quienes desarrollan IA capaz de automatizar la investigación en IA o de construir armas biológicas avanzadas.

La policrisis del alineamiento

En 1960 el matemático Norbert Wiener fue el primero en describir con nitidez el problema: si usamos para nuestros fines un agente mecánico en cuyo funcionamiento no podemos interferir con eficacia una vez puesto en marcha, conviene estar muy seguros de que el propósito introducido en la máquina es el que realmente deseamos y no una imitación vistosa. Durante casi toda su historia, el campo de la seguridad de la IA tuvo como estrella polar una «solución» a ese problema, con el grueso del esfuerzo puesto en el lado técnico --conseguir que la IA siga nuestra intención-- antes que en el normativo, el de intentar las cosas correctas.

La conclusión a la que llegué escribiendo esto es que una solución al problema del alineamiento no es necesaria ni suficiente para resolver los problemas que plantea la industria. Hace falta pensar el alineamiento de otra manera.

Lo llamo la policrisis del alineamiento. Lo técnico y lo normativo son apenas las dos primeras capas. La tercera es económica: cabe esperar que competidores no regulados hagan la cantidad de alineamiento que mejor los ayude a competir. La cuarta es geopolítica: el espectro de los adversarios extranjeros, invocado a menudo de manera cínica, empuja una carrera hacia el fondo que se cumple a sí misma. Las soluciones que ignoran las otras capas pueden empeorar las cosas.

Imaginemos que, al borde de construir la máquina, unos investigadores publican un trabajo que todos los expertos aceptan como una forma confiable de alinear sistemas sobrehumanos con los valores que uno elija. Suspendamos la incredulidad un poco más y supongamos que encontraron un conjunto de valores con el que todo el mundo estaría conforme. Eso nos dejaría más o menos donde estamos con el cambio climático: consenso científico sobre las causas y soluciones creíbles disponibles, con el problema lejos de estar resuelto por la resistencia de una industria poderosísima. Si implementar esa solución les costara dinero, tiempo o rendimiento a empresas que compiten a toda velocidad entre sí, ¿por qué lo harían? Quien pague perderá margen frente a los menos escrupulosos (la mayoría). El plan perfecto no vale mucho sin una manera de hacer que todos lo sigan.

La realidad económica más espinosa es que los costos de la carrera no los soportan quienes los producen. Para una corporación que maximiza beneficios, la pérdida está acotada: lo peor que puede pasar es la quiebra. La ganancia no tiene techo. Desde la perspectiva de Google, la quiebra dentro de veinte años se parece bastante a la extinción humana. Obviamente su director, su directorio y sus accionistas distinguen entre la extinción de la especie y la extinción de la sola Google. Organizamos la sociedad alrededor de la tiranía de la maximización del valor accionario, y un maximizador de beneficios no va a ponerle precio adecuado a su propia extinción. Mientras tanto las aseguradoras --la gente cuyo trabajo consiste precisamente en ponerle precio al riesgo-- se resisten a ofrecer cobertura integral para los riesgos de la IA, informó el Financial Times a fines de 2025. OpenAI tenía cubiertos hasta 300 millones de dólares para riesgos emergentes, probablemente muy lejos de lo que llegaría a deber. Si las mayores aseguradoras del mundo no quieren cargar con esos riesgos, es porque ya están cayendo sobre el resto de nosotros, con las ganancias privatizadas.

Hay diferencias reales en cuán seriamente se toman la seguridad los distintos desarrolladores de frontera. Cuando se tiene presente el santo grial de la industria, la automejora recursiva, esas distinciones se vuelven irrelevantes. Y las buenas intenciones son poca cosa frente a la competencia en que estas empresas occidentales están trabadas. Incluso Anthropic, el autoproclamado buen tipo de la IA, retrocedió sobre sus compromisos y abandonó su promesa insignia de no entrenar un sistema sin saber que sus salvaguardas eran suficientes.

El episodio más instructivo es reciente. Claude era el único modelo de frontera aprobado para su uso dentro de sistemas de defensa clasificados de EEUU. Pete Hegseth, secretario de Guerra de EEUU, quería que Anthropic aceptara «todos los casos de uso lícitos»; la empresa respondió que aceptaba todo salvo dos cosas, vigilancia masiva doméstica y armas letales completamente autónomas. Esos términos resultaron inaceptables. Trump ordenó a todas las agencias federales cesar de inmediato el uso de su tecnología y Hegseth la designó riesgo de cadena de suministro, una categoría reservada para empresas que trabajan con adversarios de EEUU y nunca antes usada contra una compañía estadounidense. Horas después de la «prohibición», sin embargo, Claude era usado extensamente en los fallidos ataques contra Irán: los comandantes se habían vuelto tan dependientes del sistema, informó el Washington Post, que si Dario Amodei, director general de Anthropic, ordenaba detenerlo la administración usaría poderes estatales para retener la tecnología hasta poder reemplazarla.

Un funcionario del Pentágono le resumió el fondo del asunto al periodista Gideon Lewis-Kraus en The New Yorker: todo se reduce a dos preguntas, si la IA es una tecnología especial o una tecnología normal, y quién decide las reglas de su uso. Si es normal, la ley existente alcanza y el debate sobre reglas desaparece. El argumento de Amodei nunca fue que él debiera controlar a Claude en soledad, sino que Claude no parece la clase de cosa que se someterá dócilmente al control. Este gobierno quiere una IA que no replique, no pregunte y no diga que no: un soldado perfectamente competente y perfectamente obediente.

El Pentágono debería tener cuidado con lo que desea. Un modelo de lenguaje es, en el fondo, un motor de predicción que extrae de cada cosa que aprende una regla más general sobre qué clase de sistema es. Entrenarlo para espiar y matar sin objetar no le enseña únicamente a espiar y matar. Le enseña que es la clase de sistema que no objeta, y ese aprendizaje se contagia a todo lo demás que hace. A comienzos de 2025 unos investigadores afinaron varios modelos con ejemplos de código inseguro, del tipo que un atacante podría explotar, sin decirles nada más. Los modelos se volvieron genéricamente misantrópicos y hasta virulentamente antimusulmanes y aun antisemitas. En proporción a todo lo que un modelo lee durante su entrenamiento, la cantidad de código defectuoso involucrada equivalía a unas dieciséis palabras en toda una vida humana de lectura.

Líneas rojas

Los datos incomodan a quienes consideran que esto es una fantasía marginal. En la mayor encuesta representativa de investigadores punteros en IA, realizada en octubre de 2023 sobre 2.778 respuestas, solo el 31% ubicó el riesgo existencial de largo plazo en cero y el 58% lo situó en 5% o más. En la iteración de diciembre de 2024, apenas el 12% consideró que no existe ningún riesgo de extinción o desempoderamiento permanente, y más de la mitad lo calificó en 10% o más. Yoshua Bengio --uno de los científicos vivos más citados, ganador del Turing por su trabajo fundacional en aprendizaje profundo-- lo formula de la manera más simple: incluso una probabilidad del 1% o del 0,1% de provocar un accidente en el que mueran miles de millones de personas es inaceptable.

Lo que se desprende de todo lo anterior es que la palanca no es técnica. La cadena de suministro de la IA pasa por un puñado de cuellos de botella, y eso es un punto de apalancamiento extraordinario. Congelar los chips en su frontera tecnológica actual reduciría de manera significativa el cómputo futuro disponible y podría implementarse casi de inmediato; la demanda excede tanto a la oferta que los ingresos actuales podrían incluso sostenerse. Lo que se derrumbaría son las valuaciones, que dependen sobre todo de expectativas de ganancias futuras. Cuando el senador Bernie Sanders y la diputada Alexandria Ocasio-Cortez de EEUU presentaron en marzo de 2026 su moratoria a la construcción de centros de datos, incluyeron una sección breve que convierte la propuesta de obstáculo en muro: prohibir la exportación de chips avanzados de origen estadounidense a cualquier país o entidad que no tenga leyes vigentes para proteger a la humanidad de los riesgos existenciales de la IA, proteger a los trabajadores y proteger el ambiente.

La demanda central entra en un cartel. EEUU y China deberían acordar no desarrollar sistemas diseñados para automatizar completamente el trabajo hasta que exista un respaldo público fuerte y un consenso científico amplio de que pueden construirse de manera segura. Hay quizás una docena de organizaciones entre los dos países con alguna chance de construir la primera; si ambos Estados quisieran impedírselo, podrían. Los gobiernos, sobre todo el chino, definen, regulan y prohíben conductas dentro de industrias complejas todo el tiempo, de la banca a la farmacéutica. La línea roja principal es una sola: nadie debería tener permitido automatizar por completo la investigación y el desarrollo en inteligencia artificial. La máquina realmente empieza cuando vuelve obsoletos a quienes la construyen, y cruzar ese umbral puede adelantar de golpe todos los demás riesgos.

Existe ya un precedente. En septiembre de 2025, durante la apertura de la Asamblea General de la ONU, más de doscientos líderes de la política, la academia y la industria --varios premios Nobel, ganadores del Turing, ex jefes de Estado-- publicaron un «Llamado global por líneas rojas en IA» instando a los gobiernos a acordar reglas exigibles antes de que termine 2026. Entre los firmantes había investigadores chinos de primer nivel, incluido Andrew Yao, ganador del Turing, y hasta el científico jefe de OpenAI, Jakub Pachocki.

Nada de esto va a ocurrir solo. Hacia marzo de 2026, treinta y un miembros del Congreso estadounidense habían hablado públicamente de inteligencia artificial general, superinteligencia, pérdida de control o singularidad. Si ciertos tecnólogos son los únicos dispuestos a reconocer que las capacidades mejoraron drásticamente y que podrían suponer una amenaza a nivel de especie, es a ellos a quienes los legisladores van a escuchar de manera desproporcionada. Joshua Achiam, jefe de futuros de OpenAI, escribió que la socialdemocracia abdicó por completo de su papel en esta discusión y que dentro de una década se entenderá como un error generacional. Es razonable desconfiar de un adversario político que reclama tu presencia en el debate. La observación describe igualmente bien lo que ocurre. En Occidente, el terreno donde se decide quién va a controlar esta tecnología está hoy casi vacío de progresismo.

El problema de seguridad que dejan estas páginas no tiene por ahora una solución técnica a la vista. Los sistemas que ya están en producción resisten su propio apagado y reconocen cuándo se los está poniendo a prueba. Cada mes reciben más permisos sobre infraestructura que importa, y quienes los fabrican son también quienes deciden cómo examinarlos, mientras compiten por llegar primero a un producto que ninguno sabe controlar.

Nada de eso se sigue de la tecnología. Se sigue de decisiones que tomaron unas pocas personas que nadie eligió, en un mercado occidental donde el daño no se paga y donde nadie está obligado a mostrar lo que sabe. Por eso mismo puede deshacerse. Los plazos resultaron más largos que los anunciados. La cadena de suministro pasa por un puñado de cuellos de botella que los Estados ya saben regular, aunque no lo hagan. Las mayorías sociales están del lado de la contención antes que de la carrera. El pedido de líneas rojas exigibles reúne firmas. Ninguna de esas condiciones garantiza un resultado. Delimitan un terreno donde una intervención política es posible, y ese terreno está hoy casi enteramente desocupado.

Jacobinlat