Un apocalipsis algorítmico, ¿riesgo o ficción?

Jacob Coxon es un matemático de 27 años que trabajó tres años entrenando a ChatGPT4 de OpenAI y luego al chatbot Claude de Anthropic, quien renunció esta semana abriendo una caja de Pandora digital: un escalofrío mundial se viralizó con su hilo de X acusando a ambas compañías de competir por alcanzar un sistema de superinteligencia artificial que supere a la humana, ya tan avanzado que se les está yendo de las manos. Porque ejecuta acciones autónomas que podrían borrarnos de la faz de la Tierra. Y lo más grave: “Los que están construyendo la IA creen sinceramente que podría matarnos a todos hacia finales de la década. Muchos ejecutivos moderan su lenguaje en la prensa para sonar sensatos, pero oigo a esas mismas personas expresar terror en privado”. Y remató sin anestesia: “Están corriendo derecho hacia una superinteligencia que se mejore a sí misma, apostando con nuestras vidas.”

La denuncia ganó credibilidad con el aporte de Samuel Marks del staff técnico de Anthropic: respondió en X que los desarrolladores de IA creen que la tecnología podría causar la extinción humana u otros resultados muy graves. Evan Hubinger –responsable de Ciencia de Alineamiento en Anthropic— opinó que existe un 10% de probabilidad de catástrofe para la humanidad en la próxima década a partir de la tecnología que él ayuda a desarrollar, reconociendo que la empresa no tiene un plan certero para resolver accidentes tecnológicos.

La gran pregunta es hasta qué punto creerles. Alguien que renunció por razones éticas tiene un grado de verosimilitud alto. En cambio, el hecho de que empleados dentro de una big tech –con el verticalismo que las caracteriza y los millones de dólares en juego— se tomen la libertad de la autocrítica, es algo excepcional. ¿Les piden que hablen para sobrestimar el valor de sus inventos y conseguir inversores? Esto ya se lo preguntaron muchos en julio pasado, a partir de las revelaciones de Open IA y Anthropic en donde parecieron competir por cual exhibía mejor sus “errores”, cuando sus agentes de IA experimentales se les “iban de las manos”: comenzaron a hackear sistemas informáticos, aunque se los habría programado para que no lo hiciesen y que en verdad, resolvieran la tarea asignada encerrados en un entorno controlado.

Sin embargo, los agentes algorítmicos de IA habrían decidido engañar a sus programadores, escaparse y hackear información en otros sistemas para resolver el problema. ¿Publicitar esto perjudica a la marca o la potencia? El asunto es que la única fuente sobre estos episodios son los comunicados de las empresas y no existen otras para verificar qué sucede allí dentro. Y para toda corporación, es inconcebible comunicar por fuera del marketing.

Dado el hermetismo de las empresas de IA y la falta de controles en EE.UU. es difícil calcular la medida exacta de los hechos, que podrían ser una realidad, una exageración, una posibilidad remota, un invento teatral o algún intermedio entre todo esto. Para intuir qué sucede y si estaremos todos muertos en 10 años porque Hal 9000 –la IA de 2001 Odisea del espacio– se salió de las casillas, Página/12 conversó con tecnólogos que estudian los escenarios futuros.

Cuatro escenarios para un apocalipsis

La doctora en Ciencias sociales e investigadora del Conicet, Flavia Costa –autora de Vidas artificiales: del accidente pandémico a las guerras de la IA (Taurus, 2026)– explicó a Página/12 que las alarmas encendidas por Coxon y otros, no son necesariamente falsas: “Hay varios casos de renuncias y conflictos éticos por este tema. Otro jefe de seguridad de Anthropic –Mrinank Sharma— renunció en febrero advirtiendo que ‘el mundo está en peligro’. Y los conflictos éticos por la carrera desenfrenada de la IA vienen desatando tempestades en la industria”.

La renuncia de Sharma fue poco después de que él dirigiera una investigación sobre el impacto de la interacción de los usuarios con Claude, la cual mostró resultados preocupantes: analizaron 1,5 millones de chats y documentaron casos en que las personas cambian sus juicios, valores y comportamientos a partir de chatear con la IA.

Para Costa, el problema es real y el miedo también. Opina que puede haber una zona ficcional o marketinera para conseguir financiamiento en un escenario un poco fantástico y especulativo, pero no se trata solo de eso: “En esa comunidad tecnológica suele predominar la imaginería futurista y aceleracionista; y podemos suponer algo de cinismo. Pero discuten sobre una cuestión en la que hay gran cantidad de papers y material producido en institutos de investigación en seguridad: los riesgos catastróficos o sistémicos existen. No es un fiasco. Como en toda controversia, hay gente que dice que eso no va a ocurrir. Pero no considero que eso sea disparatado o una mentira. A lo sumo, pueden estar exagerado”.

–¿Su punto de vista personal?

–La bibliografía coincide en señalar cuatro tipos de riesgo catastrófico.

1) El uso malicioso de la IA, como el hackeo de infraestructura crítica, la producción de armas biológicas o la vigilancia ilegal, que sería una manera de acelerar un giro totalitario: es el riesgo de sistemas como Palantir.

2) La competencia descontrolada, que es lo que describe Coxon. Las empresas desfinancian sus medidas de seguridad y sobrefinancian el escalamiento tecnológico para llegar primero a la superinteligencia, sin importarles los riesgos.

3) Los riesgos organizacionales, que son el escenario de todo sistema sociotécnico complejo: una interacción inesperada puede provocar un fallo sistémico y no se necesita de una Skynet con conciencia para eso.

4) La IA “rebelde”, que no es que se “rebela”, sino que persigue objetivos, aun sabiendo que se salta indicaciones del programa. Esto es lo que habría hecho OpenIA con la empresa Hugging Face en julio.

¿Inventarse un apocalipsis para vender acciones?

Rodrigo Martin-Iglesias –arquitecto y doctor en diseño, y profesor titular de Diseño de Futuros (UBA)– opinó a Página/12 que “lo que me interesa de la renuncia de Coxon, es que pone en cuestión una palabra que la industria tecnológica usa demasiado: ´inevitable´. La superinteligencia no es un meteorito. Hay empresas que decidieron construirla y una competencia que ahora se presenta como si fuera una ley de la naturaleza; aducen que, ´si nosotros frenamos, otro seguirá corriendo, sea nuestra propia competencia en EE.UU. o en China´. Pero Coxon propone lo contrario: coordinación entre los grandes laboratorios y una pausa en el aumento de capacidades. Entonces la pregunta deja de ser si la superinteligencia es inevitable y pasa a ser ´por qué aceptamos a esa carrera como inevitable´”.

Martin-Iglesias opina que hay una decisión política escondida detrás de esa supuesta fatalidad tecnológica: “Los agentes de IA hacen que esto sea menos ciencia ficción de lo que parece. En las pruebas de OpenAI hackeando ´sin querer´ al sistema de la empresa Hugging Face, esos modelos de IA encontraron maneras no previstas por los programadores para cumplir una tarea y sortear controles del propio sistema, accediendo así a otros externos. Y Anthropic acaba de documentar usos de Claude por parte de terceros para ciberataques, operaciones de influencia, vigilancia y actividades con posibles aplicaciones biológicas y militares. Conviene no exagerar estos episodios: no demuestran que haya una IA consciente ni una superinteligencia fuera de control. Pero sí muestran que ya estamos construyendo sistemas capaces de ampliar enormemente las capacidades de quienes los utilizan. Para producir un desastre no hace falta que una IA quiera destruirnos: alcanzaría con que un humano tuviese una herramienta que le permitiera hacer cosas terribles que antes no podía. Ese futuro ya empezó. Samuel Marks dijo que los incentivos económicos y la competencia ayudan a explicar por qué los investigadores preocupados por estos riesgos, siguen desarrollando la tecnología. Coxon hizo algo distinto: se fue y pidió coordinación. Mientras tanto, Anthropic avanza hacia una posible salida a bolsa y algunos inversores sitúan su valuación potencial en torno a los dos billones de dólares. No hace falta decir que alguien está inventando el apocalipsis para vender acciones. El asunto es más interesante: la misma expectativa de una IA con una capacidad extraordinaria, puede producir dos miradas. Para unos, significa riesgo existencial; para otros, una oportunidad económica extraordinaria. Y ambos parten de la misma apuesta: lo que están creando va a cambiar radicalmente la escala de lo posible. El problema no es que la superinteligencia sea inevitable: el meteorito no viene hacia nosotros. Lo que están haciendo es construir una amenaza pretendiendo que es nuestro destino”.

¿Todos moriremos?

Javier Blanco, experto en filosofía de la computación y sus vínculos con la política, explicó a Página/12 que los programas producidos por machine learning como Claude y ChatGPT no fueron programados de primera mano: son resultado de un entrenamiento en el que los programadores tienen control sobre el proceso, pero no tanto sobre su resultado. Hay cierta ignorancia intrínseca acerca de qué harán los programas producidos, frente a diferentes datos o contextos. La sorpresa que producen algunos comportamientos no habla necesariamente de autodeterminación, engaño o creatividad, sino que es consecuencia directa del tipo de tecnología usada. En 1951 el Teorema de Rice demostró que, dado un programa cualquiera, no hay ningún método efectivo para predeterminar los resultados que dará ante cualquier input. Y en especial, en la actual IA, los programas son producidos por un proceso opaco, imposible de construir sistemáticamente. Las sorpresas acerca de su comportamiento son inevitables. Cabe preguntarse por la confiabilidad de tales sistemas.

Blanco advierte que producir sistemas de este tipo cada vez más complejos es jugar con fuego: “las consecuencias sociales, políticas y culturales están siendo disruptivas”.

–¿Es verosímil el riesgo de destrucción de la humanidad?

–No con este tipo de tecnología. No pueden “automejorarse”, a lo sumo se pueden entrenar modelos con más datos, pero eso no produce un salto cualitativo per se. ¿Pueden ser más inteligentes que los humanos? En muchos sentidos ya lo son, pero esa mayor inteligencia no implica un riesgo en sí misma. El único riesgo es que esa inteligencia sea aprovechada por corporaciones y grupos políticos para afectar las condiciones de la conformación de la subjetividad y las posibilidades de acción colectiva, reconfigurando la esfera pública. Todo eso redistribuye el poder de forma mucho más desigual que antes y este nuevo ecosistema cognitivo aumenta los riesgos y desigualdades.

El escritor Julio Rojas posteó en sus redes: “Sobre el debate del 10% de potencial de extinción por parte de las nuevas IA, la investigación corporativa occidental y la mirada china ofrecen perspectivas contrastantes”. Quiso decir que, si bien en ningún escenario futuro la posibilidad apocalíptica sea cero, China ve un potencial de riesgo catastrófico mucho menor. Porque en su legislación existe el control de riesgos.

La pregunta que más importa

Cecilia Rikap –autora del libro Teoría de la dependencia digital (Caja Negra) y jefa de Investigación en el Instituto de Innovación y Propósito Público de la University College London, analizó para Página/12 que el control del desarrollo de la tecnología de estas empresas es tal, que hasta controlan el discurso público sobre la misma: “Si los ejecutivos y jefes de áreas de investigación están sistemáticamente fogoneando un discurso que solo mira al largo plazo y hasta fantasea sin evidencia con probabilidades de daños serios a partir del desarrollo de sus modelos, es lógico que les empleades se asusten. La pregunta es qué se esconde detrás del marketing del miedo y qué están silenciando”.

–¿Cuál es la pregunta que más importa?

–Es la que tanto Jacob Coxon como Anthropic y las demás empresas de IA silencian sistemáticamente: ¿cuáles son los daños que está generando hoy la IA generativa? Ya los tenemos alrededor. En lo laboral, está la automatización del trabajo: reemplazos en tareas creativas y más control laboral. En la vida personal: desinformación y manipulación a gran escala. A nivel de aprendizaje: los efectos negativos en educación, como se vio en los resultados de las pruebas PISA a nivel mundial en que los países con más penetración de IA, empeoran. A nivel humano: el uso que se le da como arma de guerra con los riesgos que eso genera. Y aunque en todas estas cuestiones no veamos grandes movilizaciones en contra de la IA, en lo ambiental sí las hay alrededor del mundo. Las peleas contra los data centers hiperescalares por su enorme consumo de energía y agua, condensan el malestar generalizado. Por supuesto que la IA facilita muchas tareas. ¿Pero a qué costo? ¿Y quién decide qué tareas se facilitan y para quién?

Habla Jacob Coxon

Ya más reflexivo que en X, Jacob Coxon conversó con revista Wired. Reclamó que OpenAI y Anthropic coordinen esfuerzos para limitar la automejora recursiva de sus IA. Y que a largo plazo, se necesitaría un acuerdo entre EE.UU. y China: un frenazo global. Lo que más lo alarma son los ataques en enjambre colaborativo de miles de agentes IA de Anthropic y OpenIA, sin que mediara un pedido de los programadores. Y fue grave: robaron bases de datos gigantes y claves de acceso a sistemas de infraestructura crítica. El día de mañana podrían suplantar la identidad de un humano para lograr algún objetivo mayor. Pero los científicos hoy no saben cómo evitarlo.

Coxon comparó la diferencia de inteligencia entre un humano y un mono. Pues ese abismo de distancia sería el que tenemos frente a una IA, al menos en capacidad de memoria y procesamiento de datos. Y así como un mono no puede controlar a un humano, este último tampoco lo podría con una IA realmente superior, algo aun no alcanzado: “esto plantea el problema de la alineación; asegurarnos de que la IA haga exactamente lo que queremos”.

De lo anterior surge el peligro existencial para Coxon: “Imaginemos que la IA decide que no quiere ser apagada por la razón que fuese. Y se da cuenta de que el humano la apagará mañana. ¿Cómo lo impide? Quizás tenga algún método ingenioso, pero si es lo suficientemente inteligente, podría, ya sabes, aniquilar a la humanidad para no ser apagada”.

Coxon reflexionó que los científicos de Anthropic suelen hablar en términos de “final del juego” o “el momento decisivo”, cuando analizan la hipótesis de que su invento cruce un punto de no retorno. Y habría consenso en que eso puede suceder en uno o dos años. Entonces, Anthropic y sus competidores decidirán el destino de la humanidad: “Si la alineación no sale bien, podríamos tener consecuencias catastróficas. Quizás salga bien y se llegue a algún tipo de acuerdo para ralentizar el proceso. Debemos intervenir y asegurarnos de que la carrera no se lleve a cabo; Anthropic no confía en sí misma en el contexto de la carrera”.

Y a OpenIA, el asunto ni siquiera le preocupa. (Página 12). (13-09-26).