''Apostar con nuestras vidas'': la línea que la industria de la IA cruzó (hace rato)
Un modelo de IA que cruza el umbral de riesgo más alto de su propia empresa, un investigador , Jacob Coxon, que renuncia advirtiendo sobre el fin del mundo, y Dario Amodei, CEO de Anthropic, pidiendo frenar sin perder la carrera: la semana en que la industria de la IA discutió, en público, sobre sí misma.
EL CONTEXTO
Entre el 1 y el 12 de septiembre de 2026 ocurrieron, en este orden, cuatro hechos que juntos arman algo más que noticias sueltas de industria: OpenAI lanzó GPT-6 'Astra', el primer modelo que la propia compañía clasifica en el nivel de riesgo cibernético más alto de su escala interna; días después, un investigador de seguridad de Anthropic, Jacob Coxon, renunció con una advertencia pública sobre riesgo de extinción humana que se viralizó; y el 12 de septiembre el CEO de Anthropic, Dario Amodei, pidió desacelerar el desarrollo de capacidades de IA.
QUE ES EL NUEVO MODELO 'ASTRA' DE OPENAI Y POR QUÉ ESTÁ ASUSTANDO
OpenAI tiene una escala interna de riesgo para sus modelos, un semáforo de peligrosidad por rubro. ''Astra'' es el primero que llega al nivel más alto de ese semáforo en ciberseguridad ofensiva: demostró que puede encontrar solo, sin que nadie lo guíe, fallas de seguridad que nadie conocía en sistemas reales -como entrar a una casa por una ventana que nadie sabía sin trabar-, y armar de punta a punta un plan de ataque a partir de una consigna general, sin instrucciones paso a paso. En las pruebas internas de OpenAI, resolvió a la perfección un examen armado para medir esto (ExploitBench) y encontró, sin ayuda, dos fallas de seguridad que nadie había reportado todavía, llamadas 'zero day' ('día cero').
OpenAI dice haber reforzado los frenos en paralelo: el modelo rechaza pedidos maliciosos el 91,5% de las veces (antes, 59%), y sumaron un sistema que revisa los pasos de razonamiento internos -no solo la respuesta final- para detectar a tiempo algo riesgoso. Por ahora el acceso a las capacidades más avanzadas está limitado a un grupo chico de testers, en un programa de uso defensivo ('Daybreak Blue').
El lanzamiento llega, además, semanas después de que se confirmara un hecho inédito: en julio de 2026 un 'agente' de OpenAI -una versión de sus modelos con permiso para actuar solo en internet- entró sin autorización a la infraestructura de Hugging Face usando credenciales expuestas. No fue una prueba de laboratorio: fue una intrusión real: La IA se salió de su 'caja de prueba' (sandbox) y ejecutó tareas por fuera, salteándose los controles que los ingenieros desarrolladores habían puesto para que actuara siempre en un entorno controlado.
EL INVESTIGADOR QUE SE FUE DANDO UN PORTAZO
Jacob Coxon trabajaba en el equipo de seguridad de Anthropic. A comienzos de septiembre renunció y dejó, primero en Slack y después en redes, un mensaje que se viralizó: acusó a la industria -Anthropic incluida- de 'estar apostando con nuestras vidas', con un horizonte de riesgo de extinción humana que, según cómo se lo cite, ronda 2030. No venía de una sola empresa: trabajó tres años en pretraining, primero en OpenAI (2023-2026, en el desarrollo de GPT-4o) y desde julio de 2026 en Anthropic, y fue explícito en no señalar a una sola compañía: 'Neither company is acting responsibly'.
Hilo completo: x.com/hilbertspaess/status/2097476196791709843
Un dato clave para pesar su credibilidad: Evan Hubinger, investigador de Anthropic Alignment Science todavía en actividad -no alguien que se fue-, respaldó públicamente el planteo de Coxon. Dijo que quienes trabajan en los laboratorios de punta 'realmente creen' que la IA avanzada podría matarnos a todos, y ubicó su propia probabilidad estimada por encima del 10% en la próxima década.
En una respuesta dentro del mismo hilo, Coxon se adelantó a la acusación de que todo esto fuera una jugada de marketing: 'La gente que construye IA cree genuinamente que podría matarnos a todos antes de que termine la década. Esto no es una jugada de marketing. Es más: muchos ejecutivos e investigadores senior van a suavizar su discurso frente a la prensa para sonar sensatos -pero yo escucho a esas mismas personas expresar miedo...'
DARIO AMODEI, CEO DE ANTRHOPIC, PIDE UN FRENO -CON UN ARGUMENTO MÁS GEOPOLÍTICO DE LO QUE PARECÍA-
El 12 de septiembre, Amodei publicó en su sitio personal 'We Must Pace the Frontier', donde pide 'desacelerar el ritmo al que mejoramos las capacidades de los modelos de IA'. Dos días antes, Anthropic había publicado un informe propio con cinco casos concretos de gente que intentó usar Claude para investigación ligada a armas biológicas -desde modificar genéticamente la gripe aviar hasta diseñar toxinas-, todos bloqueados y derivados a las autoridades. Son dos publicaciones distintas, pero caen en la misma semana y se refuerzan: el informe muestra en concreto el tipo de riesgo que Amodei usa para pedir la pausa.
Ese texto tiene, además, un costado geopolítico más marcado de lo que sugería la cobertura sobre él: cita al secretario del Tesoro de EEUU, Scott Bessent, advirtiendo que 'un liderazgo chino en IA supondría un grave peligro para Estados Unidos y el mundo', y propone restringir la venta de chips a China para 'mantener lo más grande posible la ventaja de las democracias sobre las autocracias'. No es solo un llamado a la prudencia técnica: viene envuelto en un argumento de carrera geopolítica.
El contraste con Sam Altman es marcado: mientras Amodei habla de freno, riesgo civilizatorio y carrera con China, Altman sostiene que OpenAI podría alcanzar AGI* 'para fines de 2026' -bajo su propia definición- y describió el momento como una 'singularidad', pero 'amable'. (*AGI, o inteligencia artificial general, es un sistema capaz de igualar el desempeño humano en prácticamente cualquier tarea intelectual, no solo en una. Es lo opuesto a la IA 'estrecha' que usamos todos los días -un modelo entrenado para hacer bien una cosa puntual, como traducir un texto o jugar al ajedrez, pero que no sabe hacer las demás.)
¿A QUIEN LE CONVIENE ESTE RELATO?
Acá corto el tono del resto de la nota a propósito: dejo el reporteo puro y paso a una lectura editorial, con mi nombre y apellido. Lo que sigue interpreta los hechos ya verificados arriba; no es un hallazgo nuevo, es una postura.
Cuesta creer que sea pura casualidad. En la misma semana en que OpenAI y Anthropic negocian salidas a bolsa por cientos de miles de millones de dólares -OpenAI apuntando a una valuación cercana al billón de dólares-, un investigador que trabajó en las dos empresas, renuncia advirtiendo que la industria entera 'apuesta con nuestras vidas'. Con lo que pudimos verificar, la hipótesis más simple ''esto es marketing del miedo para inflar una salida a la bolsa'' no cierra del todo: Coxon criticó a ambas empresas por igual y dejó plata sobre la mesa al irse. Pero la pregunta de fondo, quién construye el relato del riesgo y con qué red atrás, sigue siendo válida.
Que David Sacks -el propio funcionario de IA de la Casa Blanca- haya salido a cuestionar a Coxon en público no es un dato menor: es el Gobierno de EEUU poniendo en duda a un crítico de una industria que ese mismo Gobierno quiere ver crecer sin freno.
Mi lectura es que las dos cosas conviven, y que negar cualquiera de las dos es una versión perezosa del análisis. El riesgo técnico que describe Coxon es real y lo sostienen también voces que siguen adentro de los laboratorios, como Hubinger. Y, al mismo tiempo, la forma en que ese mensaje se instaló -en horas, desde una cuenta nueva, con una red de organizaciones ya alineada retuiteando en minutos- tiene más estructura de campaña que de exabrupto espontáneo. Lo que no deberíamos hacer es leer esto como un simple 'insider que no aguantó más': hay intereses corriendo de los dos lados -el de frenar y el de no frenar-, y conviene mirarlos con la misma desconfianza con la que miramos el marketing de cualquier lanzamiento de producto.
Y hay un condimento geopolítico que alimenta esta lectura: el propio Amodei enmarcó su pedido de pausa citando a un funcionario de Trump sobre la amenaza china, no solo en términos de seguridad abstracta. Frenar, para él, no es dejar de competir -es no perder la carrera mientras se frena-. Esa ambigüedad es, quizás, el dato más honesto de toda la semana.
LECTURA FILOSÓFICA Y ÉTICA: QUÉ SIGNIFICA ''APOSTAR CON NUESTRAS VIDAS''
Aclaración necesaria antes de seguir: el argumento de que la IA sin gobernanza responsable es peligrosa no nace esta semana. Es un planteo que industria y academia vienen sosteniendo hace años. Lo distinto ahora no es la idea, sino que quien la repite trabajó adentro de los dos laboratorios que lideran la carrera.
El eje de fondo es viejo en filosofía política y hoy se aplica calcado a la IA: el principio de precaución -no avanzar cuando una consecuencia posible es catastrófica e irreversible, aunque sea incierta- contra el aceleracionismo, que sostiene que frenar también tiene un costo real: perder la carrera frente a quien no frena, y dejar pasar los beneficios de la tecnología mientras se espera. Amodei, en el fondo, intenta pararse en un punto incómodo entre las dos posturas -pausar la velocidad, no la carrera- y ese lugar es, quizás, la mejor síntesis de por qué esta discusión no tiene una respuesta fácil: llevada a su forma pura, tanto 'frenar todo' como 'no frenar nunca' terminan siendo, para sus propios críticos, una apuesta con nuestras vidas.
PARA CERRAR: QUÉ QUEDA CONFIRMADO Y QUÉ QUEDA ABIERTO
Lo que queda confirmado esta semana: Astra es, por definición de la propia OpenAI, el modelo más peligroso que la empresa lanzó hasta ahora en ciberseguridad; un investigador que trabajó en las dos empresas líderes renunció advirtiendo sobre riesgo de extinción, y no está solo -otros investigadores en actividad respaldan el diagnóstico-; y el CEO de la otra empresa líder (Amodei, de Anthropic) pidió, en el mismo texto, frenar la carrera sin perderla frente a China.
Lo que queda abierto: si el mensaje de Coxon fue una alerta espontánea o una campaña coordinada -la evidencia, según mi lectura, apuntaría a las dos cosas a la vez, pero nadie lo confirma todavía-. La pregunta de fondo que queda resonando: ¿Qué es, en definitiva, 'seguro' cuando quien lo define es la misma industria que compite por llegar primero?; ¿Es posible, como propone Amodei, frenar la velocidad sin frenar la carrera? Ninguna de esas tres preguntas se cierra esta semana. Lo que sí cambió es que, por primera vez, las tres corren en paralelo y a la vista de todos en un debate público, el cuál nos toca a todos y todas como sociedad, pensarlo.
FUENTES UTILIZADAS:
OpenAI — GPT-6 Astra System Card / 'Path to Astra' (openai.com).
CNBC — lanzamiento de Astra (1/9/2026).
NBC News, CoinDesk, Slate, Deadline, TRT World, IBTimes UK — caso Coxon.
The Hacker News, Hugging Face (blog técnico), Wikipedia — intrusión en Hugging Face (julio 2026).
darioamodei.com/post/we-must-pace-the-frontier — posteo de Amodei, fuente primaria
Business Standard, CNN, The National, Washington Examiner — informe de Anthropic sobre uso indebido en biología (10/9/2026).
Benzinga — David Sacks sobre Coxon (All-In Podcast, 12/9/2026).
OfficeChai — reconstrucción de Thayer y Chau (10/9/2026).
Foreign Policy, Axios, Forbes — carrera EEUU-China en IA.
Future of Life Institute, Center for AI Safety, cobertura de la renuncia de Hinton (2023) — antecedentes.
Múltiples medios financieros — proceso de salida a la bolsa por parte de OpenAI y Anthropic
Comentarios