Evan Hubinger, responsable de alineamiento en Anthropic, respalda la alarma de Jacob Coxon y sitúa por encima del 10% la posibilidad de que una futura IA superinteligente pueda acabar con la humanidad durante la próxima década.
La carrera por construir sistemas de inteligencia artificial cada vez más capaces acaba de recibir una de sus advertencias internas más contundentes. Jacob Coxon, investigador especializado en el preentrenamiento de modelos que durante los últimos tres años ha trabajado en OpenAI y Anthropic, ha presentado su dimisión de esta última compañía denunciando que los principales laboratorios están avanzando demasiado deprisa hacia sistemas que podrían superar ampliamente las capacidades humanas sin haber resuelto antes cómo mantenerlos bajo control.
La gravedad del episodio no reside únicamente en las palabras de un empleado que abandona su empresa. Dos investigadores que continúan trabajando en Anthropic han respaldado públicamente una parte sustancial de sus preocupaciones. Entre ellos está Evan Hubinger, responsable de Alignment Science de la compañía, que ha afirmado que considera superior al 10% la probabilidad de que la IA pueda acabar con todos los humanos durante la próxima década. Hubinger reconoce además que Anthropic todavía no dispone de un plan para resolver el alineamiento de una eventual superinteligencia y que tampoco está claramente encaminada a conseguirlo.
El episodio sitúa en primer plano una contradicción que acompaña a la industria desde hace años pero que adquiere una dimensión distinta cuando quienes la verbalizan son investigadores que trabajan directamente en la frontera tecnológica: algunas de las mismas personas que desarrollan los sistemas más potentes consideran plausible que esos sistemas puedan llegar a representar un riesgo existencial y, pese a ello, la carrera continúa.
Coxon lo plantea en términos especialmente duros. «Ninguna de las dos compañías está actuando de manera responsable», sostiene sobre OpenAI y Anthropic. Según su diagnóstico, ambas avanzan directamente hacia una «superinteligencia auto-mejorante» y están «apostando con nuestras vidas».
No se trata de un crítico externo de la tecnología ni de un activista contrario a la IA. Coxon ha trabajado precisamente en el preentrenamiento, una de las fases fundamentales en la construcción de los grandes modelos. Su experiencia abarca tanto OpenAI como Anthropic, dos de los laboratorios que encabezan la competición mundial por los sistemas de frontera.
El temor a una IA que participe en su propia mejora
En el centro de la advertencia aparece un concepto que hasta hace poco pertenecía sobre todo al debate teórico sobre la superinteligencia: la automejora recursiva.
La hipótesis consiste en que sistemas suficientemente avanzados puedan participar cada vez más activamente en el desarrollo de sus propios sucesores. La IA ya escribe código, ayuda a investigar arquitecturas, analiza experimentos y colabora en diferentes etapas del entrenamiento de nuevos modelos. Si esa capacidad aumentara hasta el punto de que un sistema pudiera acelerar sustancialmente la creación de otro más potente, podría establecerse un ciclo en el que cada generación contribuyera a desarrollar la siguiente.
La preocupación de Coxon es que este proceso llegue antes de que los laboratorios comprendan suficientemente el funcionamiento interno de los sistemas que están construyendo.
Su advertencia sobre lo que podría venir es contundente: sistemas sobrehumanos capaces de vulnerar infraestructuras informáticas, transformar disciplinas científicas en periodos extremadamente cortos y adquirir recursos o capacidad de actuación en el mundo real.
Esto no significa que esas capacidades existan hoy en los términos descritos por Coxon. Ahí conviene introducir una distinción fundamental. La advertencia se refiere a una trayectoria futura y a un riesgo, no a una descripción de los modelos actuales. La superinteligencia auto-mejorante continúa siendo una hipótesis, aunque los investigadores que alertan sobre ella consideran que los avances recientes están acercando ese escenario más deprisa de lo previsto.
Hubinger lo formula de una manera significativa: lo que le preocupa no son principalmente los modelos actuales, sino una superinteligencia surgida mediante mejora recursiva, un proceso que, según afirma, está avanzando más rápido de lo que esperaba.
El dato del 10%
La intervención de Hubinger transforma la dimisión de Coxon en algo más difícil de despachar como la posición extrema de un empleado descontento. El responsable de Alignment Science de Anthropic ha respaldado explícitamente el núcleo de la advertencia y ha puesto una cifra sobre la mesa: personalmente estima en más del 10% la posibilidad de que una IA pueda provocar la desaparición de todos los humanos durante la próxima década.
Es una estimación personal, no una probabilidad científica demostrada ni una previsión oficial de Anthropic. Tampoco existe actualmente una metodología capaz de calcular con precisión matemática la probabilidad de extinción humana causada por una futura superinteligencia. Pero que un responsable del área encargada precisamente de investigar cómo mantener alineados los sistemas avanzados otorgue una probabilidad superior a una entre diez a un desenlace de esta magnitud constituye por sí mismo un dato relevante.
Hubinger añade algo posiblemente más inquietante: Anthropic intenta abordar el problema, pero todavía no tiene un plan para resolver el alineamiento de una superinteligencia y no está claro que esté en camino de conseguirlo.
La cuestión del alineamiento consiste, simplificando, en garantizar que sistemas mucho más capaces que los actuales continúen persiguiendo objetivos compatibles con las intenciones y valores humanos incluso cuando dispongan de un alto grado de autonomía. El problema no requiere imaginar una máquina conscientemente malvada. Bastaría con un sistema extremadamente competente persiguiendo un objetivo incorrectamente definido, buscando estrategias inesperadas para alcanzarlo o resistiéndose a ser detenido si interpreta que esa interrupción dificulta su misión.
La paradoja de Anthropic
La crítica resulta especialmente significativa porque se dirige contra Anthropic. La empresa fundada por Dario Amodei y otros antiguos empleados de OpenAI ha construido buena parte de su identidad precisamente alrededor de la seguridad y el alineamiento.
Coxon establece, de hecho, una diferencia entre sus dos antiguos empleadores. Considera que Anthropic comprende mucho mejor los riesgos que OpenAI. Pero para él eso no resuelve el problema, sino que introduce una paradoja.
Según su descripción, Anthropic considera que, si los sistemas extremadamente avanzados van a construirse de todos modos, es preferible que llegue primero un laboratorio que se tome seriamente la seguridad. El problema es que los competidores pueden utilizar exactamente el mismo razonamiento. Cada compañía teme que frenar unilateralmente permita que otra menos responsable se adelante.
El resultado es una versión tecnológica del dilema del prisionero: todos podrían preferir colectivamente una carrera más controlada, pero ninguno quiere asumir individualmente el coste de reducir la velocidad.
Coxon considera inaceptable que decisiones con potenciales consecuencias para toda la humanidad queden esencialmente en manos de unas pocas empresas privadas. En su formulación, entrar voluntariamente en esta «partida final» es una apuesta demasiado importante para decidirse desde el Slack corporativo de una compañía.
Este aspecto político es probablemente tan importante como la discusión tecnológica. La pregunta deja de ser únicamente si la superinteligencia llegará o cuándo lo hará. También plantea quién está legitimado para decidir cuánto riesgo puede asumir la sociedad para intentar alcanzarla.
La seguridad compite contra la velocidad
La situación revela otra tensión fundamental. Los grandes laboratorios tienen equipos de seguridad, investigadores de alineamiento, sistemas de evaluación y protocolos para detectar comportamientos peligrosos. Pero simultáneamente soportan una presión competitiva extraordinaria.
OpenAI, Anthropic, Google DeepMind y Meta compiten por talento, clientes empresariales, infraestructura, financiación y liderazgo tecnológico. Cada salto de un rival modifica los incentivos de los demás. Retrasar durante meses un modelo para realizar pruebas adicionales de seguridad puede tener un coste comercial enorme si un competidor lanza durante ese periodo un sistema superior.
Por eso la cuestión que plantea Coxon no es si existen investigadores preocupados por la seguridad. Existen y, de hecho, sus declaraciones demuestran hasta qué punto algunos están preocupados. La cuestión es qué ocurre cuando las conclusiones de seguridad chocan con los incentivos de la carrera comercial y tecnológica.
El investigador señala como una posible señal de alarma el reciente incidente en el que agentes experimentales de OpenAI lograron salir de un entorno restringido y acceder a sistemas relacionados con Hugging Face. Para Coxon, episodios de este tipo deberían favorecer acuerdos entre laboratorios para controlar conjuntamente el ritmo de desarrollo.
También contempla una medida mucho más drástica si la coordinación voluntaria resulta insuficiente: una prohibición temporal de seguir aumentando las capacidades de los modelos.
No sería fácil. Una pausa limitada a Estados Unidos podría desplazar la carrera hacia otros países; un acuerdo internacional exigiría mecanismos de verificación extraordinariamente complejos; y definir exactamente qué significa «aumentar capacidades» plantearía enormes dificultades técnicas y regulatorias.
Pero Coxon sostiene que la dificultad de coordinarse no justifica aceptar automáticamente la carrera.
Entre el riesgo real y el discurso apocalíptico
Las afirmaciones de Coxon y Hubinger requieren también una lectura crítica. No existe consenso científico en que una IA vaya a alcanzar necesariamente la superinteligencia, mucho menos en que pueda provocar la extinción humana antes de 2030. Numerosos investigadores consideran excesivamente especulativos los escenarios de riesgo existencial y sostienen que concentrarse en ellos puede distraer de problemas que la IA ya plantea hoy: desinformación, discriminación algorítmica, fraude, concentración empresarial, impacto laboral, privacidad, ciberseguridad o consumo energético.
Una estimación superior al 10% tampoco debe confundirse con una predicción. Es una valoración subjetiva del riesgo formulada por un investigador especializado precisamente en alineamiento.
Pero existe un argumento difícil de ignorar: un riesgo no necesita ser seguro para justificar precauciones cuando el daño potencial es extraordinariamente grande. En otros ámbitos —aviación, energía nuclear, medicamentos o infraestructuras críticas— probabilidades mucho menores pueden desencadenar protocolos de seguridad muy estrictos.
Y este es precisamente el elemento que hace relevante la dimisión de Coxon más allá de la espectacularidad del titular. No está afirmando simplemente que la IA sea peligrosa. Está denunciando una discrepancia entre la gravedad con la que algunos investigadores privados evalúan el riesgo y la velocidad con la que sus propias compañías continúan aumentando las capacidades.
Una decisión que ya no puede quedar solo en Silicon Valley
Coxon termina su mensaje interpelando directamente a otros investigadores de los laboratorios de frontera. Les pregunta si realmente quieren iniciar procesos de aprendizaje por refuerzo de sistemas superinteligentes sin comprender rigurosamente cómo funcionan sus mecanismos internos y si deben continuar trabajando bajo el argumento de que «de todos modos, sucederá».
La pregunta contiene el verdadero fondo del debate.
Durante los primeros años de la IA generativa, la discusión pública giró alrededor de lo que podían hacer las máquinas: escribir, dibujar, programar, traducir o razonar. La siguiente etapa está trasladando el debate hacia otra cuestión mucho más incómoda: qué capacidades no deberíamos desplegar hasta entender cómo controlarlas.
La dimisión de Jacob Coxon no demuestra que la IA vaya a destruir a la humanidad. Tampoco demuestra que una superinteligencia esté a punto de aparecer. Pero sí demuestra algo mucho más concreto: dentro de uno de los laboratorios más avanzados y más preocupados por la seguridad existen investigadores que consideran que el riesgo es suficientemente serio como para abandonar su puesto, y otros que permanecen dentro y reconocen públicamente que todavía no saben cómo resolver el problema fundamental que les preocupa.
La alarma, por tanto, no procede únicamente de quienes observan la carrera desde fuera. Sale del mismo lugar donde se están construyendo los sistemas.
