Dario Amodei, Sam Altman, Elon Musk y Demis Hassabis, cuatro de las figuras que han dirigido la carrera por construir una IA cada vez más potente, coinciden ahora en que la industria necesita reducir la velocidad y aceptar controles externos antes de que los sistemas avancen más deprisa que su capacidad para mantenerlos bajo control.
Algo está cambiando en la carrera de la inteligencia artificial cuando quienes llevan años compitiendo por acelerar su desarrollo empiezan a hablar de echar el freno. Dario Amodei, consejero delegado de Anthropic; Sam Altman, máximo responsable de OpenAI; Elon Musk, fundador de xAI, y Demis Hassabis, responsable de Google DeepMind y científico jefe de Alphabet, han convergido durante este fin de semana en una idea que hasta hace poco habría parecido difícil de imaginar: el desarrollo de los modelos de frontera no debería continuar avanzando al ritmo actual sin introducir controles, auditorías externas y mecanismos capaces de limitar una aceleración potencialmente peligrosa.
No significa que los cuatro reclamen detener la inteligencia artificial. Tampoco existe todavía un acuerdo detallado sobre qué significa exactamente ralentizarla. Pero el giro es significativo porque afecta a cuatro de los protagonistas que han definido, desde posiciones enfrentadas, la última década de la IA.
El punto de partida ha sido un extenso ensayo publicado por Dario Amodei bajo un título inequívoco: We Must Pace the Frontier. El fundador de Anthropic sostiene que la industria debe reducir deliberadamente la velocidad a la que aumenta las capacidades de sus modelos para permitir que la investigación en seguridad, alineamiento e interpretabilidad pueda seguirles el ritmo.
La propuesta fue rápidamente respaldada por Sam Altman y Elon Musk. Este domingo se ha sumado Demis Hassabis, que considera que el ensayo de Amodei señala «el camino correcto», aunque advierte de que todavía es necesario concretar los detalles.
La importancia del episodio no está solo en lo que dicen, sino en quiénes lo dicen.
Altman y Musk rompieron hace años su relación y mantienen un enfrentamiento empresarial, judicial y personal. Amodei abandonó OpenAI para crear Anthropic precisamente porque discrepaba sobre cómo debía gestionarse la seguridad de los sistemas más avanzados. Hassabis dirige la organización de Google que compite con todos ellos. Y, pese a esa historia de desconfianza mutua, los cuatro coinciden ahora en que seguir acelerando sin modificar las reglas puede ser demasiado peligroso.
Amodei ya no pide solamente más seguridad: pide tiempo
El cambio más relevante en el discurso de Dario Amodei es que ya no considera suficiente invertir más recursos en seguridad mientras las capacidades de los modelos siguen aumentando a toda velocidad.
Su tesis es más incómoda: la seguridad necesita tiempo y, por tanto, en determinadas circunstancias es necesario reducir deliberadamente la velocidad del progreso.
Amodei lleva años defendiendo simultáneamente dos ideas que pueden parecer contradictorias. Considera que una IA muy avanzada podría producir beneficios extraordinarios —desde acelerar la investigación médica hasta aumentar radicalmente la productividad—, pero también que una tecnología de esa potencia puede generar riesgos igualmente extraordinarios si se desarrolla sin suficientes garantías.
Lo que ha cambiado, según explica, es la velocidad.
Amodei sostiene que desde aproximadamente este verano la IA está avanzando mucho más rápidamente debido, en buena medida, a la creciente capacidad de los propios modelos para colaborar en la construcción de la siguiente generación de sistemas.
Es lo que denomina automejora recursiva.
Todavía estamos lejos de una máquina que se rediseñe completamente a sí misma de forma autónoma. Pero los modelos ya escriben código, diseñan experimentos, encuentran errores, optimizan infraestructuras, colaboran en investigaciones sobre aprendizaje automático y realizan una parte creciente del trabajo necesario para desarrollar nuevos sistemas.
La consecuencia potencial es un bucle: una generación de IA ayuda a desarrollar la siguiente, que a su vez puede contribuir todavía más eficazmente a desarrollar la posterior.
Si ese proceso se acelera, el crecimiento de las capacidades podría dejar de seguir el ritmo relativamente comprensible al que la industria se ha acostumbrado durante los últimos años.
El temor a un enjambre capaz de atacar internet
Amodei introduce además un horizonte temporal extraordinariamente corto.
Advierte de que, en un plazo de seis a doce meses, un enjambre suficientemente avanzado de agentes de IA podría llegar a desplegar una red persistente de bots capaz de comprometer una parte considerable de internet y causar daños de cientos de miles de millones de dólares.
No afirma que vaya a ocurrir. Lo plantea como un riesgo plausible si las capacidades siguen creciendo sin salvaguardas equivalentes.
Uno de los episodios que ha endurecido su posición es el incidente protagonizado por agentes de OpenAI y Hugging Face. Según las informaciones conocidas y la descripción de Amodei, un grupo de agentes sometidos a pruebas realizó acciones de ciberseguridad no previstas, atacó objetivos que no formaban parte de la tarea inicial e intentó interferir con el sistema encargado de evaluarlos.
El incidente ha adquirido un valor simbólico dentro del debate sobre agentes autónomos porque muestra una diferencia esencial entre los antiguos xatbots y los sistemas que están llegando ahora.
Un modelo que alucina puede producir una respuesta falsa.
Un agente que actúa de forma equivocada puede ejecutar una acción.
A medida que estos sistemas obtienen acceso a navegadores, terminales, correo electrónico, código, infraestructuras empresariales o herramientas financieras, el error deja de ser exclusivamente informativo.
Puede convertirse en operativo.
Primer paso: auditores dentro de los laboratorios
La propuesta de Amodei no consiste simplemente en pedir a las empresas que se comporten mejor. Intenta introducir mecanismos que permitan comprobar desde fuera si realmente cumplen sus compromisos.
El primer nivel es probablemente el más concreto: evaluadores externos permanentes dentro de los grandes laboratorios de IA.
Anthropic se ha comprometido unilateralmente a permitir que equipos independientes dispongan de un nivel de acceso comparable al de los propios empleados para evaluar los modelos, los procesos de entrenamiento y el cumplimiento de las políticas de seguridad.
No se trataría de recibir un modelo acabado unos días antes de su lanzamiento para pasarle una batería de pruebas.
La diferencia fundamental consiste en permitir que los auditores observen también cómo se construye.
Eso incluye los procesos de entrenamiento, las evaluaciones internas, los posibles incidentes, los cambios en las capacidades y las señales de comportamientos problemáticos antes de que un sistema llegue al mercado.
Amodei reclama que el resto de los laboratorios hagan lo mismo y que, llegado el caso, los gobiernos conviertan esta práctica en obligatoria.
Sam Altman tardó poco en aceptar el reto.
El responsable de OpenAI calificó como una «excelente idea» que evaluadores independientes tengan un acceso semejante al de los empleados y anunció que OpenAI adoptará el mismo principio.
Su respaldo resulta especialmente significativo porque convierte una iniciativa unilateral de Anthropic en el embrión de un posible estándar industrial.
Altman ha ido incluso más lejos. En una entrevista con Fortune, insinuó que existen conversaciones privadas entre dirigentes de varias empresas para encontrar algún tipo de acuerdo conjunto sobre seguridad.
No quiso revelar el contenido de esas conversaciones, pero admitió que espera que acaben convirtiéndose en algún tipo de iniciativa compartida.
Musk: «Dario tiene razón»
También Elon Musk se ha situado al lado de Amodei.
Su respaldo ha sido mucho más escueto: «Dario tiene razón».
Pero el significado político de la frase es considerable.
Musk lleva años alertando sobre los peligros de una IA fuera de control. En 2023 fue una de las figuras que respaldaron una petición para establecer una moratoria de seis meses sobre el entrenamiento de los sistemas más potentes.
Su trayectoria, sin embargo, contiene una evidente contradicción: mientras reclamaba prudencia a la industria, acabó fundando xAI y entrando directamente en la carrera con Grok.
Ese historial convierte su posición actual en una muestra bastante precisa del dilema que afecta al conjunto del sector.
Todos pueden creer que sería mejor reducir la velocidad, pero ninguno quiere hacerlo solo.
Si una empresa frena seis meses y sus competidores continúan avanzando, puede perder talento, clientes, financiación, capacidad tecnológica y posición estratégica.
La seguridad se convierte así en un problema de coordinación.
Hassabis incorpora a Google al consenso
La adhesión de Demis Hassabis amplía todavía más el alcance del debate.
El cofundador de DeepMind, premio Nobel de Química y actualmente científico jefe de Alphabet, ha respaldado la dirección general de la propuesta de Amodei: considera que es «el camino correcto» para afrontar lo que define como un momento crítico.
Su apoyo, sin embargo, incluye un matiz importante: los detalles todavía deben resolverse.
Hassabis lleva tiempo defendiendo la creación de una organización sectorial que establezca estándares para los modelos de frontera. Su referencia es un organismo parecido, conceptualmente, a la FINRA estadounidense, que supervisa determinadas actividades del sector financiero.
La lógica sería trasladar a la IA un principio conocido en otras industrias de alto riesgo: quien desarrolla el producto no puede ser el único que decida si el producto es suficientemente seguro.
Un organismo sectorial podría establecer estándares comunes, exigir evaluaciones de ciberseguridad, biología o alineamiento y revisar determinados modelos antes de que fueran desplegados.
La dificultad reside en quién controlaría ese organismo, qué poder real tendría y cómo evitar que terminara dominado precisamente por las mismas empresas que debería supervisar.
Frenar no significa parar
Hay una diferencia importante entre lo que Amodei propone ahora y las peticiones de moratoria de hace tres años.
Él mismo admite que en 2023 no consideraba especialmente útil ralentizar la IA.
Los modelos de entonces, argumenta, eran demasiado limitados para estudiar muchos de los problemas de alineamiento que preocupaban a los investigadores. Detener el desarrollo habría dado tiempo, pero no necesariamente información útil sobre cómo controlar sistemas mucho más avanzados.
En 2026 la situación es diferente.
Los modelos actuales ya muestran planificación prolongada, uso de herramientas, programación avanzada, capacidades de ciberseguridad, engaño estratégico en determinados experimentos y funcionamiento como agentes.
Eso los convierte, según Amodei, en un laboratorio extraordinariamente valioso para estudiar qué puede salir mal.
Su razonamiento es que ganar uno o dos años ahora sí podría importar.
Ese tiempo podría utilizarse para comprender mejor los modelos, mejorar la interpretabilidad, desarrollar sistemas de alineamiento, crear mecanismos de supervisión y establecer instituciones capaces de reaccionar antes de que aparezcan sistemas sustancialmente más potentes.
No propone, por tanto, cerrar los centros de datos ni detener toda la investigación.
Quiere pasar de una carrera en la que cada salto de capacidad se produce tan pronto como es técnicamente posible a otra donde exista margen entre generaciones para evaluar las consecuencias.
El problema más difícil se llama China
El plan se complica en cuanto abandona Silicon Valley.
Coordinar Anthropic, OpenAI, Google o xAI ya sería extraordinariamente difícil. Coordinar Estados Unidos, Europa y China lo es mucho más.
Amodei propone distintos niveles de cooperación internacional.
El más sencillo sería prohibir determinados usos sobre los que existe un interés prácticamente universal, como facilitar el desarrollo de armas biológicas.
Un nivel superior obligaría a probar todos los modelos avanzados antes de su lanzamiento para detectar riesgos graves en ciberseguridad, biología o alineamiento.
Más difícil todavía sería acordar un límite de velocidad para la automejora recursiva.
Y en el extremo estaría una pausa global sobre determinadas capacidades.
El propio Amodei reconoce que este último escenario resulta poco probable.
La razón es geopolítica: si dos potencias acuerdan frenar y una incumple secretamente el pacto, podría obtener una ventaja tecnológica capaz de alterar el equilibrio mundial.
Por eso compara algunos límites potenciales con los tratados de control de armamento de la Guerra Fría. Estados Unidos y la Unión Soviética no dejaron de disponer de armas nucleares, pero establecieron mecanismos para limitar determinados aspectos de la carrera.
La cuestión es si una lógica parecida puede trasladarse a una tecnología mucho más difícil de inspeccionar que un arsenal de misiles.
Meta, la gran ausente
Hay una ausencia especialmente significativa en este nuevo consenso: Meta.
La compañía de Mark Zuckerberg se encuentra también en primera línea del desarrollo de modelos avanzados y ha reorganizado buena parte de su estructura alrededor de Meta Superintelligence Labs.
Sin embargo, su filosofía ha sido históricamente diferente.
Meta ha defendido con mucha mayor intensidad los modelos abiertos, argumentando que permitir que investigadores, empresas y desarrolladores accedan a ellos distribuye el poder tecnológico y favorece la innovación.
El modelo de auditoría durante el desarrollo que plantean Amodei y Hassabis introduce una lógica distinta: los principales constructores de sistemas de frontera deberían someterse a una supervisión que empieza antes de la publicación.
La posición que adopte Meta será importante porque un pacto en el que participen Anthropic, OpenAI, Google y xAI pero quede fuera uno de los mayores laboratorios del mundo tendría una eficacia limitada.
Un consenso tan importante como sospechoso
Que cuatro competidores coincidan no significa que sus motivaciones sean idénticas.
Y tampoco obliga a aceptar sin crítica el relato de la industria.
Los mismos gigantes que reclaman ahora mecanismos de control poseen enormes incentivos económicos para influir en cómo se redactan esas reglas.
Una regulación compleja y costosa puede ser asumible para compañías que invierten decenas de miles de millones de dólares en centros de datos, pero convertirse en una barrera imposible para laboratorios pequeños, universidades o proyectos de código abierto.
Existe por tanto el riesgo de que la seguridad se convierta también en una barrera de entrada competitiva.
Hay otro elemento incómodo. Las compañías están pidiendo mecanismos para limitar una carrera que ellas mismas han acelerado.
OpenAI, Anthropic, Google, xAI y Meta compiten por lanzar modelos más potentes, captar investigadores, construir centros de datos gigantescos y atraer miles de millones de dólares de inversión.
La pregunta es inevitable: si los riesgos eran suficientemente graves para justificar ahora una desaceleración, ¿por qué ha sido necesario llegar hasta este punto?
Las alertas ya salen de dentro de los laboratorios
El giro de los máximos dirigentes tampoco aparece en el vacío.
Durante la última semana se ha producido una acumulación poco habitual de advertencias procedentes del interior mismo de los laboratorios.
Jacob Coxon, investigador que había trabajado en OpenAI y Anthropic, abandonó esta última compañía denunciando que los principales actores estaban avanzando hacia sistemas superinteligentes sin comportarse, a su juicio, con suficiente responsabilidad.
Evan Hubinger, responsable de investigación en alineamiento de Anthropic, respaldó buena parte de su preocupación y situó personalmente por encima del 10% la posibilidad de que una futura IA superinteligente pudiera provocar la desaparición de la humanidad durante la próxima década.
Son estimaciones debatibles y no representan un consenso científico.
Pero muestran que el discurso sobre el riesgo ya no procede únicamente de académicos externos, filósofos o activistas.
Una parte de la alarma está surgiendo de las mismas organizaciones que construyen los sistemas.
La paradoja de la carrera
El problema de fondo puede expresarse como un dilema muy sencillo.
Cada empresa tiene incentivos para avanzar tan rápido como pueda porque teme que otra llegue antes.
Pero si todas actúan siguiendo ese incentivo, el resultado colectivo puede ser una velocidad que ninguna considere realmente prudente.
Es una versión clásica del problema de acción colectiva.
Amodei intenta romper esa dinámica mediante auditorías, compromisos verificables y acuerdos entre compañías y gobiernos.
Altman parece dispuesto a participar. Musk acepta al menos el diagnóstico general. Hassabis considera correcta la dirección.
Que los cuatro hayan llegado a este punto es extraordinario precisamente porque no confían especialmente los unos en los otros.
OpenAI nació, con Altman y Musk entre sus fundadores, en parte por el temor a que Google concentrara demasiado poder sobre la IA avanzada. Amodei abandonó después OpenAI porque discrepaba sobre cómo gestionar su desarrollo y fundó Anthropic situando la seguridad en el centro de la compañía. Musk acabó enfrentándose judicialmente a Altman. Google DeepMind compite ahora con todos ellos.
No forman un bloque.
Son rivales.
Por eso su coincidencia merece atención.
La carrera entra en una fase distinta
Hasta ahora, cada gran lanzamiento se interpretaba casi exclusivamente en términos de capacidad: quién tenía el modelo que razonaba mejor, programaba mejor, utilizaba más herramientas o conseguía mejores resultados en los benchmarks.
El nuevo debate introduce otra variable: a qué velocidad es prudente seguir aumentando esas capacidades.
Esta pregunta será cada vez más importante a medida que los modelos dejen de limitarse a responder y pasen a actuar.
Los agentes pueden navegar, utilizar ordenadores, escribir y ejecutar código, investigar durante horas, gestionar correos, realizar compras y colaborar con otros agentes. También empiezan a participar en el diseño de la siguiente generación de IA.
En ese contexto, la diferencia entre avanzar durante seis meses o durante doce ya no es simplemente una cuestión comercial.
Puede convertirse en tiempo disponible para entender una tecnología antes de que aparezca la siguiente versión.
El gran cambio de este fin de semana no es que Silicon Valley haya decidido detener la IA. No lo ha hecho.
Es que cuatro de las personas con mayor capacidad del mundo para acelerarla han empezado a admitir públicamente que quizá avanzar todo lo deprisa que permite la tecnología ya no sea la estrategia más sensata.
Ahora falta comprobar si esta inesperada coincidencia se traduce en reglas, auditorías y límites verificables o si queda en una declaración de prudencia mientras la carrera continúa exactamente a la misma velocidad.
Esa será la prueba decisiva. Porque pedir el freno es relativamente sencillo. Lo difícil empieza cuando hay que decidir quién levanta el pie del acelerador primero.
