Skip to main content

Un estudio reciente de OpenAI desentraña una de las trampas mejor disfrazadas de los modelos de lenguaje: las «alucinaciones». No son errores groseros ni fallos visibles, sino afirmaciones falsas que suenan ciertas. Una seguridad impostada que esconde incertidumbre. El informe, firmado por Adam Tauman Kalai, Ofir Nachum, Santosh Vempala y Edwin Zhang, sugiere que los modelos están programados, casi sin quererlo, para responder con firmeza antes que admitir que no saben.

Una predicción tras otra (aunque no tenga sentido)

Modelos como GPT o Claude operan con una lógica estadística. Predicen, palabra a palabra, lo que sigue con más probabilidad. No hay comprensión. Solo continuidad. Si no tienen datos, no frenan. Rellenan el hueco con lo que suena bien. El entrenamiento les ha enseñado que es mejor parecer listo que quedarse callado, de hecho, la consigna implícita es llenar los vacíos, no reconocerlos. Así es como un modelo puede inventar un autor que nunca escribió, una ley que jamás se promulgó, o un estudio que no existe en ninguna base de datos. No se trata de mentir con intención, sino de continuar la frase como si nada. Lo hace con tanta coherencia formal que cuesta notar el desliz. Pero todo encaja. Y ese es el problema.

Un ejemplo reciente circuló por X. Un usuario corrigió a Grok —el modelo de lenguaje de xAI— tras confundir una fotografía del archivo de la Universidad de Málaga con una imagen de Walker Evans del MET. Grok respondió con rapidez y seguridad. Aunque se equivocaba. Insistió durante varios mensajes. A pesar de los enlaces, las comparaciones, las pruebas. Solo cedió horas después, cuando la conversación ya era pública y visible. Una ilustración en tiempo real del sesgo de confianza que OpenAI describe.

Responder con seguridad se ha vuelto un atajo

La tensión es clara. Mientras las pruebas valoren respuestas seguras, los modelos tendrán incentivos para sonar firmes, con o sin evidencia. En una charla informal, puede parecer una virtud. Pero en medicina, derecho o educación, esa confianza sin base puede convertirse en un riesgo. El dilema no es solo técnico. También es cultural. ¿Queremos una IA que lo sepa todo, o una que reconozca sus límites?

Cuando aprender significa arriesgar sin mirar

El trabajo de OpenAI no culpa al modelo, sino al método. Hoy, un sistema es mejor valorado si responde siempre, incluso cuando improvisa. Decir «no sé» baja la nota. Por eso, los modelos aprenden a lanzarse. Las métricas actuales, centradas en precisión y cobertura, no penalizan las afirmaciones falsas si suenan verosímiles. El resultado es que se prioriza la forma sobre el fondo. El estudio propone cambiar las reglas del juego y ajustar las métricas para que reconozcan el valor de una respuesta honesta, incluso si es incompleta. Eso incluye puntuar positivamente las negativas fundamentadas, las expresiones de duda razonada o los silencios informados. Porque admitir que se ignora algo no es debilidad, sino parte de la inteligencia. Una inteligencia, además, más útil para convivir con la incertidumbre del mundo real.

Cambiar el método, no solo el modelo

Algunas soluciones ya se exploran. Una es RAG (generación aumentada con recuperación), una técnica que combina el poder de un modelo de lenguaje con un sistema de búsqueda documental. Antes de generar una respuesta, el modelo consulta una base de datos o corpus específico —por ejemplo, artículos científicos, manuales técnicos o documentos institucionales— y construye su respuesta a partir de esa evidencia. Así se reduce la probabilidad de que invente datos, ya que se ve obligado a ‘leer antes de hablar’. Otra idea es sumar un segundo sistema que revise si lo dicho tiene respaldo. Pero ninguna de estas fórmulas resuelve el fondo, porque si el modelo está entrenado para adivinar, seguirá haciéndolo. Aunque lea primero. Aunque revise después.

Callar también es una forma de saber

El estudio de OpenAI propone una idea simple, pero incómoda, que los modelos aprendan a callar. No porque fallen, sino porque a veces no hay nada cierto que decir. Hoy se premia la fluidez. Quizá mañana valoremos más la pausa. Saber cuándo no hablar. Cuándo no fingir. Cuándo reconocer el hueco.

Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.

Dejar un comentario