Los buenos oradores saben que, para convencer a su audiencia, una buena estrategia consiste en transmitir su mensaje con un tono de excesiva seguridad. Si bien en el caso de los oradores, su público puede aplicar un filtro de saludable escepticismo a los contenidos presentados de este modo, ¿qué ocurre con la información entregada con una confianza aparentemente igual cuando es presentada por un sistema de IA?

La ilusión de omnisciencia

Los sistemas de inteligencia artificial como ChatGPT, Claude, Perplexity, Gemini, Copilot y otros grandes modelos de lenguaje (LLM) se han convertido, quizás, en una presencia demasiado banalizada en nuestra búsqueda cotidiana de respuestas y opiniones. Nos gusta utilizarlos porque generan respuestas originales, fáciles de leer y "fáciles de creer". Sin embargo, esta versatilidad oculta una limitación muy profunda: estos sistemas tienen dificultades para reconocer los límites de su conocimiento. Rara vez dicen "No lo sé" y, cuando no saben algo, generan contenido que parece tener el mismo tono seguro que lo que consideramos como “respuestas fiables”. Pero no lo es.

Como investigadores, usuarios y desarrolladores de herramientas basadas en IA, los autores de este artículo buscan comprender por qué estos sistemas  exhiben este "problema de sobreconfianza", o "omnisciencia", qué significa esto para los usuarios y qué puede hacerse para remediar esta importante limitación de uso.

La arquitectura de la omnisciencia: cómo funcionan los grandes modelos de lenguaje

Para comprender por qué los sistemas de IA tienen dificultades para aceptar sus propias limitaciones, es necesario entender primero cómo funcionan estos sistemas. Los grandes modelos de lenguaje no utilizan fuentes de bases de conocimiento en el sentido tradicional del término; son mecanismos de reconocimiento y búsqueda de patrones, entrenados con grandes cantidades de datos para predecir resultados en función de la relación y la proximidad de las palabras.

Cuando no saben algo, generan contenido que parece tener el mismo tono seguro que lo que consideramos respuestas fiables.

Esta asociación de ideas encuentra sus límites cuando las palabras y los documentos disponibles no están suficientemente próximos a la pregunta formulada. Es entonces cuando aparece el fenómeno de las alucinaciones de la IA, es decir, la generación por parte de la IA de información plausible pero completamente inventada. ¿Recuerdas a ese familiar que "había recorrido el mundo y tenía respuesta para todo"? Es una analogía de este fenómeno de alucinación: este pariente quizás nunca fue a la India, pero, apoyándose en su experiencia en Pakistán, proyecta similitudes y diferencias entre los dos países a partir de la información recopilada en libros, y responde las preguntas como si hubiera estado allí.

El verdadero problema es que distintos trabajos teóricos han demostrado que la alucinación no es simplemente un problema técnico que pueda resolverse con un mejor entrenamiento, sino más bien «una limitación inherente» de los LLM. Esta verdad matemática significa que ninguna ingeniería puede eliminar las alucinaciones; solo pueden reducirse.

Trabajos recientes de OpenAI muestran también que las alucinaciones se producen incluso cuando los modelos están bien entrenados, porque los sistemas basados en la predicción deben generar una continuación plausible cuando el nivel de certeza es bajo.

Qué puede hacerse: remediar la omnisciencia de la IA

Mitigar el problema de sobreconfianza en los sistemas de IA requiere una acción coordinada de varios actores: desarrolladores de IA que mejoren los sistemas, usuarios que desarrollen prácticas de participación crítica y marcos institucionales que establezcan límites de uso adecuados.

Desde el punto de vista técnico, investigadores de la Universidad de Oxford han desarrollado métodos para detectar cuándo un gran modelo de lenguaje es propenso a «alucinar», utilizando la entropía semántica. Los creadores de sistemas de IA deberían empezar a diseñar modelos explícitos de sus dominios de entrenamiento fiables. Cuando las consultas entren en ámbitos con escasa cobertura, el sistema podría reconocer proactivamente sus limitaciones.

Otra posibilidad que comienza a utilizarse es la de los sistemas híbridos, que combinan modelos de lenguaje con capacidades de búsqueda en tiempo real y verificación de hechos para validar las afirmaciones antes de presentarlas.

La sobreconfianza inducida por el entrenamiento: por qué el modelo aprende a parecer seguro

Existe otra razón por la que los sistemas de IA parecen a menudo más seguros de lo que deberían. No proviene de la arquitectura del modelo, sino de la forma en que estos sistemas son entrenados para interactuar con los humanos.

Durante el entrenamiento, los modelos son recompensados por ser útiles, fluidos y reactivos. Las respuestas completas y seguras suelen recibir mejores evaluaciones humanas. En cambio, las respuestas que expresan incertidumbre tienden a obtener peores calificaciones.

Con el tiempo, el modelo aprende que parecer seguro es una estrategia ganadora.

Esto crea un segundo nivel de sobreconfianza: el modelo no es «penalizado» suficientemente por haber dado una respuesta incorrecta con un tono seguro. OpenAI, Anthropic y DeepMind han reconocido todos este problema.

Cinco formas prácticas para que los usuarios reduzcan el riesgo de sobreconfianza de la IA

Verificar la información, no solo la fuente

Pedir fuentes puede ayudar, pero las citas proporcionadas por la IA suelen ser incompletas, mal atribuidas o completamente inventadas. Lo que realmente importa es verificar si una afirmación puede confirmarse de forma independiente mediante referencias fiables.

Prestar atención a las afirmaciones que parecen precisas sin aportar pruebas

Las respuestas muy detalladas no siempre son falsas, pero una precisión no respaldada es una señal de alarma. Cuando un sistema proporciona cifras exactas o métodos paso a paso sin citar su origen, trátelos como hipótesis, no como hechos.

Pedir al modelo que explique qué puede ser incierto

Los modelos no pueden evaluar verdaderamente su propio nivel de confianza, pero pueden revelar las partes de una respuesta que se basan en generalizaciones débiles. Hacer preguntas como "¿Qué partes de esta respuesta se basan en suposiciones?" obliga al sistema a descomponer su razonamiento.

Utilizar varias fuentes independientes

En lugar de confiar en un único resultado de IA, compare las respuestas de diferentes modelos, expertos humanos o herramientas especializadas. La coherencia entre fuentes independientes refuerza la fiabilidad; las divergencias señalan incertidumbre.

Conocer los tipos de tareas en los que la IA es fiable y en los que no

La IA puede ser excelente para la lluvia de ideas, la reescritura, la síntesis o la explicación de conceptos. Sin embargo, las tareas que implican razonamiento de alto riesgo, datos precisos, interpretación jurídica o juicio médico conllevan riesgos mayores.

Observación conclusiva

Ninguna de estas prácticas elimina las alucinaciones, y no pueden compensar las causas estructurales o vinculadas al entrenamiento de la sobreconfianza. Pero ofrecen a los usuarios una forma realista y duradera de interactuar de manera crítica con los sistemas de IA. El objetivo no es la perfección; es una interacción más segura e informada.

Fernanda Arreola, profesora de estrategia, innovación y emprendimiento, ESSCA School of Management

David Jaidan, fundador de Minerva View, empresa SaaS de inteligencia de localización, y docente de IA en escuelas de negocios e ingeniería.