OpenAI detectó por qué ChatGPT alucina y propuso una solución
OpenAI difundió un estudio en el que explica por qué su chatbot a veces inventa respuestas
2 minutos de lectura'
OpenAI ha indagado sobre el origen de las alucinaciones en los modelos de lenguaje, un fenómeno que pone en riesgo la fiabilidad de la inteligencia artificial, y su persistencia. Lo vincula con las evaluaciones que incentivan las conjeturas.
Las alucinaciones son un fenómeno por el que la IA ofrece respuestas que, a pesar de parecer coherentes, incluyen información sesgada o errónea, que no está respaldada por los datos con los que se ha entrenado.
Suponen un problema que afecta a la interacción con los modelos de lenguaje, porque los usuarios pueden creer que la información es correcta y tomar decisiones en base a ella. También son un desafío para las empresas que desarrollan esos modelos, porque no está claro su origen.
OpenAI, sin embargo, asegura que se originan en el preentrenamiento, en el proceso de predicción de la siguiente palabra en grandes cantidades de texto, cuando no existen etiquetas que ayuden a distinguir lo que es válido de lo que es inválido.
Este es el resultado de una investigación que ha compartido recientemente, titulada ‘¿Por qué los modelos de lenguaje alucinan?’, en la que ha indagado también sobre la persistencia de las alucinaciones en los modelos más recientes, que recoge en su blog oficial.
Asegura que “las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos erróneos”, y para explicarlo, compara su forma de responder con un estudiante enfrentándose a un examen de respuesta múltiple.
“Si no sabés la respuesta, pero intentás adivinar, podrías tener suerte y acertar. Dejarla en blanco garantiza un cero. De la misma manera, cuando los modelos se califican solo por la precisión, el porcentaje de preguntas que responden correctamente, se les anima a adivinar en lugar de decir ‘No lo sé’”.
Ante este descubrimiento, OpenAI propone actualizar las pruebas basadas en la precisión para que también se penalicen las conjeturas, y que los modelos puedan “abstenerse ante la incertidumbre”.
Aun así, la compañía reconoce que no se pueden conseguir modelos de lenguaje que sean precisos al 100%, porque “independientemente del tamaño del modelo y de sus capacidades de búsqueda y razonamiento, algunas preguntas del mundo real son inherentemente incontestables”.
Más leídas
1La Rosadita de la AFA: videos y fotos revelan cómo se movía el dinero en cajas, bolsas y mochilas
2El casamiento de Cande Ruggeri y Nico Maccari: las lágrimas de la modelo y los famosos que dijeron presente
3Por qué EE.UU. e Israel atacaron a Irán en este momento (y cómo podría acabar este conflicto)
4La CIA ayudó a detectar una reunión clave de la cúpula de Irán, pero Israel dio el golpe mortal
