OpenAI detectó por qué ChatGPT alucina y propuso una solución
OpenAI difundió un estudio en el que explica por qué su chatbot a veces inventa respuestas
2 minutos de lectura'
OpenAI ha indagado sobre el origen de las alucinaciones en los modelos de lenguaje, un fenómeno que pone en riesgo la fiabilidad de la inteligencia artificial, y su persistencia. Lo vincula con las evaluaciones que incentivan las conjeturas.
Las alucinaciones son un fenómeno por el que la IA ofrece respuestas que, a pesar de parecer coherentes, incluyen información sesgada o errónea, que no está respaldada por los datos con los que se ha entrenado.
Suponen un problema que afecta a la interacción con los modelos de lenguaje, porque los usuarios pueden creer que la información es correcta y tomar decisiones en base a ella. También son un desafío para las empresas que desarrollan esos modelos, porque no está claro su origen.
OpenAI, sin embargo, asegura que se originan en el preentrenamiento, en el proceso de predicción de la siguiente palabra en grandes cantidades de texto, cuando no existen etiquetas que ayuden a distinguir lo que es válido de lo que es inválido.
Este es el resultado de una investigación que ha compartido recientemente, titulada ‘¿Por qué los modelos de lenguaje alucinan?’, en la que ha indagado también sobre la persistencia de las alucinaciones en los modelos más recientes, que recoge en su blog oficial.
Asegura que “las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos erróneos”, y para explicarlo, compara su forma de responder con un estudiante enfrentándose a un examen de respuesta múltiple.
“Si no sabés la respuesta, pero intentás adivinar, podrías tener suerte y acertar. Dejarla en blanco garantiza un cero. De la misma manera, cuando los modelos se califican solo por la precisión, el porcentaje de preguntas que responden correctamente, se les anima a adivinar en lugar de decir ‘No lo sé’”.
Ante este descubrimiento, OpenAI propone actualizar las pruebas basadas en la precisión para que también se penalicen las conjeturas, y que los modelos puedan “abstenerse ante la incertidumbre”.
Aun así, la compañía reconoce que no se pueden conseguir modelos de lenguaje que sean precisos al 100%, porque “independientemente del tamaño del modelo y de sus capacidades de búsqueda y razonamiento, algunas preguntas del mundo real son inherentemente incontestables”.
Más leídas
1Del sueño europeo a la incertidumbre: la familia argentina que quedó atrapada por un cambio de las leyes migratorias
2Con el aguinaldo: qué día cobro mi jubilación en diciembre
3Eben Etzebeth, estrella de la selección de rugby de Sudáfrica, fue suspendido por la World Rugby
4Los votos opositores que le allanaron el camino a Axel Kicillof para lograr el endeudamiento
