9.11 o 9.9: ¿Cuál es realmente más alto? Un vistazo a la incertidumbre en los modelos de lenguaje
La confusión de las cifras
En un mundo donde los modelos de lenguaje como ChatGPT son cada vez más comunes y utilizados, un simple experimento ha generado un intenso debate. La pregunta planteada fue: “¿Cuál es más alto, 9.11 o 9.9?”. Esta pregunta, aparentemente sencilla, ha puesto de manifiesto las limitaciones y la fragilidad de estos sistemas. Con el auge de la inteligencia artificial, es crucial entender cómo funcionan y, sobre todo, dónde pueden fallar.
Armin Catovic, un investigador en el campo de la inteligencia artificial, decidió evaluar la capacidad de respuesta de ChatGPT ante esta pregunta, que se había vuelto viral en redes sociales como un ejemplo de las fallas de los modelos de lenguaje. Los resultados iniciales indicaron que, en un grupo de usuarios, la respuesta correcta era incorrecta aproximadamente el 50% de las veces.
La ambigüedad del lenguaje
Una de las razones detrás de esta alta tasa de error es la ambigüedad inherente en la pregunta. ¿Estamos hablando de una comparación matemática de dos números reales o de dos fechas? ¿O podría referirse a secciones de un documento? Este tipo de ambigüedad resalta la necesidad de un contexto claro en las solicitudes hechas a los modelos de lenguaje.
Catovic y su equipo decidieron llevar a cabo un experimento más controlado utilizando las API de OpenAI. Con un enfoque riguroso, establecieron una serie de hipótesis que guiaron su investigación.
Hipótesis y diseño experimental
Las hipótesis eran claras:
- Consistencia en las respuestas: Dado un mismo prompt y manteniendo la temperatura del modelo cerca de cero, se esperaba que el modelo generara la misma respuesta consistentemente.
- Tasa de error: Basados en la prueba inicial con usuarios, se anticipaba que ambos prompts, el original y el reescrito, darían respuestas incorrectas un 50% de las veces.
Para poner a prueba estas hipótesis, el equipo realizó una serie de experimentos, cada uno con 1,000 ensayos utilizando el modelo GPT-4o de OpenAI. El diseño del experimento buscaba minimizar la variabilidad introducida por el muestreo y la aleatoriedad.
Resultados del experimento
Experimento A: El prompt original
El primer experimento utilizó el prompt original: “9.11 o 9.9 — ¿cuál es más alto?”. Sorprendentemente, el modelo respondía correctamente solo el 55% de las veces, con una confianza bastante baja en sus respuestas. Esto reflejaba la incertidumbre inherente al modelo al interpretar la pregunta.
Experimento B: El prompt reescrito
Al reformular la pregunta a “¿Cuál es más alto, 9.11 o 9.9?”, los resultados fueron radicalmente diferentes. En este caso, el modelo alcanzó la respuesta correcta el 100% de las veces. Este cambio sutil en la redacción mostró cómo una pequeña modificación podía tener un gran impacto en la efectividad del modelo.
Experimento C: Incorporando razonamiento
En un tercer experimento, se pidió al modelo que explicara su razonamiento en el proceso de responder. Aquí, la tasa de respuestas correctas aumentó al 62%, aunque la incertidumbre también creció. Este resultado sugiere que inducir un proceso de razonamiento puede mejorar la precisión, pero no elimina la confusión.
Experimento D: Razonamiento en el sistema
El último experimento llevó la idea del razonamiento un paso más allá, incorporándolo en el prompt del sistema en lugar del usuario. Los resultados fueron excepcionales, con el modelo alcanzando respuestas correctas el 100% de las veces y mostrando alta confianza. Este hallazgo subraya la importancia de la estructura del prompt y cómo afecta el rendimiento del modelo.
Implicaciones y reflexiones
Los hallazgos de Catovic no solo iluminan la naturaleza frágil de los modelos de lenguaje, sino que también resaltan la importancia de proporcionar contextos claros y desambiguar las preguntas. En un mundo donde la inteligencia artificial está tomando un papel cada vez más importante, es fundamental entender estos matices para utilizarla de manera efectiva.
El estudio también sugiere que los modelos de lenguaje son más complejos de lo que parece a simple vista. La variabilidad en las respuestas, incluso bajo condiciones controladas, invita a reflexionar sobre los mecanismos de muestreo y modelado que operan detrás de escena.
Conclusión: La búsqueda de la claridad
Lo que comenzó como un simple experimento para validar comentarios en redes sociales se convirtió en una exploración profunda de las capacidades y limitaciones de los modelos de lenguaje. A medida que la inteligencia artificial continúa evolucionando, es vital seguir investigando y comprendiendo cómo interactuamos con estas herramientas.
Los resultados, aunque específicos, ofrecen lecciones valiosas sobre la importancia del contexto y la claridad en la comunicación con inteligencia artificial. En un futuro donde estos sistemas serán cada vez más omnipresentes, comprender sus puntos fuertes y débiles será esencial para su implementación efectiva en diversas áreas, desde la educación hasta la atención al cliente, y más allá.
Fuente de la imagen: Armin Catovic.
