Paul De Grauwe es profesor de la London School of Economics. Su columna aparece cada dos semanas.
Cuando ChatGPT apareció en escena, fue un poco impactante. Incluso un leve pánico estalló en el mundo de la educación, el periodismo y muchos otros lugares. ¿Qué le sucederá a nuestra profesión si el santo de los santos, nuestra capacidad humana única para poner pensamientos en papel, contar historias y hacer análisis veraces, puede ser completada más rápido y mejor por un chatbot? Por nuestra profesión me refiero aquí tanto al profesor-profesor como al columnista que soy.
Para ponerlo a prueba, hice los siguientes experimentos. Primero le hice algunas preguntas a ChatGPT en un dominio en el que tengo cierta experiencia. Así que comencé con la siguiente pregunta: ¿cuál fue el nivel más alto de la tasa de interés que controla el BCE desde el año 2000? Respuesta de ChatGPT: 4,25 por ciento en 2008. Así que eso estuvo mal. El nivel más alto fue de 4,75 por ciento en 2001. Pensé para mis adentros: extraño que tenga ese error. Es fácil de comprobar en Google. Pero ChatGPT aparentemente no lo hace. Así que le digo a ChatGPT que su respuesta es incorrecta. Entonces descubro algo curioso: el chatbot admite abiertamente su error y se disculpa.
Entonces, la siguiente pregunta: ¿Bélgica cumplió con los estándares de Maastricht sobre déficit presupuestario y deuda pública cuando el país se unió a la eurozona? Respuesta: Sí, Bélgica cumplió con los estándares de Maastricht. Nuevamente incorrecto. La deuda pública de Bélgica en 1999 estaba muy por encima del estándar del 60 por ciento del PIB. No obstante, el país fue admitido en la eurozona, al igual que otros países candidatos que también fueron admitidos a pesar de que no cumplían con algunos de los estándares de Maastricht.
Señalo el error a ChatGPT. Nuevamente un reconocimiento inmediato de que estaba equivocado y una disculpa. Pero luego ChatGPT comete uno error no provocado. El chatbot agrega a su excusa que hoy la Unión Europea está monitoreando de cerca los déficits gubernamentales y la posición de la deuda de los países y los está instando a poner su casa presupuestaria en orden. Cuando luego señalo que las reglas presupuestarias se han dejado de lado temporalmente desde la pandemia, el chatbot reconoce de inmediato (con las disculpas necesarias) que se equivocó nuevamente.
A partir de ideas sobre tantas inexactitudes, hago la pregunta: ¿quién es Paul De Grauwe? Respuesta: ¿Paul De Grauwe es profesor emérito de la London School of Economics? Mi valor se hunde. ¿Por qué ahora me declaran emérito en la LSE? Soy emérito de KU Leuven, pero todavía no quiero jubilarme en Londres.
¿Qué podemos aprender de toda esa información errónea que construye ChatGPT? Cuando ChatGPT responde a mis preguntas, no se pregunta cuál es la respuesta correcta, sino cuál es la respuesta que tiene un grado de probabilidad suficiente. Toda la metodología detrás del chatbot se basa en predicciones estadísticas. Basado en una cantidad increíble de textos en Internet, el chatbot predice la siguiente palabra más probable en una oración, construyendo oraciones que a menudo son muy convincentes y coherentes. Eso produce resultados satisfactorios si queremos producir ensayos filosóficos, literatura y poesía.
Pero cuando queremos hacer análisis ligados con información fáctica, ChatGPT falla. Se pueden construir muchos hechos que son plausibles. Con eso quiero decir que son hechos que podrían (o podrían haber) ocurrido, incluso con un alto grado de probabilidad. Toma la respuesta de que soy profesor emérito de la LSE. Eso es muy plausible. Es mucho más probable que un profesor de 76 años sea emérito que no emérito. Y, sin embargo, la respuesta es objetivamente incorrecta.
O tomemos la respuesta de que Bélgica fue admitida en la zona del euro a pesar de que no cumplía con uno de los estándares de Maastricht. Esa también es una respuesta plausible. Muchos países que fueron admitidos cumplieron con esos estándares. Así que era plausible para ChatGPT que Bélgica hiciera lo mismo. Pero no era un hecho.
No puedo explicar por qué ChatGPT omitió mi pregunta sobre las tasas de interés. Hubo dos picos en las tasas de interés: uno alrededor de 2001 y otro alrededor de 2008. ChatGPT atrapó el segundo y perdió el primero. Yo no sé por qué. Quizás los expertos encuentren una respuesta a esto.
Mi conclusión preliminar. Las personas que realizan análisis basados en información fáctica, como profesores y periodistas, no deben preocuparse por ChatGPT. Es demasiado poco fiable para ser un competidor serio.