\n<\/p>\n
Los modelos de lenguaje grandes (LLM) como ChatGPT han ganado popularidad en los \u00faltimos a\u00f1os. Pero en lo que respecta a tareas l\u00f3gicas, la inteligencia artificial hasta ahora ha dado resultados mediocres.<\/p>\n
Un estudio publicado en junio de 2024 por Nezhurina y colegas de la Universidad de Bristol pudo demostrar la dificultad de las tareas l\u00f3gicas m\u00e1s simples para LLM. Los investigadores hicieron a programas como GPT-3.5\/4, Claude, Gemini o Mistral una simple pregunta: “Alice tiene N hermanos y M hermanas. \u00bfCu\u00e1ntas hermanas tiene el hermano de Alice?” Si bien la mayor\u00eda de los adultos y ni\u00f1os reconocer\u00edan la soluci\u00f3n correcta “M + 1” de inmediato, los resultados de las IA estuvieron por debajo del promedio.\n<\/p>\n
Incluso cuando las variables N y M fueron reemplazadas por n\u00fameros concretos, los LLM no pudieron proporcionar una respuesta correcta. Seg\u00fan el estudio, \u201cviene [bei den meisten Modellen] provocan graves perturbaciones y muchos son incapaces de dar ni una sola respuesta correcta”. S\u00f3lo las IA abiertas GPT-4 y Claude 3 Opus pudieron producir respuestas al menos parcialmente correctas, en alrededor del 30 por ciento de los casos. Pero a\u00fan m\u00e1s preocupante que el Las respuestas err\u00f3neas son los supuestos argumentos a favor de su correcci\u00f3n y la perseverancia con la que fueron defendidas.
\n<\/p>\n
“Este colapso puede verse como dram\u00e1tico no s\u00f3lo porque ocurre con un problema aparentemente simple, sino tambi\u00e9n porque los modelos tienden a etiquetar sus soluciones incorrectas como correctas, mientras que a menudo brindan confabulaciones para promover la respuesta dada en las que imitan un argumento. como el tono de voz, pero proporcionan argumentos sin sentido como apoyo a respuestas finales igualmente absurdas y err\u00f3neas”, afirman los investigadores en su trabajo. Si bien algunos argumentos manten\u00edan la apariencia de un razonamiento l\u00f3gico, otros eran demasiado simplistas. Por ejemplo, una justificaci\u00f3n fue “Esta conclusi\u00f3n es simple y clara”.\n<\/p>\n
Como consecuencia, los investigadores concluyen que el trabajo futuro deber\u00eda abordar los or\u00edgenes de los d\u00e9ficits de razonamiento, es decir, la falta de pensamiento l\u00f3gico. Adem\u00e1s, los puntos de referencia actuales deber\u00edan revisarse para revelar debilidades. Los resultados del estudio deber\u00edan servir como \u201cadvertencia contra afirmaciones exageradas [\u2026] que suelen realizar empresas comerciales para presentar sus modelos como un producto maduro a los usuarios.\n<\/p>\n
J. Vogel \/ equipo editorial finanzen.net<\/p>\n<\/div>\n