Los grupos tecnol\u00f3gicos se apresuran a redise\u00f1ar la forma en que prueban y eval\u00faan sus modelos de inteligencia artificial, a medida que la tecnolog\u00eda que avanza r\u00e1pidamente supera los puntos de referencia actuales.<\/p>\n
OpenAI, Microsoft, Meta y Anthropic han anunciado recientemente planes para crear agentes de IA que puedan ejecutar tareas para humanos de forma aut\u00f3noma en su nombre. Para hacer esto de manera efectiva, los sistemas deben ser capaces de realizar acciones cada vez m\u00e1s complejas, utilizando el razonamiento y la planificaci\u00f3n. <\/p>\n
Las empresas realizan \u201cevaluaciones\u201d de modelos de IA por parte de equipos de personal e investigadores externos. Se trata de pruebas estandarizadas, conocidas como benchmarks, que eval\u00faan las capacidades de los modelos y el rendimiento de sistemas de diferentes grupos o versiones anteriores.<\/p>\n
Sin embargo, los avances recientes en la tecnolog\u00eda de inteligencia artificial han significado que muchos de los modelos m\u00e1s nuevos hayan podido acercarse o superar el 90 por ciento de precisi\u00f3n en las pruebas existentes, lo que destaca la necesidad de nuevos puntos de referencia. <\/p>\n
\u201cEl ritmo de la industria es extremadamente r\u00e1pido. Ahora estamos empezando a saturar nuestra capacidad para medir algunos de estos sistemas. [and as an industry] cada vez es m\u00e1s dif\u00edcil evaluar [them]\u201d, dijo Ahmad Al-Dahle, l\u00edder de IA generativa en Meta.<\/p>\n
Para abordar este problema, varios grupos tecnol\u00f3gicos, incluidos Meta, OpenAI y Microsoft, han creado sus propios puntos de referencia internos y pruebas de inteligencia. Pero esto ha generado preocupaci\u00f3n dentro de la industria sobre la capacidad de comparar la tecnolog\u00eda en ausencia de pruebas p\u00fablicas. <\/p>\n
\u201cMuchos de estos puntos de referencia nos permiten saber qu\u00e9 tan lejos estamos de la automatizaci\u00f3n de tareas y trabajos. Sin que se hagan p\u00fablicos, es dif\u00edcil para las empresas y la sociedad en general saberlo\u201d, dijo Dan Hendrycks, director ejecutivo del Centro para la Seguridad de la IA y asesor de xAI de Elon Musk.<\/p>\n
Los puntos de referencia p\u00fablicos actuales (Hellaswag y MMLU) utilizan preguntas de opci\u00f3n m\u00faltiple para evaluar el sentido com\u00fan y el conocimiento sobre diversos temas. Sin embargo, los investigadores sostienen que este m\u00e9todo se est\u00e1 volviendo redundante y que los modelos necesitan problemas m\u00e1s complejos.<\/p>\n
“Estamos llegando a una era en la que muchas de las pruebas escritas por humanos ya no son suficientes como buen bar\u00f3metro de la capacidad de los modelos”, dijo Mark Chen, vicepresidente senior de investigaci\u00f3n de OpenAI. “Eso crea un nuevo desaf\u00edo para nosotros como mundo de la investigaci\u00f3n”.<\/p>\n
Un punto de referencia p\u00fablico, SWE-bench Verified, se actualiz\u00f3 en agosto para evaluar mejor los sistemas aut\u00f3nomos en funci\u00f3n de los comentarios de las empresas, incluida OpenAI. <\/p>\n
Utiliza problemas de software del mundo real procedentes de la plataforma de desarrollo GitHub e implica proporcionar al agente de IA un repositorio de c\u00f3digo y un problema de ingenier\u00eda, pidi\u00e9ndole que lo solucione. Las tareas requieren razonamiento para completarse.<\/p>\n
En esta medida, el \u00faltimo modelo de OpenAI, la versi\u00f3n preliminar GPT-4o, resuelve el 41,4 por ciento de los problemas, mientras que Claude 3.5 Sonnet de Anthropic obtiene el 49 por ciento.<\/p>\n
\u201cEs mucho m\u00e1s desafiante [with agentic systems] porque es necesario conectar esos sistemas a muchas herramientas adicionales\u201d, dijo Jared Kaplan, director cient\u00edfico de Anthropic. <\/p>\n
“B\u00e1sicamente, hay que crear un entorno de prueba completo para que jueguen. No es tan simple como simplemente brindarles un mensaje, ver cu\u00e1l es la finalizaci\u00f3n y luego evaluarlo”, agreg\u00f3.<\/p>\n
Otro factor importante al realizar pruebas m\u00e1s avanzadas es asegurarse de que las preguntas de referencia se mantengan fuera del dominio p\u00fablico, para garantizar que los modelos no “hagan trampa” de manera efectiva al generar las respuestas a partir de datos de entrenamiento en lugar de resolver el problema. <\/p>\n
La capacidad de razonar y planificar es fundamental para desbloquear el potencial de los agentes de IA que pueden realizar tareas en m\u00faltiples pasos y aplicaciones, y corregirse a s\u00ed mismos. <\/p>\n
“Estamos descubriendo nuevas formas de medir estos sistemas y, por supuesto, una de ellas es el razonamiento, que es una frontera importante”, dijo Ece Kamar, vicepresidente y director del laboratorio de Fronteras de la IA en Microsoft Research. <\/p>\n
Como resultado, Microsoft est\u00e1 trabajando en su propio benchmark interno, incorporando problemas que no han aparecido previamente en el entrenamiento para evaluar si sus modelos de IA pueden razonar como lo har\u00eda un humano. <\/p>\n
Algunos, incluidos investigadores de Apple, han cuestionado si los grandes modelos de lenguaje actuales son “razonamiento” o simplemente “coincidencia de patrones” con los datos similares m\u00e1s cercanos observados en su entrenamiento.<\/p>\n
\u201cEn los dominios m\u00e1s estrechos [that] a las empresas les importa, razonan\u201d, dijo Ruchir Puri, cient\u00edfico jefe de IBM Research. \u201c[The debate is around] Este concepto m\u00e1s amplio de razonamiento a nivel humano, casi lo ubicar\u00eda en el contexto de la inteligencia artificial general. \u00bfRealmente razonan o est\u00e1n repitiendo como loros?<\/p>\n
OpenAI mide el razonamiento principalmente a trav\u00e9s de evaluaciones que cubren matem\u00e1ticas, materias STEM y tareas de codificaci\u00f3n.<\/p>\n
\u201cEl razonamiento es un t\u00e9rmino muy grandioso. Cada uno lo define de forma diferente y tiene su propia interpretaci\u00f3n. . . este l\u00edmite es muy confuso [and] Tratamos de no estancarnos demasiado en esa distinci\u00f3n en s\u00ed, pero observamos si est\u00e1 impulsando la utilidad, el rendimiento o las capacidades\u201d, dijo Chen de OpenAI.<\/p>\n