Mientras ChatGPT avanza alegremente, varios grupos grandes intentan competir con el auge del chatbot de OpenAI. Este es el caso de la rama de inteligencia artificial de Meta, que anunció el 24 de febrero de 2022 la creación de un modelo de lenguaje llamado LLaMA.
Una IA generativa que primero se dedicará a la investigación
Dentro una declaración, Meta AI presentó su nuevo modelo de lenguaje fundamental. GPT-3 de OpenAI tiene 175 mil millones de parámetros, LaMDA de Google enumera 137 mil millones para el modelo más avanzado, pero Meta ha optado por confiar en solo 65 mil millones de parámetros. » Los modelos más pequeños y más capaces, como LLaMA, permiten que otros miembros de la comunidad de investigación que no tienen acceso a grandes cantidades de infraestructura estudien estos modelos, democratizando aún más el acceso en esta importante área y cambiando rápidamente “ justifica la empresa.
LLaMA estará abierto solo para científicos, al menos por ahora. Su finalidad será ayudar a los investigadores a progresar en sus trabajos relacionados con la inteligencia artificial. El camino tomado por Meta AI difiere del tomado por OpenAI con su chatbot ChatGPT, basado en una versión mejorada de GPT-3. Al asociarse con Microsoft, OpenAI quiere asegurarse de que su herramienta sea utilizada por el público en general.
La firma de Satya Nadella trabajó durante varias semanas para incluir IA generativa en Bing. Después de anunciar que había mejorado su motor de búsqueda, Microsoft tuvo que controlar su IA para evitar deslices. En cuestión, la IA se comportaría de forma extraña cuando las conversaciones se alargan, ofreciendo respuestas que ya no tienen relación alguna con el tema inicial. El gigante tecnológico ahora limita el uso de su herramienta a 60 sesiones diarias de chat y 6 preguntas por sesión.
En la misma línea, Google dio la voz de alarma llamando a todos sus equipos a trabajar en una herramienta similar a ChatGPT y basada en LaMDA. Esto llevó al anuncio de Apprentice Bard, su nuevo chatbot, actualmente no disponible. Los investigadores de Google quieren tomarse su tiempo para ajustar su IA. Durante la presentación de una versión de prueba de su robot conversacional, dio una respuesta inexacta a una pregunta sobre el telescopio espacial James Webb.
Meta AI es consciente de que su modelo de lenguaje aún es mejorable
En cuanto a LLaMA, funciona como muchos modelos de lenguaje. Toma una secuencia de palabras como entrada e intenta predecir la siguiente palabra para generar texto a medida que avanza. Para entrenar su herramienta, Meta IA utilizó textos de 20 idiomas diferentes. Estos idiomas son los 20 más utilizados con los alfabetos latino y cirílico.
Los investigadores detrás del modelo de lenguaje están satisfechos, pero saben que su herramienta tiene o tendrá sesgos en un momento u otro «. Todavía queda investigación por hacer para abordar los riesgos de sesgo, retroalimentación tóxica y alucinaciones en modelos de lenguaje grandes. Como otros modelos, LLaMA comparte estos retos «. Para superar este desafío, Meta compartirá el código LLaMA con otros científicos para que puedan probar fácilmente nuevos enfoques que limiten o eliminen estos sesgos algorítmicos.
Al mismo tiempo, Meta AI se enfrenta a otra dificultad: si los recientes avances en el modelo del lenguaje permiten la creación de potentes herramientas, la falta de recursos necesarios para su entrenamiento o su ejecución es un obstáculo para su desarrollo. Se desarrollarán varias subversiones de LLaMA, utilizando pocos recursos en comparación con el modelo básico con 65 mil millones de parámetros. Pueden usarse en casos específicos que traten un tema en particular o que exploten solo uno o dos idiomas.