Google usó casi 3,5 billones de piezas de datos para entrenar su nueva IA

En su conferencia I/O 2023 del 10 de mayo, Google presentó PaLM 2. Este nuevo modelo de lenguaje grande (LLM) usa cinco veces más datos de entrenamiento que su predecesor de 2022. Podría rivalizar con GPT-4, su competidor directo, para realizar funciones más avanzadas. tareas de codificación, matemáticas y escritura.

Google es cada vez más opaco sobre la IA

En un documento técnico de 92 páginas (pdf), Google presentó datos de capacitación, la cantidad de idiomas disponibles o incluso los resultados de las consultas de PaLM 2. El gigante web no revela, sin embargo, la cantidad de información y sitios web utilizados. CNBC s’est procuré un document interne révélant que l’intelligence artificielle (IA) a été entraînée sur 3,6 billions de « jetons », des chaînes de mots permettant au modèle d’apprendre à imiter au maximum la conversation et le discours d’ una persona. A modo de comparación, GPT-3 se entrenó en 300 000 millones de tokens y PaLM 1 en 780 000 millones de elementos.

Este tipo de detalles técnicos fueron proporcionados públicamente por los investigadores de Google para la versión anterior de la IA, PaLM 1. Sin embargo, la semana pasada, cuando lanzaron su nuevo modelo, este tipo de detalles se redujeron a la mínima expresión, si es que no han desaparecido. Unas pocas líneas al final del informe, sólo en un apéndice. Google asumió en su documento que “ PaLM-2 es un nuevo modelo de lenguaje de última generación. […] Más detalles sobre el tamaño y la arquitectura del modelo no se publican fuera de la empresa. “.

En la carrera por la IA, Google no es el único que es cada vez menos transparente sobre sus sistemas. En abril pasado, OpenAI, creador de ChatGPT, se negó a revelar el recuento de parámetros de GPT-4. La compañía aún no había hecho para GPT-3. Los parámetros son variables que influyen en el comportamiento de la inteligencia artificial. A menudo se utilizan para representar la complejidad de un modelo de lenguaje grande, pero también su costo operativo. Cuanto más una IA tiene una gran cantidad de parámetros, más recursos informáticos consume para responder a las solicitudes y, por lo tanto, energía y, en última instancia, dinero.

A diferencia de OpenAI, los creadores de PaLM 2, por otro lado, han decidido revelar el número de sus parámetros. Esto es, como era de esperar, para resaltar un rendimiento técnico. La nueva IA se entrenó en 340 000 millones de parámetros diferentes en comparación con los 540 000 millones de la primera versión. Gracias a una novedad llamada “Compute-optimal scaling”, Google asegura haber conseguido optimizar el número de parámetros para ganar en eficiencia. La reducción de estos de la versión uno a la dos no debería afectar a su rendimiento, pero, además, reducir la necesidad de recursos informáticos.