\n<\/p>\n
En su conferencia I\/O 2023 del 10 de mayo, Google present\u00f3 PaLM 2. Este nuevo modelo de lenguaje grande (LLM) utiliza cinco veces m\u00e1s datos de entrenamiento que su…<\/p>\n
En su conferencia I\/O 2023 del 10 de mayo, Google present\u00f3 PaLM 2. Este nuevo modelo de lenguaje grande (LLM) usa cinco veces m\u00e1s datos de entrenamiento que su predecesor de 2022. Podr\u00eda rivalizar con GPT-4, su competidor directo, para realizar funciones m\u00e1s avanzadas. tareas de codificaci\u00f3n, matem\u00e1ticas y escritura.<\/p>\n
En un documento t\u00e9cnico de 92 p\u00e1ginas (pdf<\/a>), Google present\u00f3 datos de capacitaci\u00f3n, la cantidad de idiomas disponibles o incluso los resultados de las consultas de PaLM 2. El gigante web no revela, sin embargo, la cantidad de informaci\u00f3n y sitios web utilizados. CNBC<\/em><\/a> s’est procur\u00e9 un document interne r\u00e9v\u00e9lant que l’intelligence artificielle (IA) a \u00e9t\u00e9 entra\u00een\u00e9e sur 3,6 billions de \u00ab jetons \u00bb, des cha\u00eenes de mots permettant au mod\u00e8le d’apprendre \u00e0 imiter au maximum la conversation et le discours d’ una persona. A modo de comparaci\u00f3n, GPT-3 se entren\u00f3 en 300\u00a0000 millones de tokens y PaLM 1 en 780\u00a0000 millones de elementos.<\/p>\n Este tipo de detalles t\u00e9cnicos fueron proporcionados p\u00fablicamente por los investigadores de Google para la versi\u00f3n anterior de la IA, PaLM 1. Sin embargo, la semana pasada, cuando lanzaron su nuevo modelo, este tipo de detalles se redujeron a la m\u00ednima expresi\u00f3n, si es que no han desaparecido. Unas pocas l\u00edneas al final del informe, s\u00f3lo en un ap\u00e9ndice. Google asumi\u00f3 en su documento que \u201c PaLM-2 es un nuevo modelo de lenguaje de \u00faltima generaci\u00f3n.<\/em> [\u2026] M\u00e1s detalles sobre el tama\u00f1o y la arquitectura del modelo no se publican fuera de la empresa.<\/em> “.<\/p>\n En la carrera por la IA, Google no es el \u00fanico que es cada vez menos transparente sobre sus sistemas. En abril pasado, OpenAI, creador de ChatGPT, se neg\u00f3 a revelar el recuento de par\u00e1metros de GPT-4. La compa\u00f1\u00eda a\u00fan no hab\u00eda hecho para GPT-3. Los par\u00e1metros son variables que influyen en el comportamiento de la inteligencia artificial. A menudo se utilizan para representar la complejidad de un modelo de lenguaje grande, pero tambi\u00e9n su costo operativo. Cuanto m\u00e1s una IA tiene una gran cantidad de par\u00e1metros, m\u00e1s recursos inform\u00e1ticos consume para responder a las solicitudes y, por lo tanto, energ\u00eda y, en \u00faltima instancia, dinero.<\/p>\n A diferencia de OpenAI, los creadores de PaLM 2, por otro lado, han decidido revelar el n\u00famero de sus par\u00e1metros. Esto es, como era de esperar, para resaltar un rendimiento t\u00e9cnico. La nueva IA se entren\u00f3 en 340\u00a0000 millones de par\u00e1metros diferentes en comparaci\u00f3n con los 540\u00a0000 millones de la primera versi\u00f3n. Gracias a una novedad llamada \u201cCompute-optimal scaling\u201d, Google asegura haber conseguido optimizar el n\u00famero de par\u00e1metros para ganar en eficiencia. La reducci\u00f3n de estos de la versi\u00f3n uno a la dos no deber\u00eda afectar a su rendimiento, pero, adem\u00e1s, reducir la necesidad de recursos inform\u00e1ticos.<\/p>\n<\/div>\n