\n<\/p>\n
Las empresas de inteligencia artificial est\u00e1n explorando una nueva v\u00eda para obtener las cantidades masivas de datos necesarios para desarrollar poderosos modelos generativos: crear la informaci\u00f3n desde cero. <\/p>\n
Microsoft, OpenAI y Cohere se encuentran entre los grupos que prueban el uso de los llamados “datos sint\u00e9ticos”, informaci\u00f3n generada por computadora para entrenar sus sistemas de IA conocidos como modelos de lenguaje extenso (LLM), a medida que alcanzan los l\u00edmites de los datos creados por humanos que puede mejorar a\u00fan m\u00e1s la tecnolog\u00eda de punta.<\/p>\n
El lanzamiento de ChatGPT de OpenAI respaldado por Microsoft en noviembre pasado gener\u00f3 una avalancha de productos lanzados p\u00fablicamente este a\u00f1o por compa\u00f1\u00edas como Google y Anthropic, que pueden producir texto, im\u00e1genes o c\u00f3digo plausibles en respuesta a indicaciones simples. <\/p>\n
La tecnolog\u00eda, conocida como IA generativa, ha generado un aumento del inter\u00e9s de los inversores y los consumidores, con las empresas de tecnolog\u00eda m\u00e1s grandes del mundo, incluidas Google, Microsoft y Meta, compitiendo para dominar el espacio.<\/p>\n
Actualmente, los LLM que impulsan chatbots como ChatGPT de OpenAI y Bard de Google se capacitan principalmente extrayendo Internet. Los datos utilizados para entrenar estos sistemas incluyen libros digitalizados, art\u00edculos de noticias, blogs, consultas de b\u00fasqueda, publicaciones de Twitter y Reddit, videos de YouTube e im\u00e1genes de Flickr, entre otros contenidos. <\/p>\n
Luego, se utilizan humanos para proporcionar retroalimentaci\u00f3n y llenar los vac\u00edos en la informaci\u00f3n en un proceso conocido como aprendizaje reforzado por retroalimentaci\u00f3n humana (RLHF). <\/p>\n
Pero a medida que el software de IA generativa se vuelve m\u00e1s sofisticado, incluso las empresas de IA con mucho dinero se est\u00e1n quedando sin datos f\u00e1cilmente accesibles y de alta calidad para capacitarse. Mientras tanto, est\u00e1n bajo el fuego de los reguladores, artistas y organizaciones de medios de todo el mundo por el volumen y la procedencia de los datos personales consumidos por la tecnolog\u00eda.<\/p>\n
En un evento en Londres en mayo, se le pregunt\u00f3 al director ejecutivo de OpenAI, Sam Altman, si estaba preocupado por las investigaciones regulatorias sobre las posibles violaciones de privacidad de ChatGPT. Altman lo rest\u00f3 importancia y dijo que estaba “bastante seguro de que pronto todos los datos ser\u00e1n datos sint\u00e9ticos”. <\/p>\n
Los datos gen\u00e9ricos de la web ya no son lo suficientemente buenos para impulsar el rendimiento de los modelos de IA, seg\u00fan los desarrolladores. <\/p>\n
\u201cSi pudiera obtener todos los datos que necesita de la web, eso ser\u00eda fant\u00e1stico\u201d, dijo Aidan Gomez, director ejecutivo de Cohere, la empresa emergente LLM de $ 2 mil millones. \u201cEn realidad, la web es tan ruidosa y desordenada que no es realmente representativa de los datos que desea. La web simplemente no hace todo lo que necesitamos\u201d.<\/p>\n
Actualmente, los modelos m\u00e1s vanguardistas, como el GPT-4 de OpenAI, se acercan al rendimiento del nivel humano en \u00e1reas como la escritura y la codificaci\u00f3n, y pueden aprobar puntos de referencia como el examen de la barra de EE. UU. <\/p>\n
Para mejorar dr\u00e1sticamente su rendimiento y poder abordar los desaf\u00edos en ciencia, medicina o negocios, los modelos de IA requerir\u00e1n conjuntos de datos \u00fanicos y sofisticados. Estos tendr\u00e1n que ser creados por expertos mundiales como cient\u00edficos, m\u00e9dicos, autores, actores o ingenieros, o adquiridos como datos de propiedad de grandes corporaciones como farmac\u00e9uticas, bancos y minoristas. Sin embargo, \u201cdatos creados por humanos. . . es extremadamente caro\u201d, dijo G\u00f3mez. <\/p>\n
La nueva tendencia de utilizar datos sint\u00e9ticos elude este costoso requisito. En cambio, las empresas pueden usar modelos de IA para producir texto, c\u00f3digo o informaci\u00f3n m\u00e1s compleja relacionada con la atenci\u00f3n m\u00e9dica o el fraude financiero. Estos datos sint\u00e9ticos se utilizan luego para capacitar a los LLM avanzados para que sean cada vez m\u00e1s capaces.<\/p>\n
Seg\u00fan Gomez, Cohere, as\u00ed como varios de sus competidores, ya utilizan datos sint\u00e9ticos que luego son ajustados y modificados por humanos. \u201c[Synthetic data] ya es enorme. . . incluso si no se difunde ampliamente\u201d, dijo. <\/p>\n
Por ejemplo, para entrenar a un modelo en matem\u00e1ticas avanzadas, Cohere podr\u00eda usar dos modelos de IA que hablan entre s\u00ed, donde uno act\u00faa como tutor de matem\u00e1ticas y el otro como estudiante. <\/p>\n
\u201cEst\u00e1n teniendo una conversaci\u00f3n sobre trigonometr\u00eda. . . y es todo sint\u00e9tico\u201d, dijo G\u00f3mez. \u201cTodo es simplemente imaginado por el modelo. Y luego el humano mira esta conversaci\u00f3n y entra y la corrige si el modelo dijo algo mal. Ese es el statu quo hoy\u201d.<\/p>\n
Dos estudios recientes de Microsoft Research mostraron que los datos sint\u00e9ticos podr\u00edan usarse para entrenar modelos m\u00e1s peque\u00f1os y simples que el software de \u00faltima generaci\u00f3n como GPT-4 de OpenAI o PaLM-2 de Google. <\/p>\n
Un art\u00edculo describ\u00eda un conjunto de datos sint\u00e9ticos de historias cortas generadas por GPT-4, que solo conten\u00edan palabras que un ni\u00f1o t\u00edpico de cuatro a\u00f1os podr\u00eda entender. Este conjunto de datos, conocido como Historias diminutas<\/a>, luego se us\u00f3 para entrenar a un LLM simple que pudo producir historias fluidas y gramaticalmente correctas. El otro papel<\/a> demostraron que la IA podr\u00eda entrenarse en c\u00f3digo Python sint\u00e9tico en forma de libros de texto y ejercicios, que descubrieron que funcionaba relativamente bien en tareas de codificaci\u00f3n. <\/p>\n Han surgido nuevas empresas como Scale AI y Gretel.ai para proporcionar datos sint\u00e9ticos como servicio. Gretel, creada por exanalistas de inteligencia de EE. UU. de la Agencia de Seguridad Nacional y la CIA, trabaja con empresas como Google, HSBC, Riot Games e Illumina para aumentar sus datos existentes con versiones sint\u00e9ticas que pueden ayudar a entrenar mejores modelos de IA. <\/p>\n El componente clave de los datos sint\u00e9ticos, seg\u00fan el director ejecutivo de Gretel, Ali Golshan, es que preserva la privacidad de todas las personas en un conjunto de datos, al mismo tiempo que mantiene su integridad estad\u00edstica. <\/p>\n Los datos sint\u00e9ticos bien elaborados tambi\u00e9n pueden eliminar sesgos y desequilibrios en los datos existentes, agreg\u00f3. \u201cLos fondos de cobertura pueden mirar los eventos del cisne negro y, digamos, crear cientos de variaciones para ver si nuestros modelos fallan\u201d, dijo Golshan. Para los bancos, donde el fraude normalmente constituye menos de una cent\u00e9sima parte del porcentaje de los datos totales, el software de Gretel puede generar “miles de escenarios de casos extremos sobre fraude y entrenar [AI] modelos con \u00e9l.\u201d <\/p>\n Los cr\u00edticos se\u00f1alan que no todos los datos sint\u00e9ticos se seleccionar\u00e1n cuidadosamente para reflejar o mejorar los datos del mundo real. A medida que el texto y las im\u00e1genes generados por IA comienzan a llenar Internet, es probable que las empresas de IA que rastrean la web en busca de datos de entrenamiento terminen inevitablemente usando datos sin procesar producidos por versiones primitivas de sus propios modelos, un fen\u00f3meno conocido como “comida de perros”. . <\/p>\n