Meta presentó su nuevo modelo de procesamiento de lenguaje para la investigación de inteligencia artificial (IA) a principios de este mes. Respondiendo al nombre de Open Pretrained Transformer (OPT-175B), será completamente de código abierto y se podrá utilizar con fines no comerciales. Estas plantillas se pueden usar para automatizar chatbots, traducir textos o incluso escribir hojas de productos.
Meta se inspiró en el modelo OpenAI
El modelo comparte las mismas capacidades que el creado por OpenAI, una empresa cofundada por Elon Musk. Al igual que GPT-3, tiene 175 mil millones de parámetros y se basa en el aprendizaje automático.
El lado oscuro del comercio de criptomonedas: insomnio, adicción, depresión
Si se pensaba que OPT-175B se parecía tanto a su hermano mayor, es intencional. Según Joelle Pineau, codirectora ejecutiva de Facebook AI Research, el modelo se diseñó para que el nivel de precisión de las tareas lingüísticas y su toxicidad coincidieran con los de GPT-3.
¿La idea detrás de esto? Haga que su código sea de código abierto para permitir que los investigadores de todos los ámbitos de la vida contribuyan a su desarrollo de forma gratuita. Efectivamente, OpenAI había accedido a su API pagando. Debido a esto, solo los laboratorios más ricos pudieron realizar investigaciones sobre su modelo de procesamiento del lenguaje.
» Creemos que toda la comunidad de IA (investigadores académicos, sociedad civil, legisladores e industria) debe poder trabajar en conjunto para desarrollar pautas claras sobre inteligencia artificial y modelos de lenguajes grandes y responsables. “explicó Meta en su comunicado de prensa.
Hacer que la tecnología sea más transparente
Garantizar que la tecnología sea cada vez más transparente siempre ha sido el caballo de batalla de Joelle Pineau. » Este compromiso con la ciencia abierta es la razón por la que estoy [chez Meta]. No estaré allí en otras condiciones. “, dijo el investigador en una entrevista con Revisión de tecnología del MIT.
Meta no es la empresa más dispuesta a compartir sus secretos. Ha revelado muy poco del funcionamiento de sus algoritmos y prefiere más bien ocultar sus errores. Sin embargo, Joelle Pineau logró que el OPT-175B fuera de código abierto y estuviera disponible para fines no comerciales.
El grupo también lanzó el código del modelo completo y un libro de registro para documentar el proceso de entrenamiento de IA. Esto ya contiene 3 meses de investigación, desde octubre de 2021 hasta enero de 2022, y enumera todos los errores, fallas y reinicios encontrados.
Los modelos de procesamiento de lenguaje natural se han convertido en el próximo santo grial de la inteligencia artificial. Sin embargo, estos contienen fallas profundas, incluida la transmisión de información falsa, el uso de prejuicios racistas y sexistas y lenguaje tóxico. Estos problemas están relacionados con los textos utilizados por el modelo para entrenar y desarrollar.
GPT-3 ha pagado el precio muchas veces. En octubre de 2020, la empresa Nabla estaba probando este modelo en el ámbito médico cuando aconsejó a un falso paciente acabar con su vida. Por lo tanto, hacer que el código de los modelos de procesamiento del lenguaje sea libremente accesible en su totalidad permitiría corregir estas complicaciones de manera más efectiva.