Los modelos de lenguaje aún están muy lejos del cumplimiento de la Ley de IA, según un estudio

Como el Parlamento Europeo acaba de adoptar la legislación europea sobre inteligencia artificial (AI Act), un equipo de investigadores de la Universidad de Stanford ha tratado de determinar si los principales proveedores de modelos de lenguaje cumplen con sus requisitos. Su resultados demostrar que todavía tienen grandes esfuerzos por hacer.

Ningún modelo de idioma es totalmente compatible con la Ley de IA

La UE aspira a convertirse en líder mundial en la regulación de la IA, y considera que su texto se convertirá en un estándar para el resto del mundo. Esto proporciona obligaciones explícitas para los proveedores de modelos como OpenAI o Google. Los ejemplos incluyen el uso de datos de capacitación con derechos de autor, los materiales utilizados y las emisiones producidas durante la capacitación del modelo, y cómo se evalúan y prueban las IA.

Para determinar si los principales proveedores están listos para cuando la Ley de IA entre en vigor (probablemente en 2024), los investigadores del programa de Inteligencia Artificial Centrada en el Humano de la Universidad de Stanford analizaron si sus modelos cumplían con las obligaciones del texto. Seleccionaron 12 de los 22 requisitos establecidos en la legislación, luego aplicaron un sistema de puntuación de cuatro a cada uno de ellos para diez modelos actualmente en el mercado. Encontramos en particular GPT-4 de OpenAI, PaLM 2 de Google o incluso LLaMA de Meta.

El puntaje más alto que puede lograr un modelo es 48. AI Bloom de BigScience encabeza la tabla con un puntaje de 36, seguido de GPT-NeoX y PaLM 2. GPT-4 ocupa el cuarto lugar con un puntaje de 25 de 48.

Centrarse en la transparencia

” Nuestros resultados revelan una brecha sorprendente entre los proveedores de modelos en el cumplimiento “dicen los investigadores. Los requisitos que menos cumplen todas las IA son los que abarcan los derechos de autor, la notificación del consumo de energía, la divulgación inadecuada de la mitigación o no mitigación del riesgo y la falta de divulgación de auditoría para evaluar el ecosistema.

” Los proveedores de modelos básicos rara vez miden el rendimiento del modelo en términos de daño intencional, como el uso malicioso, o factores como la solidez y la calibración. “, señala el estudio.

Aunque ninguno de los modelos logró una puntuación perfecta, los investigadores creen que han la oportunidad de mejorar mucho. “ Pensamos esosuficiente transparencia para cumplir con los requisitos legales de datos, cálculo y otros factores debe ser comercialmente factible si los proveedores de modelos toman medidas colectivas como resultado de los estándares o regulaciones de la industria “, escriben.

También elaboran una lista de recomendaciones para las empresas afectadas y los legisladores. Por ejemplo, aconsejan a los proveedores de modelos de lenguaje que mejoren la documentación disponible para los desarrolladores que confían en los modelos posteriores. Los investigadores enfatizan particularmente la necesidad de estándares para toda la industria para la inteligencia artificial, una solicitud que ya hicieron el presidente de Microsoft, Brad Smith, y el director ejecutivo de OpenAI, Sam Altman.