OpenAI está intensificando sus esfuerzos para proteger sus modelos de IA

Para hacer que sus modelos de inteligencia artificial (IA) sean más robustos y seguros, OpenAI quiere establecer una red de expertos para componer su “ equipo rojo “. Un anuncio que llega cuando cada vez más gobiernos aceleran la regulación de la tecnología.

Un esfuerzo amplio y de largo plazo

Un concepto utilizado en varios campos como la ciberseguridad y el ejército, un equipo rojo consiste en crear un grupo que debe desempeñar el papel de amenaza para identificar los puntos débiles de su equipo. En el caso de la inteligencia artificial generativa, se trata de encontrar formas de hacer que el modelo diga cosas inapropiadas, no deseadas o prohibidas, para saber cómo prevenirlo posteriormente.

OpenAI ya ha utilizado esta técnica para GPT-4, su modelo de lenguaje más reciente, pero ahora quiere democratizarla en sus otros productos. “ OpenAI Red Teaming Network es una comunidad de expertos confiables y experimentados que pueden ayudar a informar nuestros esfuerzos de evaluación y mitigación de riesgos de manera más amplia, en lugar de compromisos únicos y procesos de selección antes de implementaciones importantes de modelos. “, escribe la empresa en una publicación de blog.

Por lo tanto, pide a “expertos individuales, institutos de investigación y organizaciones de la sociedad civil” que construyan su red. Sus miembros serán llamados en función de su experiencia para ayudar al equipo rojo en las diferentes etapas del ciclo de desarrollo del modelo, pero no todos participarán en cada nuevo producto, especifica OpenAI.

La regulación de la IA avanza en todo el mundo

Con esta iniciativa, la empresa demuestra que despliega importantes recursos para proteger sus modelos. Las IA generativas tienen tendencia a alucinar, lo que significa que pueden generar contenido completamente falso mientras lo hacen pasar por factual. Para regular mejor su uso y prevenir sus riesgos, los legisladores de todo el mundo están estudiando la posibilidad de regular esta tecnología.

La Unión Europea ya ha hecho grandes avances en la Ley de IA, que obligará en particular a las empresas a hacer todo lo posible para garantizar que sus modelos no se utilicen con fines maliciosos. El Reino Unido acaba de establecer principios específicos para guiar las regulaciones de IA, centrándose en la competencia y la transparencia. Dentro de unas semanas, el país acogerá la primera cumbre mundial sobre la seguridad de la inteligencia artificial.

Al otro lado del Atlántico, los legisladores se reúnen frecuentemente con los directores generales de empresas especializadas en IA, pero por el momento no se ha establecido ningún marco legal.