Bercy detiene un proyecto de IA tras respuestas sesgadas
El Ministerio de Acción y Cuentas Públicas francés, conocido como Bercy, decidió suspender el uso de un modelo de inteligencia artificial en su sistema HéphAIstos debido a respuestas consideradas sesgadas. Esta decisión resalta la importancia de la imparcialidad y la eficacia en el uso de la tecnología en el sector público.
Reemplazo del modelo de IA
A raíz de esta situación, la start-up francesa Mistral AI ha tomado el lugar del modelo cuestionado, Qwen. Esta sustitución coincide con el lanzamiento del plan «Nuestra IA» presentado por David Amiel, ministro del área, que busca implementar un asistente conversacional sustentado por Mistral para más de un millón de empleados públicos. El costo inicial del proyecto se estima en 700,000 euros, con un gasto anual que podría oscilar entre 2 y 4 millones de euros, dependiendo del uso.
Resultados de las pruebas iniciales
La Dirección Interministerial de Digital (DINUM) realizó pruebas durante diez meses con 10,000 agentes. Los resultados mostraron que el 75% de los participantes consideraba útil la herramienta, pero cerca de dos tercios opinaron que otros modelos de IA generativa podrían satisfacer mejor sus necesidades. Este contraste sugiere que, aunque la tecnología tiene potencial, aún debe mejorarse para cumplir las expectativas de los usuarios.
Infraestructura y seguridad
El sistema implementado estará alojado en los servidores de Outscale, que cuenta con la certificación SecNumCloud, el estándar más alto de seguridad exigido por el Estado francés para el manejo de datos sensibles. Este enfoque es crucial para asegurar que la información de los ciudadanos esté debidamente protegida.
Elección de un modelo accesible
El modelo previamente utilizado era de Alibaba, seleccionado por su accesibilidad y por ser de código abierto en sus versiones públicas. Esto permitió su implementación sin necesidad de transferir datos a los servidores de la empresa china, lo que es un punto importante para mitigar los riesgos de filtración de datos durante la fase de prueba. Sin embargo, esta ventaja no fue suficiente para mantenerlo frente a las preocupaciones sobre la calidad de las respuestas que proporcionaba.
Reflexiones sobre el futuro de la IA en el sector público
La situación de Bercy subraya la necesidad de ser cautelosos al escoger tecnologías de inteligencia artificial para el servicio público. La efectividad y la neutralidad deben ser prioritarias al implementar estas herramientas, especialmente en un contexto tan delicado como es la administración pública. La transición a un modelo local como el de Mistral AI puede representar una solución viable para superar las limitaciones encontradas en el modelo anterior y asegurar un servicio de calidad para los empleados públicos.
A medida que el uso de la inteligencia artificial continúe expandiéndose, será fundamental mantener un enfoque centrado en la transparencia, la ética y la seguridad de los datos. La experiencia de Bercy puede servir como un aviso sobre la importancia de evaluar y adaptar continuamente las soluciones tecnológicas en pro de un mejor servicio público.
About the Author
