Los chatbots como ChatGPT no pueden pensar como un humano y no entienden lo que escriben. Los científicos tampoco saben cómo hacen para pensar los modelos, sobre todo cuando inventan noticias falsas. OpenAI reveló en un comunicado de prensa publicado el 9 de mayo que está trabajando en una nueva herramienta para identificar qué partes de las inteligencias artificiales (IA) son responsables de qué comportamiento.
Una herramienta lejos de ser completa
Para imitar la conversación y el habla de una persona lo más cerca posible, los chatbots se entrenan con cantidades gigantescas de datos extraídos de sitios web. A finales de abril, el El Correo de Washington analizó una base de datos, denominada C4, para comprender de dónde procedía la información de la IA. C4 contiene más de 15 millones de sitios web, como medios, sitios de patentes o incluso artículos de blog.
Cuando una inteligencia artificial ha explorado y registrado una base de datos completa, su entrenamiento inicial está completo. Al igual que un cerebro humano, la información se registra con lo que podría estar relacionado con “neuronas”. Por ejemplo, cuando un usuario hace la pregunta “¿Quién es el mejor deportista de todos los tiempos?” una neurona de “fútbol” puede aumentar la probabilidad de que la IA nombre a deportistas específicos de fútbol.
Ejemplo de uso de la herramienta OpenAI. Imagen: OpenAI.
Para comprender mejor este fenómeno neuronal, OpenAI desarrollado una herramienta para identificarlos. ” Estamos tratando de desarrollar formas de anticipar problemas en un sistema de IA dijo William Saunders, líder del equipo de interpretación de la compañía de California. Él supera a los medios TechCrunch“ Realmente queremos poder saber si podemos confiar en lo que hace el modelo y la respuesta que produce. “. Los ingenieros señalan que la herramienta, de libre acceso en GitHub, aún está en pañales.
Esto ejecuta secuencias de texto en GPT-2 hasta que se activa una neurona en particular. Luego, la herramienta le pide a GPT-4, el modelo más avanzado de OpenAI, que genere una explicación de la actividad de la neurona. Para determinar la corrección de la explicación, la herramienta proporciona a GPT-4 secuencias de texto y le pide que prediga y simule el comportamiento de la neurona. Luego, la herramienta compara los comportamientos de la neurona real y la simulada.
Jeff Wu, líder del equipo de alineación de OpenAI, explicó esta metodología: “ Usándolo, podemos esencialmente, para cada neurona, proporcionar algún tipo de explicación preliminar en lenguaje natural de lo que está haciendo y obtener una puntuación para ver qué tan bien esa explicación coincide con el comportamiento real. “. Él ha añadido ” Usamos GPT-4 como parte del proceso para producir explicaciones de lo que busca una neurona, y luego evaluamos qué tan bien esas explicaciones coinciden con la realidad de lo que está haciendo. “.
Simulación GPT-4 de una neurona GPT-2. Imagen: OpenAI
En total, la herramienta generó explicaciones para 307.200 neuronas GPT-2, pero solo 1.000 de ellas fueron fructíferas. Los investigadores afirman que el desarrollo de este tipo de herramientas podría mejorar y prevenir comportamientos tóxicos de los chatbots. Son, de todos modos, cautelosos con el tiempo que tardarán en ser realmente útiles.
En muchos países, ChatGPT ha sido criticado por escribir información falsa sobre noticias o personas. En Francia, la CNIL recibió en particular una denuncia a principios de abril de David Libeau, un desarrollador conocido por su lucha por la protección de datos, sobre la información falsa que ChatGPT escribió sobre él. La herramienta permitiría identificar neuronas defectuosas y corregirlas para limitar las noticias falsas.
About the Author
