¿Usar un chatbot de manera responsable? ‘ChatGPT es la peor opción’

Escribir una propuesta de discurso. Haz un resumen de este texto. Escriba un correo electrónico cortés a un cliente insatisfecho. Casi todo el mundo ahora conoce ChatGPT como una herramienta. Y, vamos, tal vez el competidor de Google, Bard, también. Pero el mundo conoce muchos más de este tipo de programas, que básicamente funcionan todos igual. Los modelos de lenguaje subyacentes se entrenan con grandes cantidades de textos, después de lo cual los programas generan nuevos textos basados ​​en las instrucciones del usuario.

A diferencia de ChatGPT, muchas de esas alternativas son de código abierto, lo que significa que el código fuente está disponible públicamente y cualquiera puede usarlo o modificarlo. Andreas Liesenfeld, Alianda López y Mark Dingemanse de la Universidad de Radboud comparó estos programas y me pregunté qué tan abiertos y transparentes son en realidad. Y aunque ChatGPT (como Bard, por ejemplo) no es de código abierto, también incluyeron al líder del mercado en el estudio para comparar. El lingüista Dingemanse ve una «tendencia preocupante».

¿Por qué esta investigación?

‘La llegada de ChatGPT ha puesto el mundo patas arriba en los últimos meses. La generación automática de textos parece ser atractiva para muchas personas. El problema es que nadie sabe exactamente cómo funciona el modelo subyacente. La apertura es crucial para la investigación científica y, en última instancia, para construir una IA confiable. ¿Cuáles son las limitaciones y los riesgos de tales sistemas? ¿Cómo llegan a sus respuestas? ¿Con qué textos han sido entrenados exactamente? Si queremos hacer un progreso real, necesitamos alternativas abiertas.’

Todos, incluso OpenAI (la compañía detrás de ChatGPT) lanzan el término «abierto». ¿Pero abierto no siempre está abierto?

‘Latidos. Vimos diferentes aspectos de la apertura. Con ‘código abierto’ casi siempre sale bien. Eso significa que puedo inspeccionar el código por mi cuenta. Pero hay mucho más. Por ejemplo, ¿está claro qué datos de entrenamiento se han utilizado? A principios de este año, OpenAI estaba jubiloso de que la última versión de ChatGPT pudiera aprobar con éxito un examen legal. Pero tal vez el modelo ha sido entrenado con exámenes legales, y de repente es mucho menos impresionante.

El problema es que no podemos controlar eso. OpenAI es muy reservado al respecto, presumiblemente por temor a más juicios. Varios autores y consumidores ya se están quejando del uso de sus textos en los datos de entrenamiento. Afortunadamente, la mayoría de los programas de código abierto son transparentes en este punto, lo que no elimina el problema de los derechos de autor.’

Sin embargo, a veces también veo malas calificaciones para los programas de código abierto. ¿Dónde está yendo mal?

‘¿Han documentado correctamente los creadores su código y sus elecciones sobre la arquitectura de software utilizada? No siempre, porque lleva mucho tiempo. Lo que ningún otro proyecto hace bien: publicar investigaciones científicas sobre su modelo de lenguaje. Esto también tiene que ver con la prisa: nadie quiere quedarse atrás. Aparentemente, una publicación de blog es suficiente. Es una tendencia preocupante, porque de esa forma no hay control de calidad por parte de otros científicos”.

Los programas de chat también obtienen una mala puntuación en la misteriosa abreviatura RLHF. ¿Qué es eso?

RLHF significa Aprendizaje por refuerzo a partir de la retroalimentación humana. Los modelos todavía necesitan mucha mano de obra. RLHF garantiza que los chatbots funcionen sin problemas. Habían podido arrojar texto coherente durante mucho más tiempo, pero se sentían rígidos en la interacción. Se necesita gente precisamente para ese aspecto. Siempre se les presentan diferentes respuestas de un chatbot y luego tienen que indicar cuál es la mejor respuesta. Trabajo manual intensivo en mano de obra, pero extremadamente importante. Compáralo con el pico que usan los pasteleros para poner crema. Sin un pico se convierte en un desastre. Para todos los modelos, no está lo suficientemente claro cómo se ve exactamente esta parte.’

En la parte superior de su ranking está Bloomz. ¿Qué es eso?

Estoy muy impresionado por eso. Es el resultado de una gran colaboración europea llamada BigScience. Este colectivo construyó el modelo más abierto y es el único que brinda una visión clara de los costos de energía de este tipo de modelos”.

¿Puede un modelo tan abierto competir con ChatGPT en la práctica?

No estoy principalmente interesado en eso. En ese sentido, me siento un poco como un científico deportivo en una gira que también incluye a Lance Armstrong. No tiene mucho sentido preguntarse cómo les va a los demás en comparación con él si no sabes lo que está tomando. Como científico, principalmente quiero saber cómo funciona bajo el capó y qué podemos aprender de él sobre el lenguaje y las personas, no si puedo obtener la puntuación más alta. Solo se puede construir más sobre esa comprensión más profunda que proporciona la investigación fundamental.’

¿ChatGPT no está haciendo nada bien?

Estoy bastante asombrado por eso, pero de una manera cínica. Desde que OpenAI se hizo público en noviembre pasado, la infraestructura de ChatGPT se ha configurado para recolectar la mayor cantidad posible de nuestra inteligencia colectiva, sin compartirla con el resto del mundo. La cantidad de datos nuevos que pueden recopilar no tiene paralelo. Por ejemplo, por defecto, OpenAI guarda los chats que tienes con ChatGPT. También te piden que les des pulgares hacia arriba o hacia abajo como retroalimentación. Eso está muy bien hecho.

¿No perderá en última instancia frente a Google y OpenAI?

‘Calidad sin apertura no vale nada. Esperamos que nuestra investigación contribuya a un programa mucho más amplio de científicos que se ocupen de manera crítica y consciente de esta tecnología. Creo que ese es también el poder de la ciencia: que podemos tomar una posición juntos. Tampoco debemos apresurarnos por todos los desarrollos. ChatGPT, debido a su naturaleza cerrada y motivo de lucro, es la peor elección que puede hacer actualmente si desea utilizar un chatbot de manera responsable en la investigación, la educación o en cualquier otro lugar”.