En marzo pasado, los investigadores de Microsoft se inscribieron el artículo aún no revisado por pares Chispas de inteligencia artificial general: primeros experimentos con GPT-4: “Demostramos que GPT-4 no solo domina el lenguaje, sino que también puede resolver tareas nuevas y difíciles en matemáticas, programación, medicina, derecho, psicología y mucho más sin necesidad de instrucción especial. Además, el desempeño de GPT-4 en todas estas tareas es notablemente cercano al desempeño a nivel humano”.
GPT-4 es el modelo de lenguaje que subyace en la versión más reciente de ChatGPT, un sistema de inteligencia artificial que escribe textos en función de un texto de entrada y ha causado una tormenta de entusiasmo desde su lanzamiento en noviembre de 2022. Esa tormenta ahora se ha calmado un poco e investigadores de innumerables campos científicos han podido experimentar con ella. NRC preguntó a profesores de cuatro disciplinas sobre sus primeros experimentos con ChatGPT y su importancia para su campo de estudio.
Marc van Ostendorp:
‘A nivel científico, ves que ChatGPT pone la lingüística patas arriba’
“Hice mi primer experimento con ChatGPT basado en GPT-3.5. Este sistema consiguió 33 de los 60 puntos y acaba de descender. Pero cuando realicé el experimento nuevamente con ChatGPT basado en GPT-4, el programa pasó, con algo así como un 8 o incluso un 8.5. ChatGPT también obtuvo más de un 8 en el examen final de vwo en francés, pero la sesión para Frisian fue muy triste con respuestas incluso extrañas.
“Hace un año no hubiera previsto que ahora habría una computadora que más o menos aprobaría el examen final VWO en holandés. Las respuestas variaron entre ‘Me sorprende que una computadora haya acertado en esto’ y ‘Qué extraño error’. El sistema es relativamente bueno para analizar las preguntas, pero no tanto para comprender el género del examen en sí.
“El examen central trata sobre aspectos medibles del manejo de textos, como reconocer esquemas de argumentación, falacias y conexiones entre párrafos. Por supuesto, puede preguntar si ChatGPT realmente entiende el texto si puede hacer todo eso, pero esa pregunta también se hizo antes de ChatGPT cuando se trata de estudiantes. La «comprensión de lectura» del examen final puede no ser realmente comprensión. Esto también significa, por ejemplo, poder ubicar un texto en su contexto, como en qué debate está participando el autor de ese artículo, o leer textos algo más complicados que los artículos de opinión del examen final central: textos literarios, por ejemplo. ejemplo.
“A nivel científico, ves a ChatGPT revolucionando la lingüística. Durante décadas, ha habido un debate sobre si el lenguaje es innato y en qué medida. Algunos científicos dicen que ChatGPT muestra que la idea de lo innato no tiene sentido. Una vez más, otros científicos argumentan que, si bien ChatGPT puede aprender el lenguaje humano, también puede aprender el lenguaje inhumano, por ejemplo, un idioma en el que numeras cada sílaba y luego acentúas las sílabas que son números primos. Los humanos no pueden, las computadoras sí.
“Con la inteligencia artificial siempre hay límites cambiantes: primero el ajedrez era la forma más elevada de la inteligencia humana, luego el juego continúa, y si eso se resuelve, elegimos un nuevo límite. Esto es lo que sucede con la comprensión de textos. Encuentro muy interesante cómo nuestro pensamiento sobre nuestro pensamiento se vuelve cada vez más preciso porque tenemos que compararlo con lo que las computadoras pueden o no pueden hacer”.
Ana Meuwese
‘La legislación más compleja tiene que resolver nuevos problemas. Un sistema como ChatGPT no puede hacer eso’
“Le di a ChatGPT la siguiente tarea: escribir una ley que prohíba los perros peligrosos. Aún no existe una legislación sobre este tema en Holanda, pero no es extraño que se legisle al respecto. ChatGPT creó un artículo dividido en nueve subartículos.
“Lo que inmediatamente se destacó es que es un texto legal corto y muy simplificado que es relativamente pobre en aspectos legales formales. Por ejemplo, el octavo inciso dice: ‘La infracción de las disposiciones de esta Ley es sancionada por la ley y puede dar lugar a una multa oa la revocación de la licencia’. Un concepto como ‘punible’ debería especificarse con más detalle. Lo que falta son referencias a artículos del Código Penal. La retirada de un permiso tampoco cuenta como sanción.
“Al mismo tiempo, ChatGPT presenta sugerencias sustantivas bastante interesantes, como la idea de un permiso. En el segundo subartículo, ChatGPT escribe: ‘Está prohibido tener, poseer o controlar un perro peligroso en los Países Bajos, a menos que el propietario o cuidador esté en posesión de un permiso válido, emitido por el municipio en el que vive el perro. corsé.’ Por otro lado, el punto crucial es cómo defines lo que constituye un perro peligroso, y ChatGPT no da más detalles al respecto.
“Mi principal punto de crítica es que lo difícil de hacer una disposición legal no es escribir el texto, sino pensar cómo encaja la ley en el sistema legal, qué definiciones usas y qué reglas quieres hacer exactamente. La legislación más compleja tiene que resolver nuevos problemas, como la legislación sobre emisiones de nitrógeno, y esto a menudo requiere una nueva forma de pensar. Un sistema como ChatGPT no puede hacer eso, porque solo está entrenado con datos del pasado. Así que no creo que ChatGPT pueda ahorrar mucho tiempo para escribir leyes.
“Quizás ChatGPT pueda brindar inspiración enumerando opciones o recurriendo a legislación extranjera comparable, pero eso siempre es algo que ya existe. En lo que ChatGPT también puede ayudar es en reescribir textos menos formales, por ejemplo, en un estilo ligeramente diferente. Creo que las organizaciones, y ciertamente los gobiernos, deberían pensar detenidamente si quieren permitir que sus empleados usen ChatGPT, debido a la opacidad del modelo y los datos que se divulgan con él».
sanne abeln
“Entonces pregunté, ¿ese tamaño está relacionado con algo? ChatGPT tampoco podía pensar en eso’
“ChatGPT funciona bastante bien para preguntas de conocimiento a nivel de estudiantes de maestría, por ejemplo cuando pregunto qué tipo de proteínas de plegamiento local pueden tener. Pero cuando pido vincular ese conocimiento con la literatura científica, el sistema da referencias a artículos inexistentes.
“Razonar sobre el conocimiento existente también sale muy mal. Por ejemplo, hice la pregunta dos veces de una manera ligeramente diferente para obtener una medida del plegamiento local de una proteína. Una vez salió bien, la otra vez salió completamente mal. Luego también pregunté si ese tamaño ya existía. No hubo una buena respuesta. Entonces pregunté, ¿ese tamaño está relacionado con algo? ChatGPT tampoco podía pensar en eso. Entonces pregunté para el otro lado: hay una medida de plegado local, ¿puedes explicar eso? Y sí, dada una descripción de ese tamaño, el sistema podría explicarlo. Entonces, lo que ve es que ya necesita bastante conocimiento del dominio para ajustar el sistema hacia la respuesta correcta.
“En mi propia investigación científica, hemos estado experimentando durante varios meses con parte de ESMFold, un programa de IA que puede predecir estructuras de proteínas y se basa en los mismos tipos de modelos que ChatGPT. Cuando tiene una gran cantidad de datos de entrenamiento disponibles, estos programas de IA tienen un buen poder predictivo. Lo que falta, sin embargo, es la percepción o la comprensión de por qué una proteína se pliega como predice el programa. Además, en biología a menudo tienes pocos datos, por ejemplo cuando se trata de enfermedades raras. Por eso seguimos necesitando otros modelos que también aporten comprensión.
“En la universidad ahora hemos elaborado pautas sobre lo que los estudiantes pueden y no pueden hacer con ChatGPT. Pero en la escuela secundaria de mi esposo, de repente tres cuartas partes de los estudiantes de havo enviaron respuestas generadas por ChatGPT. Creo que ChatGPT es perjudicial para todos los niveles educativos. Ha resultado en mucho trabajo extra para el personal docente en los últimos seis meses. En realidad, creo que es una irresponsabilidad que ChatGPT se haya hecho público sin que el sector educativo se haya preparado para ello”.
Arie van Deursen:
‘GPT como asistente de programación es solo una de las posibles aplicaciones’
“Los modelos de lenguaje como GPT pueden ser muy útiles en la programación. Los programadores ya usan este tipo de modelos como herramientas que leen junto con el código que escriben y pueden hacer sugerencias. Todas las principales empresas tecnológicas están trabajando en este tipo de tecnología. Emplean a muchos desarrolladores y quieren que sean lo más productivos posible.
“Un estudio reciente de Meta sobre su herramienta CodeCompose informa que CodeCompose puede predecir el 8 por ciento del número total de líneas de código que se escribirán. Pero eso no significa que CodeCompose solo haga sugerencias correctas. Solo una cuarta parte de las sugerencias son aceptadas. Entonces, como desarrollador, debe estar alerta y elegir qué es bueno y qué no. Un estudio de GitHub informa que los desarrolladores que usan el llamado copiloto disfrutan más de su trabajo y, por lo tanto, son más productivos.
“Todos estos estudios todavía tienen un contenido de ‘nosotros del pato del inodoro’, con las propias empresas proclamando cuán útiles son sus herramientas. Todavía no hay evaluaciones independientes sobre datos abiertos, pero las habrá.
“GPT como asistente de programación es solo una de las posibles aplicaciones. Hay más concebibles, por ejemplo, una ventana de chat continuamente abierta en la que tanto el desarrollador como GPT pueden hacer preguntas. Por el momento sigue siendo un problema que no sabes de dónde vienen las respuestas y si son correctas. Con el tiempo, GPT también se utilizará en combinación con los motores de búsqueda, como ya ocurre en Bing.
“Otra aplicación de GPT es ayudar en las pruebas de software, especialmente en la formulación de casos de prueba interesantes. También creo que GPT puede ayudar a que la programación sea más accesible para todos. Piense en un cuadro de diálogo de ChatGPT vinculado a una hoja de cálculo, donde dice lo que quiere en el cuadro de diálogo y GPT le ayuda a crear la hoja de cálculo deseada de forma interactiva.
“La distancia para construir software complejo todavía es muy grande. Intentar crear un sistema de impuestos sobre la renta con ChatGPT es un ejercicio divertido. ChatGPT luego advierte que los impuestos pueden ser muy complicados, con muchas excepciones. Y todas esas reglas y excepciones tendrán que ser formuladas con precisión. Y luego estás programando de nuevo”.