En mars dernier, des chercheurs de Microsoft se sont inscrits l’article pas encore évalué par les pairs Étincelles d’intelligence artificielle générale : premières expériences avec GPT-4: « Nous démontrons que GPT-4 non seulement maîtrise le langage, mais peut également résoudre des tâches nouvelles et difficiles en mathématiques, programmation, médecine, droit, psychologie et bien d’autres sans avoir besoin d’instructions spéciales. De plus, les performances du GPT-4 dans toutes ces tâches sont remarquablement proches des performances humaines.
GPT-4 est le modèle de langage qui sous-tend la version la plus récente de ChatGPT, un système d’IA qui écrit des textes basés sur un morceau de texte d’entrée qui a provoqué une tempête d’excitation depuis son lancement en novembre 2022. Cette tempête s’est maintenant quelque peu calmée et des chercheurs d’innombrables domaines scientifiques ont pu l’expérimenter. CNRC ont interrogé des professeurs de quatre disciplines sur leurs premières expériences avec ChatGPT et son importance pour leur domaine d’étude.
Marc van Oostendorp :
« Sur le plan scientifique, vous voyez que ChatGPT bouleverse la linguistique »
« J’ai fait ma première expérience avec ChatGPT basé sur GPT-3.5. Ce système a obtenu 33 des 60 points et vient de baisser. Mais lorsque j’ai refait l’expérience avec le ChatGPT basé sur GPT-4, le programme a réussi, avec quelque chose comme un 8 ou même un 8.5. ChatGPT a également obtenu plus d’un 8 pour l’examen final vwo en français, mais la session pour le frison a été très triste avec des réponses même bizarres.
« Il y a un an, je n’aurais pas prédit qu’il y aurait maintenant un ordinateur qui réussirait plus ou moins l’examen final VWO en néerlandais. Les réponses variaient entre « je suis surpris qu’un ordinateur ait réussi » et « quelle erreur étrange ». Le système est relativement bon pour analyser les questions, mais pas si bon pour comprendre le genre de l’examen lui-même.
« L’examen central porte sur les aspects mesurables du traitement des textes, tels que la reconnaissance des schémas d’argumentation, les erreurs et les liens entre les paragraphes. Bien sûr, vous pouvez demander si ChatGPT comprend vraiment le texte s’il peut faire tout cela, mais cette question a également été posée avant ChatGPT en ce qui concerne les étudiants. La « compréhension écrite » de l’examen final n’est peut-être pas vraiment de la compréhension. Cela signifie aussi, par exemple, être capable de replacer un texte dans son contexte, tel que le débat auquel participe l’auteur de cette pièce, ou lire des textes un peu plus compliqués que les textes d’opinion de l’examen final central : des textes littéraires, par exemple.
« Au niveau scientifique, vous voyez ChatGPT bouleverser la linguistique. Pendant des décennies, il y a eu un débat sur la question de savoir si et dans quelle mesure le langage est inné. Certains scientifiques disent que ChatGPT montre que l’idée d’innéité est un non-sens. Encore une fois, d’autres scientifiques affirment que si ChatGPT peut apprendre le langage humain, il peut également apprendre un langage inhumain, par exemple, un langage dans lequel vous numérotez chaque syllabe, puis accentuez les syllabes qui sont des nombres premiers. Les humains ne peuvent pas, les ordinateurs peuvent.
« Avec l’intelligence artificielle, il y a toujours des frontières qui changent : d’abord les échecs étaient la forme la plus élevée d’intelligence humaine, puis le jeu continue, et si cela s’avère être résolu, nous choisissons une nouvelle frontière. C’est ce qui se passe avec la compréhension de texte. Je trouve très intéressant de voir comment notre réflexion sur notre pensée devient de plus en plus précise parce que nous devons la comparer à ce que les ordinateurs peuvent ou ne peuvent pas faire.
Anne Meuwese
« La législation la plus complexe doit résoudre de nouveaux problèmes. Un système comme ChatGPT ne peut pas faire ça’
« J’ai confié à ChatGPT la mission suivante : rédiger une loi interdisant les chiens dangereux. Il n’y a pas encore de législation à ce sujet aux Pays-Bas, mais il n’est pas étrange de légiférer à ce sujet. ChatGPT a proposé un article divisé en neuf sous-articles.
« Ce qui est immédiatement ressorti, c’est qu’il s’agit d’un texte juridique court et très simplifié, relativement pauvre en aspects formels et juridiques. Par exemple, le huitième sous-article se lit comme suit : « La violation des dispositions de la présente loi est punissable par la loi et peut entraîner une amende ou la révocation de la licence ». Une notion telle que « punissable » devrait être précisée plus en détail. Ce qui manque, ce sont les références aux articles du Code criminel. Le retrait d’un permis ne compte pas non plus comme une sanction.
« En même temps, ChatGPT propose des suggestions de fond assez intéressantes, comme l’idée d’un permis. Dans le deuxième sous-article, ChatGPT écrit : « Il est interdit de garder, de posséder ou de contrôler un chien dangereux aux Pays-Bas, sauf si le propriétaire ou le gardien est en possession d’un permis valide, délivré par la commune dans laquelle vit le chien ». reste.’ D’un autre côté, le point crucial est de savoir comment vous définissez ce qui constitue un chien dangereux, et ChatGPT ne donne pas de détails à ce sujet.
« Ma principale critique est que la difficulté dans l’élaboration d’une disposition juridique n’est pas d’écrire le texte, mais de réfléchir à la manière dont la loi s’intègre dans le système juridique, aux définitions que vous utilisez et aux règles que vous souhaitez établir exactement. La législation la plus complexe doit résoudre de nouveaux problèmes, comme la législation sur les émissions d’azote, et cela nécessite souvent une nouvelle façon de penser. Un système comme ChatGPT ne peut pas faire cela, car il n’est formé que sur les données du passé. Je ne pense donc pas que ChatGPT puisse faire gagner beaucoup de temps pour rédiger des lois.
« Peut-être que ChatGPT peut s’inspirer en listant des options ou en s’inspirant de législations étrangères comparables, mais c’est toujours quelque chose qui existe déjà. Ce que ChatGPT peut également aider à réécrire des textes moins formels, par exemple dans un style légèrement différent. Je pense que les organisations, et certainement les gouvernements, devraient réfléchir attentivement à la question de savoir si elles souhaitent autoriser leurs employés à utiliser ChatGPT, en raison de l’opacité du modèle et des données que vous divulguez avec lui.
Sanne Abeln
« Puis j’ai demandé, est-ce que cette taille est liée à quelque chose ? ChatGPT ne pouvait pas y penser non plus ‘
« ChatGPT fonctionne plutôt bien pour les questions de connaissances au niveau des étudiants en master, par exemple lorsque je demande quel type de protéines de repliement locales peuvent avoir. Mais quand je demande à relier ces connaissances à la littérature scientifique, le système donne des références à des articles inexistants.
« Raisonner sur les connaissances existantes va aussi très mal. Par exemple, j’ai posé la question deux fois d’une manière légèrement différente pour arriver à une mesure du repliement local d’une protéine. Une fois ça s’est bien passé, l’autre fois ça s’est complètement mal passé. Ensuite, j’ai également demandé si cette taille existait déjà. Il n’y avait pas de bonne réponse. Puis j’ai demandé, cette taille est-elle liée à quelque chose ? ChatGPT ne pouvait pas y penser non plus. Puis j’ai demandé dans l’autre sens : il y a une mesure de pliage local, pouvez-vous expliquer cela ? Et oui, étant donné une description de cette taille, le système pourrait l’expliquer. Donc, ce que vous voyez, c’est que vous avez déjà besoin d’une bonne connaissance du domaine pour ajuster le système vers la bonne réponse.
« Dans mes propres recherches scientifiques, nous expérimentons depuis plusieurs mois une partie d’ESMFold, un programme d’IA capable de prédire les structures des protéines et basé sur les mêmes types de modèles que ChatGPT. Lorsque vous disposez de nombreuses données d’entraînement, ces programmes d’IA ont un bon pouvoir prédictif. Ce qui manque, cependant, c’est la compréhension ou la compréhension de la raison pour laquelle une protéine se replie comme le programme le prédit. De plus, en biologie, on dispose souvent de peu de données, par exemple lorsqu’il s’agit de maladies rares. C’est pourquoi nous avons toujours besoin d’autres modèles qui permettent également de comprendre.
« À l’université, nous avons maintenant établi des directives sur ce que les étudiants sont et ne sont pas autorisés à faire avec ChatGPT. Mais à l’école secondaire de mon mari, tout à coup, les trois quarts des élèves havo ont soumis des réponses générées par ChatGPT. Je pense que ChatGPT est perturbateur pour tous les niveaux d’éducation. Cela a entraîné beaucoup de travail supplémentaire pour le personnel enseignant au cours des six derniers mois. En fait, je pense qu’il est irresponsable que ChatGPT ait été rendu public sans que le secteur de l’éducation ne puisse s’y préparer.
Arié van Deursen :
« GPT en tant qu’assistant de programmation n’est qu’une des applications possibles »
« Les modèles de langage tels que GPT peuvent être très utiles pour la programmation. Les programmeurs utilisent déjà ces types de modèles comme des outils qui lisent le code qu’ils écrivent et peuvent faire des suggestions. Toutes les grandes entreprises technologiques travaillent sur ce type de technologie. Ils emploient de nombreux développeurs et veulent qu’ils soient aussi productifs que possible.
« Une étude récente de Meta sur leur outil CodeCompose rapporte que 8 % du nombre total de lignes de code à écrire peuvent être prédites par CodeCompose. Mais cela ne signifie pas que CodeCompose ne fait que des suggestions correctes. Seulement un quart des suggestions sont effectivement acceptées. Donc, en tant que développeur, vous devez être vigilant et choisir ce qui est bon et ce qui ne l’est pas. Une étude de GitHub rapporte que les développeurs qui utilisent un tel soi-disant co-pilote apprécient davantage leur travail et sont donc plus productifs.
« Toutes ces études ont encore un contenu « nous du canard des toilettes », les entreprises elles-mêmes proclamant l’utilité de leurs outils. Il n’y a pas encore d’évaluations indépendantes sur les données ouvertes, mais elles le seront.
« GPT en tant qu’assistant de programmation n’est qu’une des applications possibles. Il y a plus concevable, par exemple une fenêtre de chat ouverte en permanence dans laquelle le développeur et GPT peuvent poser des questions. Pour le moment, c’est toujours un problème que vous ne sachiez pas d’où viennent les réponses et si elles sont correctes. A terme, GPT sera également utilisé en combinaison avec des moteurs de recherche, comme c’est déjà le cas dans Bing.
« Une autre application de GPT est d’aider aux tests de logiciels, en particulier à la formulation de cas de test intéressants. Je pense aussi que GPT peut aider à rendre la programmation plus accessible à tous. Pensez à une boîte de dialogue ChatGPT liée à une feuille de calcul, où vous dites ce que vous voulez dans la boîte de dialogue, et GPT vous aide à créer la feuille de calcul souhaitée de manière interactive.
« La distance jusqu’à la création de logiciels complexes est encore très grande. Essayer de créer un système d’impôt sur le revenu avec ChatGPT est un exercice amusant. ChatGPT prévient ensuite que les taxes peuvent être très compliquées, à de nombreuses exceptions près. Et toutes ces règles et exceptions devront être formulées avec précision. Et puis vous programmez à nouveau.