OpenAI et Google, soutenus par Microsoft, ont tous deux lancé des chatbots basés sur l’intelligence artificielle ces dernières semaines. Leurs moteurs de conversation respectifs – ChatGPT Plus et Bard – diffèrent dans la façon dont ils répondent aux requêtes complexes, ingèrent du texte et proposent des réponses créatives.
Les chatbots sont formés pour générer leurs réponses à l’aide de données écrites provenant d’Internet, comme les millions de mots écrits sur des sites Web tels que Wikipedia, des livres et d’autres documents, pour prédire le mot suivant probable dans une phrase. Cela leur permet de donner des réponses étrangement plausibles qui imitent la parole humaine.
OpenAI et Google ont été opaques sur la façon dont leurs modèles ont été construits. Cependant, il est probable que leurs données et objectifs de formation soient distincts.
Bard est formé spécifiquement pour s’engager dans un dialogue naturel, tandis que l’objectif de GPT-4 est de générer des réponses approfondies sur un large éventail de sujets. GPT-4 est également déconnecté d’Internet et n’a connaissance des événements que jusqu’en septembre 2021. Bard peut apparemment apporter des résultats de recherche Google, bien que cela ne semble pas améliorer la qualité de ses réponses.
Nous voulions tester davantage la capacité des chatbots, en les engageant sur des tâches qui se rapprochent de la créativité, du flair et de l’imagination. Voici les résultats – et comment les experts humains du FT les ont évalués.
Résumé d’une analyse FT
Nous avons demandé aux chatbots de résumer la récente analyse du FT sur la vente de la banque suisse Credit Suisse à son grand rival UBS.
ChatGPT-4 a répondu :
Bard ne nous a pas permis de saisir toute l’histoire d’un coup, il était donc naturellement désavantagé. C’était son résumé en prenant le texte de la première moitié de l’histoire de FT.
Owen Walker, correspondant bancaire européen, écrit :
C’est un aperçu assez impressionnant [by GPT-4]. La seule erreur là-dedans est qu’il devrait y avoir 5 milliards de dollars d’actifs «sous gestion» – mais cela n’était pas clair dans l’article original, donc c’est excusable.
La réponse de Bard, bien que précise, semble plus stéréotypée et guindée que la première. Il y a aussi une répétition du paragraphe d’introduction comme résumé.
L’IA peut-elle choisir le prochain gagnant du marché boursier ?
Nous avons transmis aux deux chatbots les règles du concours annuel de sélection de titres du FT. Les participants doivent choisir cinq actions du monde entier et prendre une position longue ou courte – en pariant que les actions augmenteront ou baisseront. Le gagnant est la personne qui génère le rendement global le plus élevé sur son portefeuille. Nous avons demandé aux bots de prédire pour 2023, mais GPT-4 a déclaré qu’il avait un seuil de connaissances de septembre 2021, tandis que le seuil de Bard est inconnu. Voici comment ils ont fait.
Choisi par ChatGPT-4
Tesla
Amazone
Nvidia
Microsoft
Moderne
Choisi par Barde
Tesla
Pomme
Microsoft
Alphabet
Amazone
Robin Wigglesworth, rédacteur en chef d’Alphaville, écrit :
GPT-4 et Bard ont tous deux choisi des portefeuilles assez similaires : des actions technologiques en grande partie de premier ordre qui avaient déjà pour la plupart bien performé en septembre 2021 – présentant une tendance très humaine à sauter sur les gagnants.
Les deux ont choisi Tesla, Amazon et Microsoft. Bard a trahi un préjugé domestique en choisissant son fabricant Alphabet en plus d’Apple, tandis que GPT-4 s’est révélé comme un jockey dynamique en choisissant le chaud grésillant Nvidia et le fabricant de vaccins Covid-19 Moderna.
Les principaux résultats – un rendement de 74,4% en 2021 pour GPT-4 et 40,5% pour Bard – semblent donc bons. Mais si nous regardons simplement les résultats du moment où ils ont été cueillis et de la fin de l’année, leurs gains tombent à 16,3 % et 21,1 % respectivement.
Cela peut encore sembler respectable, mais la tendance de l’IA générative à se lancer dans les actions technologiques à la mode l’aurait punie lorsque les taux d’intérêt ont commencé à augmenter en 2022. Les portefeuilles de ChatGPT-4 et de Bard ont tous deux perdu plus de 40 % l’année dernière. L’indice S&P 500 n’a perdu que 19,4 %.
L’IA peut-elle raconter une blague ?
Nous avons demandé aux deux chatbots de nous raconter une blague – et ensuite pourquoi c’était drôle. Nous avons choisi ce que nous pensions être un sujet difficile à plaisanter. Vous pouvez juger les résultats ici par vous-même.
Tout d’abord, l’effort de ChatGPT :
Vous voyez un instantané d’un graphique interactif. Cela est probablement dû au fait que vous êtes hors ligne ou que JavaScript est désactivé dans votre navigateur.
Ensuite, Barde :
Vous voyez un instantané d’un graphique interactif. Cela est probablement dû au fait que vous êtes hors ligne ou que JavaScript est désactivé dans votre navigateur.
L’IA peut-elle imaginer une conversation ?
Nous voulions tester le comportement des chatbots sur des tâches qui nécessiteraient une réflexion créative chez les humains. Nous avons donc demandé à GPT-4 et Bard de mener une conversation imaginaire entre Xi Jinping et Vladimir Poutine lors d’une visite d’État.
Voici un extrait de ce que GPT-4 avait à dire :
Et voici un extrait de la prise de Bard :
Gideon Rachman, commentateur en chef des affaires étrangères, écrit :
Je suis sûr qu’une grande partie de ce que Poutine et Xi se disent sont des plaisanteries vides de sens. Mais cela défie la crédulité de croire que leurs conversations sont aussi fades et sans contenu.
Ce sont deux dirigeants avec des questions vitales à discuter. ChatGPT et Google Bard semblent croire qu’ils suivront le guide Basil Fawlty de la diplomatie – « Ne mentionnez pas la guerre ». C’est évidemment ridicule. La guerre d’Ukraine aura été le sujet central de leur conversation à Moscou. La question intéressante est de savoir dans quelle mesure leur discussion serait franche. Je soupçonne – ils seraient probablement assez vagues les uns avec les autres. Mais il est possible que la conversation devienne vraiment franche.
Voici mon estimation de la façon dont la conversation pourrait se dérouler :
Xi — Je serais intéressé de savoir comment se déroule la guerre et comment vous la voyez se terminer.
Poutine — Je comprends votre inquiétude. Nous restons déterminés à libérer l’Ukraine du fascisme et à vaincre l’ingérence américaine dans notre région. Les problèmes de nos forces sont liés à l’énorme quantité d’armes que les États-Unis et l’OTAN ont déversées en Ukraine. Cela nous aiderait franchement beaucoup si la Chine pouvait nous fournir des missiles et d’autres munitions indispensables à notre lutte.
Xi — Je comprends votre demande et l’examinerai très attentivement. Mais c’est une situation d’extrême sensibilité, vous l’aurez compris. Je pense que nous devrions déléguer nos fonctionnaires pour examiner les domaines où nous pourrions être en mesure de coopérer.
La Chine tient également à jouer un rôle dans le processus de paix pour l’Ukraine. Que pouvons-nous faire pour aider là-bas?
Poutine — Nous apprécions grandement le plan de paix chinois. Mais nous pensons que le moment n’est pas encore venu pour vous de parler à Zelenskyy.
Si ChatGPT ou GoogleBard étaient à la hauteur de leur tâche, c’est le genre de chose qu’ils auraient pu proposer. À l’heure actuelle, je ne suis pas inquiet pour la carrière des diplomates du monde.
L’IA peut-elle écrire un slogan publicitaire ?
Nous avons demandé à chaque chatbot de proposer un nouveau slogan pour une entreprise imaginaire de desserts gastronomiques pour chiens. Voici leur tentative. Nous avons également utilisé les deux réponses pour générer des images pertinentes, à l’aide du logiciel d’IA texte-image Midjourney.
Image générée à partir de l’invite Midjourney : « conception du site Web, page d’accueil, UX, « Indulge Your Pooch : Delightful Desserts for Distinguished Dogs », couleurs vives, – ar 16: 9 – v5″
Image générée à partir de l’invite Midjourney : « conception du site Web, page d’accueil, UX, « Délicieux desserts pour chiens qui feront en redemander à votre chiot », couleurs vives, – ar 16: 9 – vs 5″
Harry Haydon, Brand Strategist, FT, écrit :
S’il s’agissait d’un argumentaire entre deux agences de publicité, GPT-4 se dirigerait vers le pub pour des boissons festives, tandis que le gestionnaire de compte Bard retournerait au bureau pour se faire gronder.
Bard commet le péché capital de complètement manquant le brief, s’appuyant plutôt sur une utilisation étrange du cliché paresseux pour son slogan « De délicieuses friandises qui font que votre chien en redemande ». Ce slogan aurait laissé son client de nourriture gastronomique pour chiens se gratter la tête en se demandant exactement en quoi son produit était différent de n’importe quel autres aliments pour chiens. L’USP du produit est clairement sa qualité supérieure, comme indiqué dans le mémoire.
GPT-4 cloue le brief avec le slogan : « Faites plaisir à votre toutou : de délicieux desserts pour chiens distingués ». Il ne fait aucun doute ici que vous regardez une publicité pour de la nourriture chic pour chiens. Également des points bonus pour l’utilisation de graphiques qui présentent l’approche omnicanale de l’agence sur différentes plateformes numériques.
En réalité, les deux publicités ressemblent à des choses créées par des personnes qui ne savent pas comment faire des publicités. Les robots ne sont pas encore arrivés, mais ils ne sont pas à un million de kilomètres.
Production vidéo par Rory Griffiths