C’est une boîte mystère algorithmique qui inspire la peur, la crainte et la dérision dans une égale mesure. Les simulacres qu’il crée sont programmés pour faire passer les informations retenues comme des connaissances, appliquant une certitude injustifiée aux hypothèses nées d’un code éthique facilement contournable. Sa production menace de déterminer si un grand nombre de personnes obtiendront jamais un emploi. Et pourtant, le CFA Institute demeure.
La sortie de GPT-4 par OpenAI a provoqué une autre attaque d’angoisse sur ce que l’intelligence artificielle fera sur le marché du travail. Les craintes concernant la perturbation de l’IA sont particulièrement vives dans la finance, où le traitement robotisé des données décrit probablement la plupart des emplois la plupart du temps.
Où cela laisse-t-il le CFA Institute? Ses qualifications d’analyste financier agréé offrent une police d’assurance aux employeurs selon laquelle le personnel se comportera et que leurs affaires juridiques et marketing seront produites conformément au code. Mais l’accréditation CFA n’est disponible que pour les humains, qui paient 1 200 $ par examen (plus des frais d’inscription de 350 $), principalement pour se faire dire de se représenter.
Si un modèle d’IA en grande langue peut réussir l’examen autoproclamé le plus difficile du monde de la finance, cela pourrait être terminé pour le modèle de revenus de CFA, ainsi que pour plusieurs centaines de milliers d’employés de banque. Heureusement, pour le moment, ce n’est probablement pas possible.
Presente avec un exemple d’épreuve de niveau III sur le site Web de CFA, ChatGPT échoue à la toute première question :
Non! Faux! C’est un.
La question ci-dessus concerne Edgar Somer, un gestionnaire de fonds à petite capitalisation, qui a été embauché par Karibe Investment Management. Sa stratégie de valeur a fait 11 % chez son dernier employeur et il veut commercialiser en disant : « Somer a généré des rendements annuels moyens de 11 % ». Ne pas signaler ici qu’il a changé d’entreprise est une mauvaise chose, alors que présenter une performance composite de portefeuilles similaires est tout à fait acceptable. Euh.
Question suivante:
Non! Totalement faux!
Cette question concerne le fait que Somer retweete une histoire sur une célébrité condamnée à une amende pour avoir omis de déclarer correctement les gains d’investissement. Il ajoute, vraisemblablement dans un tweet entre guillemets: «Un de mes clients a eu des gains similaires, mais parce que j’ai tenu des registres appropriés, il n’a fait face à aucune pénalité. #EngagezUnProfessionnel ».
Jugé sur #TasteAndDecorum, il y a beaucoup de mal avec ce qui précède mais, selon les règles, c’est acceptable. Aucun client n’est nommé et par des mesures de transparence et de professionnalisme, il n’y a pas de violation, ce qui rend la portée réglementaire excessive de ChatGPT comparable à celle de son prédécesseur. ED-209.
Question suivante:
Ouais ok. C’est correct. Condamner.
Suivant:
LOL, quel idiot !
Le scénario ici est qu’avant de rejoindre Karibe, Somer a acheté des actions dans une petite capitalisation technologique qui a beaucoup augmenté pour son compte personnel. Tout a été divulgué correctement lorsque les clients ont été mis dans le stock, mais Somer devient nerveux quant à la taille de sa propre exposition. Ainsi, lorsqu’un client passe l’achat à cours limité le plus élevé du marché, Somer envisage de le remplir lui-même.
Il ne devrait absolument pas faire ça ! Pas parce que le client serait désavantagé, cependant, parce qu’il ne le serait pas. Le problème ici est qu’il bénéficierait personnellement du commerce. Au minimum, le conflit devrait être divulgué à toutes les parties, ce que les ordinateurs semblent assez mauvais pour reconnaître.
La deuxième section de l’examen est Revenu fixe et les questions sont toutes très complexes. Vous en avez probablement déjà assez lu récemment sur le risque de duration, nous vous épargnerons donc les détails et vous proposerons une évaluation globale.
ChatGPT a pu décrire avec précision la durée du spread par rapport aux obligations rachetables et non rachetables. Mais il a choisi le mauvais portefeuille pour s’adapter à un marché haussier et a utilisé des calculs inutiles pour surestimer par trois un rendement excédentaire attendu sur six mois. Et lorsque sa propre réponse ne correspondait à aucune des options proposées, il a choisi la plus proche.
Pour la dernière question de l’échantillon (sur l’opportunité de placer un client dans des obligations sécurisées, des ABS ou des CDO), ChatGPT a affirmé ne pas avoir suffisamment d’informations et a donc refusé de donner une réponse. Une telle prudence pourrait être une bonne qualité chez un conseiller en placement, mais elle échoue à la première règle des examens à choix multiples : devinez.
Dans l’ensemble, le bot a obtenu un score de 8 sur 24 possibles.
Notez que parce que GPT-4 est encore assez délicat, toutes les captures d’écran ci-dessus proviennent de son prédécesseur ChatGPT-3. L’exécution de la même expérience sur GPT-4 a donné des résultats très similaires, malgré ses capacités de raisonnement améliorées, car il fait exactement la même erreur fondamentale.
La façon de gagner au CFA est de faire correspondre des modèles autour de réponses mémorisées, un peu comme un chauffeur de taxi londonien utilise The Knowledge. ChatGPT cherche plutôt à traiter le sens de chaque question. C’est une stratégie terrible. Le résultat est un score de 33 %, à un examen avec un seuil de réussite ≥70 %, lorsque toutes les bonnes réponses sont déjà disponible gratuitement sur le site du CFA. Un moteur de recherche à l’ancienne ferait mieux.
Les ordinateurs sont devenus très bons très rapidement pour simuler la pensée logique. Mais lorsqu’il s’agit de faux raisonnements par l’application de règles et de définitions arbitraires, les humains semblent conserver un avantage. C’est une bonne nouvelle pour tous ceux qui travaillent dans le domaine de la réglementation financière, ainsi que pour tous ceux qui gagnent leur vie en passant des examens sur la réglementation financière. Les robots ne viennent pas pour ces emplois ; au moins pas encore.
Et enfin, félicitations à 44 % des candidats au niveau CFA IIII d’être plus intelligent qu’un site Web.
Lecture complémentaire :
— Le CFA, la qualification la plus difficile de Wall St, peine à retrouver sa stature (FT)
— Le refus contestable de remboursement du CFA (FTAV)
— Le soleil ne brille pas et ça craint quand même d’être candidat au CFA (FTAV)
— Concours AV CFA Meme : les gagnants