Dans les années 1960, un scientifique du Massachusetts Institute of Technology a créé un programme de traitement du langage naturel capable d’imiter la conversation humaine. Nommé ELIZA, il s’agissait d’une première itération des chatbots sévissant dans le secteur de la technologie cette année. ELIZA n’était pas une entreprise rentable. Les versions actuelles non plus.
Il existe des possibilités de transformation claires dans l’intelligence artificielle générative. Les chatbots développés à l’aide de grands modèles de langage (LLM) pourraient permettre des communications transparentes entre les humains et les ordinateurs.
La question pour les investisseurs est de savoir si les LLM propriétaires peuvent rapporter de manière fiable de l’argent aux grandes technologies. Les LLM open source pourraient être une alternative moins chère pour les entreprises développant des applications sur mesure.
Les LLM n’ont pas de définition formelle. Ils sont décrits comme des programmes formés sur d’énormes volumes de données disponibles en ligne et capables de prédire le mot suivant dans une phrase.
Avec l’augmentation de la puissance de calcul, les IA ont pu effectuer un apprentissage non supervisé à partir de données non structurées. Ils produisent des réponses qui surprennent même leurs créateurs.
La complexité du LLM a fait un bond en avant. En 2020, OpenAI a publié son Generative Pretrained Transformer 3, ou GPT-3. Ce LLM avait 175 milliards de paramètres.
Plus il y a de paramètres, plus un LLM peut traiter et générer de données. PaLM de Google, qui alimente son chatbot Bard, a 540 milliards. La dernière version d’OpenAI de son LLM est GPT-4. La société n’a pas précisé le nombre de paramètres. Les experts pensent que 100 tonnes seraient un chiffre exact.
La puissance de traitement requise pour ces LLM est vaste. En règle générale, plus l’ensemble de données utilisé est grand, meilleures sont les performances. Ceci, en théorie, limite les LLM à un petit nombre d’entreprises bien financées.
Mais les applications de niche peuvent fonctionner en utilisant des ensembles de données plus petits. BloombergGPT, qui est destiné à faciliter l’analyse des informations sur les terminaux de données Bloomberg, a 50 milliards de paramètres. Le modèle de base LLM de la start-up torontoise Cohere AI compte 52 milliards de paramètres.
Les LLM open source sont plus préoccupants pour des entreprises telles que Google. Meta a donné son système, LLaMA, en tant que logiciel open-source qui peut être copié et utilisé par n’importe qui. Des LLM plus petits peuvent être construits dessus.
Supposons que les utilisateurs de l’entreprise décident qu’il y a peu de différence entre les LLM propriétaires et open source lors du développement de leurs propres services d’IA, Google et OpenAI perdraient leur avantage de précurseur avant d’avoir une chance d’atteindre le seuil de rentabilité.
Notre newsletter populaire pour les abonnés premium est publiée deux fois par semaine. Mercredi, nous analysons un sujet brûlant d’un centre financier mondial. Le vendredi on décortique les grands thèmes de la semaine. Inscrivez vous s’il vous plait ici.