Nous vivons une \u00e9poque fascinante pour l’intelligence artificielle (IA), et la possibilit\u00e9 d’ex\u00e9cuter des mod\u00e8les de chat tels que \u00a0ChatGPT\u00a0 sur des machines locales est particuli\u00e8rement excitante. Cela permet non seulement d’am\u00e9liorer la \u00a0privacit\u00e9\u00a0 des utilisateurs, mais aussi de r\u00e9duire les co\u00fbts li\u00e9s \u00e0 l’utilisation de services bas\u00e9s sur le cloud. Dans cet article, nous allons explorer les avantages et les d\u00e9fis de cette \u00e9volution, en mettant l’accent sur le mod\u00e8le \u00a0gpt-oss-20b\u00a0 d’OpenAI.<\/p>\n
Souvent, l’utilisation de mod\u00e8les d’IA dans le cloud pr\u00e9sente des inconv\u00e9nients comme les \u00a0co\u00fbts r\u00e9currents\u00a0 et les pr\u00e9occupations en mati\u00e8re de \u00a0s\u00e9curit\u00e9 des donn\u00e9es\u00a0. En utilisant un mod\u00e8le local, les utilisateurs ont un meilleur contr\u00f4le sur leurs informations. De plus, cela peut am\u00e9liorer la \u00a0latence\u00a0, permettant des r\u00e9ponses plus rapides, puisque les donn\u00e9es ne doivent pas \u00eatre envoy\u00e9es \u00e0 un serveur distant pour traitement.<\/p>\n
Installer et ex\u00e9cuter le mod\u00e8le \u00a0gpt-oss-20b\u00a0 sur un Mac Mini M4 avec 16 Go de m\u00e9moire unifi\u00e9e est un processus relativement simple. Les \u00e9tapes incluent :<\/p>\n
Cette installation va t\u00e9l\u00e9charger un mod\u00e8le d\u2019environ \u00a013 Go\u00a0, un processus qui prend quelques minutes en fonction de la vitesse de votre connexion.<\/p>\n
Lors de mes premiers essais, j’ai remarqu\u00e9 que, bien que le mod\u00e8le puisse r\u00e9pondre \u00e0 des questions simples, ses performances \u00e9taient \u00a0d\u00e9cevantes\u00a0 en termes de rapidit\u00e9. Avec plusieurs applications ouvertes, mon Mac Mini a \u00e9prouv\u00e9 des difficult\u00e9s \u00e0 traiter le mod\u00e8le, ce qui a entra\u00een\u00e9 des \u00a0ralentissements\u00a0 et m\u00eame des blocages lors de son utilisation.<\/p>\n
Cela met en lumi\u00e8re un fait essentiel : m\u00eame si le mod\u00e8le est accessible, son \u00a0utilisation efficace\u00a0 n\u00e9cessite une configuration mat\u00e9rielle ad\u00e9quate. Pour fonctionner de mani\u00e8re fluide, \u00a0gpt-oss-20b\u00a0 requiert un minimum de \u00a016 Go de m\u00e9moire graphique\u00a0.<\/p>\n
Apr\u00e8s avoir fait ces observations, j’ai d\u00e9cid\u00e9 de passer \u00e0 \u00a0LM Studio\u00a0, qui pr\u00e9sente une interface graphique plus conviviale. Cela m’a permis de configurer plus facilement le mod\u00e8le pour qu’il utilise moins de m\u00e9moire graphique, rendant ainsi le mod\u00e8le plus utilisable. En all\u00e9geant la charge sur ma \u00a0GPU\u00a0, je suis parvenu \u00e0 ex\u00e9cuter le mod\u00e8le correctement.<\/p>\n
Les ajustements possibles incluent :<\/p>\n
Une fois les param\u00e8tres r\u00e9gl\u00e9s, le mod\u00e8le a r\u00e9pondu plus rapidement et de mani\u00e8re plus coh\u00e9rente, en g\u00e9n\u00e9rant des r\u00e9ponses pertinentes. J’ai test\u00e9 des questions vari\u00e9es, allant de simples calculs \u00e0 des demandes de tableaux, et mes r\u00e9sultats \u00e9taient souvent \u00a0satisfaisants\u00a0. Par exemple, je lui ai demand\u00e9 combien de “r” se trouvaient dans une phrase, et il a donn\u00e9 une r\u00e9ponse correcte gr\u00e2ce \u00e0 ses capacit\u00e9s de raisonnement.<\/p>\n
Bien que le mod\u00e8le ait parfois commis des erreurs, ces \u00a0\u00e9carts\u00a0 semblent similaires \u00e0 ceux observ\u00e9s dans d’autres mod\u00e8les d’IA de derni\u00e8re g\u00e9n\u00e9ration. Cela souligne que m\u00eame si \u00a0gpt-oss-20b\u00a0 est encore perfectible, ses performances sont comp\u00e9titives, et son utilisation est prometteuse.<\/p>\n
N\u00e9anmoins, l’utilisation de ce mod\u00e8le pose encore des d\u00e9fis, principalement associ\u00e9s \u00e0 la \u00a0m\u00e9moire graphique\u00a0. Pour ex\u00e9cuter les versions les plus avanc\u00e9es comme le \u00a0gpt-oss-120b\u00a0, un syst\u00e8me peut n\u00e9cessiter jusqu’\u00e0 \u00a080 Go de m\u00e9moire\u00a0. De plus, les types de m\u00e9moire diff\u00e8rent : les machines \u00a0PC\u00a0 ont des m\u00e9moires RAM et graphiques distinctes, tandis que les syst\u00e8mes \u00a0Apple\u00a0 exploitent une m\u00e9moire unifi\u00e9e, qui combine les deux et offre un taux de \u00a0performance sup\u00e9rieur\u00a0.<\/p>\n
En somme, les mod\u00e8les d\u2019IA locaux comme \u00a0gpt-oss-20b\u00a0 repr\u00e9sentent une avanc\u00e9e passionnante et un pas vers une ind\u00e9pendance technologique. Ils offrent la possibilit\u00e9 de conserver ses donn\u00e9es tout en acc\u00e9dant \u00e0 des outils performants. Si les d\u00e9fis mat\u00e9riels sont encore pr\u00e9sents, les compromis que l’on peut faire gr\u00e2ce \u00e0 une meilleure compr\u00e9hension des configurations de m\u00e9moire rendent l’IA locale de plus en plus accessible. \u00c0 mesure que la technologie \u00e9volue, il est probable que de plus en plus de utilisateurs pourront tirer parti de ces innovations, rendant ainsi l’intelligence artificielle locale une r\u00e9alit\u00e9 palpable.<\/p>\n