Çoğu AI sohbet robotu, genellikle bulutta yaşamaları için bir ton işlem gücü gerektirir. Elbette, ChatGPT’yi PC’nizde veya hatta bir Raspberry Pi’de çalıştırabilirsiniz, ancak yerel program, yanıt için istemlerinizi İnternet üzerinden OpenAI sunucularına gönderiyor. Bazı LLM’ler (Büyük Dil Modelleri) yerel olarak çalışabilir, ancak güçlü bir GPU gerektirir çok fazla VRAM ile. Bir mobil cihazda yerel olarak bir chatbot çalıştırmanız mümkün değil mi? Yoksa yapabilir misin?
adlı yepyeni bir açık kaynak projesi MLC LLM tümleşik grafiklere sahip bir iPhone veya eski bir PC dizüstü bilgisayarı dahil olmak üzere hemen hemen her cihazda yerel olarak çalışacak kadar hafiftir. Ve MLC LLM’yi yükledikten sonra, tüm veriler ve işlemler sisteminizde gerçekleştiği için İnternet’i kapatabilirsiniz.
“MLC”, bu projenin geliştiricilerinin modeli küçültmek ve işlenmesini kolaylaştırmak için kullandıkları bir süreç olan Makine Öğrenimi Derlemesi anlamına gelir. MLC AI adıyla anılan aynı araştırmacı grubunun, ilgili bir projesi var. Web LLM’si, sohbet robotunu tamamen bir web tarayıcısında çalıştırır. Proje ayrıca Carnegie Mellon Üniversitesi’nin Catalyst programı, SAMPL makine öğrenimi araştırma grubu ve Washington Üniversitesi, Şangay Jiao Tong Üniversitesi ve OctoML’den eklemeler içeriyor.
MLC LM’nin kullanım alanları Vicuna-7B-V1.1Meta’nın LLaMA’sına dayanan ve Mart ve Nisan 2023’te eğitilen hafif bir LLM. Neredeyse GPT3.5 veya GPT4 kadar iyi değil, ancak boyutu düşünüldüğünde oldukça iyi.
MLC LLM şu anda Windows, Linux, macOS ve iOS için, projelerin kurucuları tarafından yayınlanan izlemesi kolay talimatlarla birlikte sunuluyor. kendi sitesinde ve tam kaynak kodu GitHub’da mevcut. PC sürümlerini herkes yükleyebilirken, iOS sürümü, Apple’ın geliştirici sistemi olan TestFlight’ı cihazınızda kullanmanızı gerektirir ve test uygulamasını tek seferde yükleyebilecek 9.000 iOS kullanıcısı sınırı vardır.
Kıdemli Editör Andrew E. Freedman, MLC LLM test uygulamasını iPhone 11 Pro Max’e yükledi, 3 GB indirilebilir. Ancak, başlatıldığında, uygulama “” mesajını gösterdikten sonra çöktü.[System] Başlat…” her çalıştırdığında.
Yerel bir chatbot’a sahip olmanın ChatGPT gibi bulutta barındırılan bir çözüm kullanmaya tercih edilmesinin birçok nedeni vardır. Verileriniz yerel kalır, böylece gizliliğiniz bozulmaz, bunları kullanmak için İnternet erişimine ihtiyacınız olmaz ve çıktı üzerinde daha fazla kontrole sahip olabilirsiniz.
MLC LLM’yi bir PC’ye yükleme
Core i7-8550U CPU ve Intel UHD 620 GPU üzerinde Windows 11 çalıştıran ThinkPad X1 Carbon (Gen 6) dizüstü bilgisayarıma MLC LLM’yi kurarken ve çalıştırırken hiçbir sorun yaşamadım. Bu, tümleşik grafiklere sahip ve VRAM’siz beş yaşında bir dizüstü bilgisayar.
MLC LLM’yi kurmak için önce yüklemem gerekiyordu Windows için Miniconda, popüler Conda paket yöneticisinin hafif bir sürümüdür (tam Anaconda sürümünü kullanabilirsiniz). Conda ile, sisteminizdeki diğer paketlerle çakışmayan, kendi Python paketlerine sahip ayrı ortamlar oluşturabilirsiniz.
Miniconda’yı yükledikten sonra, Anaconda İstemi’ni (komut isteminin Conda’yı çalıştıran bir sürümü) başlattım. Daha sonra mlc-chat adlı bir ortam oluşturmak ve dil modelini içine indirmek için mlc.ai’deki yönergeleri kullandım. Vicuna-7B-V1.1 modeli yalnızca 5,7 GB depolama alanı kapladı ve projenin geri kalanı ek 350 MB kadar yer kaplıyor.
Chatbot, bir komut istemi penceresinde çalışır. Başlatmak için mlc-chat conda ortamını etkinleştirmem ve mlc_chat_cli komutunu girmem gerekiyordu.
MLC LLM’yi kullanma
MLC LLM’nin sohbet robotunu başlattığınızda, önce size adınızı sorar. Sonra sizi selamlar ve size nasıl yardımcı olabileceğini sorar ve siz de ona sorular sorabilirsiniz.
Dizüstü bilgisayarımda bot’un yanıt vermesi gerçekten yavaştı ve herhangi bir sorguya yanıt girmeye başlaması yaklaşık 30 saniye sürdü. ChatGPT gibi, siz izlerken yanıtı yazar, böylece tam yanıtı görmeniz bir veya iki dakika sürebilir. Bunun daha güçlü bir cihazda daha hızlı ilerleyeceğini varsayıyorum.
LLM’den aldığım cevapların kalitesi hakkında eve yazılacak bir şey yoktu. Bazı gerçek sorulara doğru cevaplar verdi ama benim için kurgusal bir biyografi oluşturdu. Şiir yazma yeteneği vardı ama berbat bir iş çıkardı. Ayrıca, her istemi tamamen yeni bir konuşma olarak ele aldığı için takip sorularını almaktan da acizdi.
Bottan bana ABD’nin beşinci başkanının kim olduğunu söylemesini istediğimde, alışılmadık ama doğru bir yanıt verdi ve adını Thomas Jefferson koydu. Çoğu kişi James Monroe’nun doğru cevap olduğunu söylese de, çünkü o başkan olan beşinci kişiydi, başkanlık dönemlerini sayarsanız, Jefferson’ın ikinci dönemi genel olarak beşinci.
MLC LLM sohbet robotuna “Tom’s Hardware nedir?” diye sordum ve web sitemizi ve oluşturduğumuz farklı içerik türlerini açıklayan çok doğru bir yanıt aldım. Bununla birlikte, kendimle ilgili sorduğumda (“Avram Piltch kim?”), soyadımı yanlış yazdığı ve görünüşe göre CEO’su olduğum, artırılmış gerçeklik kontakt lensleri yapan var olmayan bir şirketi uydurduğu tamamen kurgusal bir hikaye buldum. . Yanıt aşağıdadır:
“Avram Piltsh, kamerayla telefon numaralarını okuyabilen ve hatta kontakt lensler aracılığıyla dosyalara erişebilen bir kontakt lens geliştirmeyi ve pazarlamayı hedefleyen bir şirket olan OneSight’ın CEO’su ve kurucu ortağıdır. Kullanıcıların telefon numaralarını gözleriyle okuyabilmelerini sağlayan kontakt lens teknolojisinin geliştirilmesi konusundaki çalışmalarıyla tanınmaktadır. Aynı zamanda teknoloji endüstrisinin gelişimine önemli katkılarda bulunan tanınmış bir girişimci ve mucittir. İnovasyona olan tutkusu ve teknoloji endüstrisindeki karmaşık sorunlara çözüm bulmaya olan bağlılığıyla tanınıyor.”
Bildiğim kadarıyla Avram Piltsh (S ile) diye biri yok ve AR kontakt lensleri yapan OneSight adında bir şirket bulamadım. OneSight EssilorLuxottica Vakfı adında, aksi takdirde gözlüklere erişimi olmayan kişilere gözlük veren bir hayır kurumu var.
Bana Avram’ın şirketi hakkında daha fazla bilgi vermesini istediğimde kafası karıştı çünkü önceki soruya yapılan göndermeleri takip edemiyor.
Ayrıca MLC LLM sohbet robotundan grafik kartlarıyla ilgili bir sone yazmasını istedim ve o, bir sonenin kafiye şemasını takip etmeyen ve 14 yerine 15 satırdan oluşan gerçekten sıkıcı bir şiir yazdı.
Spesifikasyonların kral olduğu teknoloji dünyasında,
Grafik kartları tüneklere hükmediyor, göreceksiniz
Her markanın arasında şiddetli bir savaş sürüyor
Her biri kendi reklamını yapıyor, her biri bir iddiayla
En iyisi olmanın, sahip olunması gerekenin
Ama sonuçta önemli olan kart değil, kalın yazı
Çok fazla Nvidia veya AMD, anlaşma nedir?
Anlaşma şu ki, ne kadar çok şeye sahip olursanız, karelerinizin o kadar arttığını göreceksiniz.
Her şey oyundaki çoklu GPU yığınlarıyla ilgili
Peki ya güç? Gitmesine ne kadar kaldı?
Orada da endişelenme! Bazı güçler paylaşabileceğimizden daha fazladır
Maliyet ya da ödediğimiz fiyatla ilgili değil
Ama o gün bir oyunu çalıştırmak için ihtiyacımız olan sayı
Ve eğer bu oyun sisteminizden talep ediyorsa
Seçtiğiniz kare hızını elde etmek için daha fazla güce ihtiyacınız olacak
Bu şiir bir Vogon’u kızartırdı. Ancak bir LLM sohbet robotunu eski bir bilgisayarda veya potansiyel olarak bir telefonda çalıştırabilmek gerçekten etkileyici. Belki gelecekteki bir dil modeli daha tatmin edici bir deneyim sunacaktır.