Bilgisayar mühendisi olmanıza gerek kalmadan bilgisayarınızda bir AI modelini kullanabilirsiniz. İhtiyacınız olan tek şey, yerel kullanım için mevcut modellerle biraz “oynamaya” başlamak için çok yavaş olmayan bir bilgisayardır. Ve en iyilerinden biri de Meta tarafından ücretsiz olarak piyasaya sürülen Llama 3.
Bunu, kullanımı oldukça kolay, istemlerle tipik bir sohbet robotunun grafik arayüzünü simüle edecek kadar ücretsiz bir program olan Lm Studio’da başlatabiliriz.
Bilgisayarınızda neden AI kullanıyorsunuz?
Chatgpt’ten bu yana chatbot’lara alıştığımız gibi, bulutta kullanmak yerine bilgisayarınıza bir model koymak, teknolojiye tutkumuz ve inek tavrımız varsa, yaşamaya değer bir deneyimdir. Ve eğer bu modellerin nasıl çalıştığını ve hangilerini benimsememiz gerektiğini biraz daha iyi anlamak istiyorsak. Antonio Cisternino, BT şöyle açıklıyor: “Bilgisayarımızda güvende kalmasını istediğimiz bilgi istemine kişisel verileri, endüstriyel sırları veya diğer bilgileri eklemek istiyorsak, bu bilgilerin hizmeti sunan şirkete ulaşmasını sağlamak istiyorsak bu aynı zamanda zorunlu bir yoldur”, diye açıklıyor Pisa Üniversitesi’nde yönetici ve yapay zekaya dayalı açık Sybilla çerçevesinin yaratıcısı https://www.ilsole24ore.com/art/ia-l-universita-pisa-lancia-sibylla-l-sistenza-online-non-conosce -piu-sınır -AFeGgPq.
Hangi Lama 3’ü seçmelisiniz
Temel olarak Llama’nın, 8B ve 70B parametreleriyle önceden eğitilmiş ve talimatlara göre kalibre edilmiş büyük dil modelleri (LLM) olan bir yapay zeka ailesi olduğunu bilmeniz gerekir. Lm Studio’da, mevcut talimatların sayısına bağlı olarak alt alternatiflere ayrılan bu iki sürümü buluyoruz. Bu modeller, 15 trilyondan fazla veri tokenı üzerinde eğitildi; bu, Llama 2 modelleri için kullanılandan yedi kat daha büyük bir eğitim veri seti, dört kat daha fazla kod içeren ve bağlam uzunluğunu (yani, ondan vazgeçebileceğimiz bilgi hafızası) destekleyen bir eğitim veri seti. Resmi olarak Llama 3 8B, metin sentezinde, metin sınıflandırmasında, metinde duygu analizinde ve dil çevirisinde iyidir. Llama 3 70B, yukarıdakilere ek olarak içerik oluşturma, konuşmaya dayalı yapay zeka, dil anlama, arama geliştirme ve kurumsal uygulamalar için tasarlanmıştır. Metin sentezi ve doğruluğu, metin sınıflandırma ve nüans, duygu analizi ve nüans akıl yürütme, dil modelleme, diyalog sistemleri, kod oluşturma ve talimatları takip etme konularında 7B’den daha iyidir. Meta ayrıca 400B parametresinden daha büyük diğer Llama 3 modellerini de eğitiyor. Bu 400B modelleri çoklu mod, çoklu dil desteği ve çok daha uzun içerik penceresi gibi yeni özelliklere sahip olacak. Bu modeller piyasaya sürüldükten sonra içerik oluşturma, konuşmaya dayalı yapay zeka, dil anlama, Ar-Ge ve kurumsal uygulamalar için ideal olacak.
Lm Studio’da Llama 3 nasıl kullanılır?
Bilgisayarınızda Llama 3’ü kullanmak da mantıklı çünkü bu model henüz İtalya’da resmi Meta kanalı www.meta.ai aracılığıyla mevcut değil. ABD’de zaten Facebook ve Whatsapp gibi çeşitli Meta ürünlerine entegre edilmiştir. Yerel kullanım için çeşitli yollar vardır ve bir programcı Ollama komut satırı yazılımını tercih etme eğiliminde olacaktır, ancak söylediğimiz gibi Lm Studio’nun daha tanıdık bir arayüzü var ‘. ortak kullanıcı.Kurulumdan sonra Ana sayfa çubuğuna veya aramaya (sol menüdeki büyüteç) Llama 3 yazıyoruz. Burada aralarından seçim yapabileceğiniz geniş bir dosya yelpazesi göreceksiniz. Kendimizi bu farklı versiyonlar (Llama veya diğer modellerin) arasında yönlendirmek için, modellerin sınırlı kaynaklara sahip platformlarda çalıştırılmasına izin veren bir dizi teknik olan “kuantizasyon” kavramını bilmemiz gerekir. Tıpkı bilgisayarımız ve hatta akıllı telefonumuz gibi. Bunu bir tür müzik sıkıştırma düzeyi olarak düşünelim. Ne kadar yüksek olursa o modeli takmak ve kullanmak o kadar kolay olur. Ancak kalite düşer. “En iyi” niceleme düzeyinin seçilmesi genellikle dosya boyutu, kalite ve performans arasında çeşitli ödünleşimleri gerektirir. Daha yüksek niceleme “bit sayıları” (Q4 bitleri veya daha fazlası) tipik olarak daha yüksek kaliteyi korurken, daha düşük seviyeler modeli daha da sıkıştırarak önemli kalite kaybına yol açabilir. Lm Studio’nun önerdiği gibi, “Donanımınızın yetenekleriyle uyumlu ve işletmenizin performans ihtiyaçlarını karşılayan bir niceleme düzeyi seçin. Hangi seçeneği seçeceğinizden emin değilseniz, birkaç farklı seçeneği denemenizi ve kendi değerlendirmenizi yapmanızı öneririz”. Uyumluluk tahmini seçeneği etkinleştirildiğinde yalnızca donanımımızla uyumlu dosyaları görmeliyiz. Uyumlu seçenekler arasında en yüksek kuantizasyonda (en az 4 Q) 70 B ve 7 B’yi kurmaya çalışalım. Daha sonra soldaki buluta (sohbet) tıklıyoruz ve üstteki açılır menüden yüklenecek modeli seçiyoruz. Ardından ücretsiz Chatgpt’te (versiyon 3.5) yaptığımız gibi sorular ve istekler sormaya başlıyoruz. . 7 B’nin bilgisinin Mart 2023’te, 70 B’nin bilgisinin ise Aralık 2023’te bittiğini hesaba katalım; ve yerel olarak kullanıldığında internet bağlantısı yok Giriş seviyesi bir oyun bilgisayarı kullandık (500-600 Euro) ve 7 B modeli bile ücretsiz Chatgpt’ten (çok) daha yavaş ve aynı zamanda biraz daha az doğru ve ayrıntılı görünüyordu. genel bilgilerin yanıtları veya metin sentezi talepleri. Cisternino, “Gtp 3.5 daha gelişmiş ve her durumda Chatgpt daha iyi sonuçlar için istemimizi optimize ediyor” diye açıklıyor. Ancak PC’nizde AI kullanmanın avantajları vardır ve herkesin bildiği “olağan” Chatgpt ile karşılaştırılamayacak bir deneyim (ve bilgi) sağlar.
