Yerel olarak PC’lerde büyük dil modelleri (LLMS) çalıştırmak dünya çapında giderek daha popüler hale geliyor. Yanıt olarak, AMD kendi LLM uygulamasını tanıtıyor, Gaiaherhangi bir Windows makinesinde yerel LLM’leri çalıştırmak için açık kaynaklı bir proje.
GAIA, Windows PC’lerinde çeşitli LLM modellerini çalıştırmak için tasarlanmıştır ve Ryzen AI işlemcileri (Ryzen AI Max 395+ dahil) ile donatılmış makineler için daha fazla performans optimizasyonlarına sahiptir. Gaia, LLM çıkarım için ONNX Turneyml’den açık kaynaklı Lemonata SDK’sını kullanıyor. Modeller, özetleme ve karmaşık akıl yürütme görevleri dahil olmak üzere GAIA ile farklı amaçlar için uyum sağlayabilir.
İmaj 1 ile ilgili 2
Gaia’nın geri alınan bir nesil ajan veya rag ile çalıştığı iddia ediliyor. RAG bir LLM’yi bir bilgi tabanı ile birleştirerek LLM’nin son kullanıcı için daha doğru ve bağlamsal olarak bilinçli tepkilerle etkileşimli bir AI deneyimi sunmasına izin verir. RAG şu anda dört GAIA ajanı içeriyor: Test ve değerlendirme için tasarlanmış doğrudan model etkileşimleri için tasarlanmış bir ajan olan basit hızlı tamamlama; Chaty, kullanıcı ile etkileşime giren bir LLM’nin chatbot kısmı; Klip, YouTube araması ve Soru -Cevap işlevselliği olan bir aracı; ve sohbet botuna mizahçı bir kişilik katan bir şaka jeneratörü Joker.
AMD’nin yeni açık kaynaklı proje, Lemonata SDK aracılığıyla LLM’ye özgü görevler sağlayarak ve bunlara birden fazla çalışma süresinde hizmet vererek çalışır. Limonata, “GAIA uygulamasıyla iletişim kuran bir LLM web hizmeti açığa çıkarıyor … Openai uyumlu bir REST API ile.” Gaia’nın kendisi, verileri alan ve işleyen AI destekli bir ajan olarak hareket eder. Ayrıca “harici içeriği vektörleştirir (örn. GitHub, YouTube, metin dosyaları) ve yerel bir vektör dizininde saklar.”
Başka bir deyişle, GAIA, LLM bunları işlemeden önce kullanıcı sorgularını geliştirebilir ve yanıt doğruluğunu ve alaka düzeyini artırdığı iddia edilir.
Yeni AI Chatbot’un iki yükleyicisi var: herhangi bir Windows PC’de (bu PC’nin AMD donanımı olsun ya da olmasın) çalışan bir ana yükleyici ve Ryzen AI PC’leri için optimize edilmiş bir “hibrid” yükleyici. İkincisi, GAIA’nın daha iyi performans için bir Ryzen AI CPU’nun Nöral İşleme Birimi (NPU) ve entegre grafiklerde hesaplamaları çalıştırmasını sağlar.
Gaia, LM Studio ve Chatrtx dahil olmak üzere yeni yerel LLM uygulamalarının en son rakibi. Bir LLM’nin yerel olarak çalıştırılması, sistem donanımına bağlı olarak daha fazla güvenlik, daha düşük gecikme ve bazı durumlarda daha iyi performans gibi bulut tabanlı çözümlere göre önemli avantajlara sahiptir. En iyisi, yerel LLM’ler çevrimdışı çalışıyor ve internet bağlantısı gerektirmiyor.
