NVIDIA yakın zamanda hızlandırılmış Firma artık Google’ın son teknoloji ürünü Gemma modelini geliştirirken, AI destekli RTX GPU’larıyla endüstri standardı Yüksek Lisans’ların optimize edilmesindeki gelişmeler.
NVIDIA, Yapay Zeka ve RTX GPU’larıyla Uygun Maliyetli Performans Sağlamak İçin TensorRT-LLM ve Çoklu Yazılım Kaynaklarını Geliştiriyor
[Press Release]: NVIDIA, Google ile işbirliği içinde, Google’ın her yerde çalıştırılabilen, maliyetleri azaltan ve hızlandıran son teknoloji ürünü yeni hafif 2 milyar ve 7 milyar parametreli açık dil modelleri olan Gemma için tüm NVIDIA AI platformlarında optimizasyonları bugün başlattı. Etki alanına özgü kullanım durumları için yenilikçi çalışma.
Şirketlerin ekipleri, Gemini modellerini oluşturmak için kullanılan aynı araştırma ve teknolojiden yola çıkılarak oluşturulan Gemma’nın performansını, NVIDIA üzerinde çalışırken büyük dil modeli çıkarımını optimize etmeye yönelik açık kaynaklı bir kitaplık olan NVIDIA TensorRT-LLM ile hızlandırmak için yakın bir şekilde birlikte çalıştı. Veri merkezindeki, buluttaki ve NVIDIA RTX GPU’lu PC’lerdeki GPU’lar.
Bu, geliştiricilerin dünya çapında yüksek performanslı AI bilgisayarlarda bulunan 100 milyondan fazla NVIDIA RTX GPU’dan oluşan kurulu tabanı hedeflemesine olanak tanır.
Geliştiriciler ayrıca Gemma’yı, Google Cloud’un H100 Tensor Core GPU’yu temel alan A3 örnekleri ve yakında Google’ın bunu dağıtacağı, saniyede 4,8 terabayt hızında 141 GB HBM3e belleğe sahip NVIDIA H200 Tensor Core GPU’ları da dahil olmak üzere buluttaki NVIDIA GPU’larda çalıştırabilirler. yıl.
Kurumsal geliştiriciler ayrıca Gemma’da ince ayar yapmak ve optimize edilmiş modeli üretim uygulamalarında dağıtmak için NeMo çerçeveli NVIDIA AI Enterprise ve TensorRT-LLM dahil olmak üzere NVIDIA’nın zengin araç ekosisteminden yararlanabilirler.
Gemma RTX ile Sohbete Geliyor
Yakın zamanda Gemma için destek eklenecek olan, alma destekli nesil ve TensorRT-LLM yazılımını kullanan bir NVIDIA teknoloji demosu olan Chat with RTX ile kullanıcılara yerel, RTX destekli Windows PC’lerinde üretken yapay zeka özellikleri kazandıracak. RTX ile sohbet, kullanıcıların bir bilgisayardaki yerel dosyaları büyük bir dil modeline kolayca bağlayarak bir sohbet robotunu kendi verileriyle kişiselleştirmesine olanak tanır.
Model yerel olarak çalıştığı için hızlı sonuç verir ve kullanıcı verileri cihazda kalır. RTX ile Sohbet, bulut tabanlı LLM hizmetlerine güvenmek yerine, kullanıcıların hassas verileri üçüncü bir tarafla paylaşmaya veya internet bağlantısına gerek duymadan yerel bir bilgisayarda işlemesine olanak tanır.
[Journalist Note]: Google Gemma’nın optimizasyonu oldukça heyecan verici bir faktör içeriyor; NVIDIA, modeli tüketici RTX GPU’ları için de daha optimize hale getirmek amacıyla geliştirmeler sunmuş. Bu, geliştiricilerin ileri teknolojiye ihtiyaç duymadan çalışmasını sağlama yönünde mükemmel bir adım. özel AI GPU’lar gibi ekipmanlar.
Geliştiriciler için yeterli kitaplık ve kaynakların bulunmaması nedeniyle üreticilerin “geliştirme” tarafını belirli GPU’lara kaydırdıkları algılandığından, bu husus modern zamanlarda tartışıldı, ancak NVIDIA herkesi bu konuya dahil etmeye çalışıyor gibi görünüyor bu çok takdir edilen bir adımdır.
Haber kaynağı: NVIDIA Blogu