En ünlü büyük dil modellerine (Gpt4, Gemini Ultra, Microsoft Copilot) yalnızca ilgili şirketlerin bulutu aracılığıyla çevrimiçi olarak erişilebildiğini biliyoruz. Ayrıca Web’deki verileri ve kelimeleri okuyabildiğimi ve bu bilgileri, üzerinde eğitim aldıkları veri kümeleriyle bütünleştirerek sorularımıza yanıtlar oluşturabildiğimi de biliyoruz. Ancak çevrimdışı başvurulabilen ve cihazın kendi bilgi işlem gücünü kullanan cihazlarda Llm (Laege Dil Modeli) de bulunmaktadır. RTX ile Sohbet Edin by Nvidia, kendi kişiselleştirilmiş sohbet robotunuzu doğrudan bilgisayarınızda oluşturmanıza olanak tanıyan bir demo uygulamasıdır. Ocak ayında sunduğumuz, Nvidia GeForce RTX 4090 grafik kartıyla donatılmış çok güçlü bir Legion Pro 7i üzerinde test ettik.Nvidia’nın altını çizmek istediği gibi bu, şu anda yalnızca teknolojinin potansiyelini anlamamıza yardımcı olan bir teknoloji demosu. . Teknik olarak RAG (artırılmış kurtarma üretimi), TensorRT-LLM modeli ve en yeni Nvidia kartlarının (30 serisinden itibaren ve en az 8 GB VRAM’e sahip) hızlandırılmasını birleştirir. Özellikle Rag, hakkında çok şey duyacağımız bir yapay zeka tekniğidir çünkü büyük dil modellerinin (LLM’ler) yeniden eğitime gerek kalmadan ek veri kaynaklarından yararlanmasına olanak tanır. Bu, sohbet robotunun üzerinde eğitim aldığı veri kümesinin dışındaki bilgilerle “beslenebileceği” anlamına gelir. Bu nedenle, bilgisayarınızda bulunan pdf, doc/docx ve xml formatındaki dosyalara erişim sağlayarak özelleştirme imkanı vardır.Sınır 500 MB metin dosyası olmalıdır. Ek olarak, bir YouTube oynatma listesinin URL’sini belirtebilirsiniz; uygulama, oynatma listesindeki videoların transkriptlerini yükleyerek kapsanan içeriği sorgulamanıza olanak tanır.
Bu ne için? Teorik olarak ona okuması için teknik kılavuzlar verebilirsiniz, daha sonra sorgulayabileceğiniz yüzlerce sayfalık kılavuzlar. Testim sırasında ona dev bir video oyununun inceleme kılavuzunun belgelerini verdim ve o da doğru cevap verdi. Ancak şunu da söylemek gerekir ki bugüne kadar Gpt4 veya Gemini gibi sohbet odaklı bir chatbot değil. Yanlışlıklar yapar. Üstelik şimdilik sadece İngilizce. Ona İtalyanca bir YouTube videosu verirseniz zorlanır, ancak İngilizce konusunda daha hassastır. Bahsedildiği gibi, yerel bir Yüksek Lisans Programına sahip olmanın nasıl daha fazla güvenlik ve gizliliğe dönüştüğünü gösteren bir teknoloji demosudur, çünkü büyük dil modeli (LLM) bir bilgisayarda yerel olarak çalışır ve kullanıcı tarafından seçilen özelleştirilmiş bir veri kümesiyle birleştirilebilir. Bu nedenle makinede kalan ve üçüncü taraf sunucularda işlenmesi gerekmeyen verilerin kullanımına kıyasla oldukça güvenli bir çözümdür. Ne kadar kusurlu olursa olsun, kesinlikle profesyoneller, sanatçılar ve içerik yaratıcıları için üretken zekanın geleceğinin somut bir parçasıdır. Bugüne kadar Fransız Mistral Ai ve Meta’nın Llama2’si gibi iki açık kaynaklı Llm’nin kapasitesinden yararlanıyor. Ancak Google’ın iki Gemma sohbet robotu da yakında gelecek.
