NVIDIA yapay zeka konusunda pek çok ilginç şey yapıyor ancak tüketiciye dönük işi hâlâ ağırlıklı olarak oyunlara odaklanıyor. Artık bilgisayarınızda yerel olarak çalışan bir AI sohbet robotu olan RTX ile Sohbet’in tanıtımıyla her iki kategoriyi bir araya getirmeyi hedefliyor. Yazılım, NVIDIA’nın oyun GPU’larında yerleşik olarak bulunan Tensor-RT çekirdeklerinden yararlanıyor (bunu kullanmak için bir RTX 30 veya 40 kartına ihtiyacınız olacak) ve kendi verileriniz hakkında yararlı bilgiler sağlamak için büyük dil modellerini (LLM) kullanıyor.
Temel fark, ChatGPT ve Copilot’tan farklı olarak RTX ile Sohbet’in tamamen bilgisayarınızda çalışması ve bir bulut sunucusuna herhangi bir veri göndermemesidir. Siz ona ilgili veri kümesini beslersiniz ve o da içerdiği bilgilere göre yanıtlar sunar. Bir diğer harika özellik ise YouTube bağlantılarını paylaşabilmeniz ve RTX ile Sohbet’in videodaki içeriği yorumlayıp soruları yanıtlayabilmenizdir; bu, altyazı dosyasındaki verilerden çekilerek yapılır.
RTX ile sohbet ücretsiz olarak indirilebilirve yükleyici 35 GB’tır. Birkaç önkoşul vardır; en az 8 GB VRAM’e sahip bir RTX 30 veya 40 serisi karta ve en az 16 GB RAM’e sahip bir makineye ihtiyacınız olacak. NVIDIA, Windows 11’i önerirken, yardımcı programı Windows 10 makinemde çalıştırırken hiçbir sorun yaşamadım. Şu anda RTX ile Sohbet yalnızca Windows’ta kullanılabiliyor ve Linux’a ne zaman geleceğine dair bir bilgi yok.
İki dil modelini (Mistral 7B ve LLaMA 2) kurmak bir saat sürüyor ve 70 GB’ın biraz altında yer kaplıyor. Kurulduktan sonra aktif bir oturumla birlikte bir komut istemi penceresi açılır ve tarayıcı tabanlı bir arayüz aracılığıyla sorgular sorabilirsiniz.
NVIDIA, RTX ile Sohbet’i test etmek için varsayılan bir veri kümesi sağlar, ancak yardımcı programı birkaç yüz basın bülteni, inceleme kılavuzu ve metin (.txt) biçimindeki tüm makalelerimin bulunduğu İndirilenler klasörüme yönlendirdim. Sohbet robotu PDF’leri, Word belgelerini ve düz metinleri ayrıştırabilir ve daha önce de belirtildiği gibi YouTube videolarını bağlayabilir ve sorgu sorabilirsiniz.
RTX ile sohbet, ayrıntıları özetlemek konusunda harika bir iş çıkarıyor ve bir telefonun lansman tarihi gibi hedefe yönelik sorularda gerçekten iyi çalışıyor. Şu anda takip soruları sormaya yönelik bir hüküm yok, ancak bunun sonraki sürümlerde değişmesi muhtemeldir.
İlgili bilgileri ortaya çıkarmakta iyi bir iş çıkarsa da, birkaç sorunu da var. Chatbot’a hangi sürücülerin kullanıldığını sordum. Android Central’da incelediğim Fiio FX15 IEM. FX15, üç farklı sürücünün bir kombinasyonunu kullanıyor ve sohbet robotu sorguyu doğru yanıtlarken, bu bilgilerin bulunduğu Fiio inceleme kılavuzu yerine Intel Management Engine kurulum belgesine bağlantı verdi.
Benzer şekilde, chatbot’a Corsair’in MP600 mini’sinin TLC depolama alanı kullanıp kullanmadığını sordum ve yalnızca ikinci seferde doğru yanıtı verebildi (ve evet, sürücüde TLC depolama alanı var).
RTX ile sohbet hâlâ beta aşamasındadır ancak burada çok fazla potansiyel olduğu açıktır. Bir yapay zeka sohbet robotunu yerel olarak çalıştırabilme yeteneği büyük önem taşıyor ve sağladığınız verilerden bilgilerin ortaya çıkarılmasında harika bir iş çıkarıyor. Kendi kullanım durumuma gelince, basın bültenlerini özetleyebilen ve yararlı ayrıntıları vurgulayabilen yerel bir sohbet robotunun olması harika ve bundan sonra RTX ile Sohbet’i kullanacağım şey de bu.
NVIDIA’nın sunduğu özellikler ilginizi çekiyorsa RTX ile Sohbet’i kendi makinenize kolayca yükleyebilir ve deneyebilirsiniz; ChatGPT kadar güçlü olmayabilir, ancak kendi verilerinizi kullanma yeteneği iyi bir farklılaştırıcıdır.
NVIDIA GeForce RTX 4070 SÜPER
NVIDIA GPU’nuz yoksa RTX 4070 SUPER harika bir başlangıç noktasıdır. NVIDIA portföyündeki en iyi değeri sunar, 12 GB video belleğine sahiptir ve 1440p oyunlarda inanılmaz derecede iyi destek sağlar.