Nvidia bugün, üreticinin mevcut grafik kartı modellerinin kendi bilgisayarınızda bir AI sohbet robotunu yerel olarak çalıştırmak için kullanılabileceği yeni RTX ile Sohbet aracının ilk ön sürümünü yayınladı.
Ham beta yazılımı
RTX ile sohbet her şeyden önce bir şey sunar: Kendi bilgisayarınızda “Geniş Dil Modeli”ni (LLM) çalıştırmanın ve yerel olarak onun tarafından desteklenen bir sohbet robotunu kullanmanın basit bir yolu. Tüm bilgi işlem çalışmaları İnternet’teki sunucular tarafından değil, kendi bilgisayarınızda gerçekleştirilir. Araç hâlâ deneysel bir araç, ancak halihazırda çok fazla potansiyel görülüyor.
Ön koşul, en az sekiz gigabayt grafik belleğine sahip, GeForce RTX 30 veya RTX 40 serisinden Nvidia grafik kartına sahip güncel bir bilgisayar kullanıyor olmanızdır. Ek olarak, en az 40 gigabayt depolama alanı ve elbette yeterince güçlü bir CPU ve yeterli zaman gereklidir.
Bu bir beta sürüm olduğundan, elbette az çok ciddi hatalar beklenebilir. Nvidia, RTX ile Sohbet’te yerel dosyaları veya web bağlantılarını analiz etmek için çeşitli LLM’leri kullanma yeteneğini entegre etti. Araç, basit bir tarayıcı penceresinde Windows Co-Pilot’unkine benzer bir arayüz sağlar. Kullanıcı, örneğin doğal dilde oluşturulan basit sorgular aracılığıyla etkileşime girer. Şimdilik yalnızca İngilizce desteklenmektedir.
Yerel olarak depolanan içeriğin toplu değerlendirmesi
Analiz edilecek içerik aynı zamanda RTX ile Sohbet’in hızlı ve kolay bir şekilde özet sağlayabileceği ve içerikle ilgili soruları yanıtlayabildiği YouTube videoları gibi çevrimiçi olarak kullanılabilen içerik de olabilir. Aynı şey yerel dosyalarda da mümkündür, ancak aracı tüm dosya klasörleriyle de besleyebilirsiniz.
Dolayısıyla, büyük veri kümelerine dayalı özetlere ihtiyacınız varsa RTX ile Sohbet’i kullanarak bunları kolayca ve fazla çaba harcamadan analiz ettirebilir ve ardından chatbot aracılığıyla içerikle ilgili soruların yanıtlarını alabilirsiniz. Bu şekilde karmaşık veya kapsamlı veri kümeleriyle ilgili sorular hızlı bir şekilde yanıtlanabiliyor ve araç her zaman ilgili referans dosyasına bir bağlantı gönderiyor.
Bu bir ön sürüm olduğu için elbette hala çeşitli inşaatlar ve hatalar var. Komut satırları arka planda açıldığından, analiz edilecek klasörlerde JSON dosyaları oluşturulduğundan ve herhangi bir içerik toplanmadığından, kullanıcı arayüzü düzenli olmaktan çok uzaktır; bu, önceki bir isteğe ilişkin takip soruları soramayacağınız anlamına gelir. Genel olarak araç, en azından teorik olarak, PC’lerde yerel olarak çalıştırılan yapay zeka ile nelerin mümkün olduğunu göstermelidir.
Özet
- Nvidia, Chat with RTX’in ön yayın sürümünü yayınladı
- Araç, bilgisayarda bir AI sohbet robotunun çalıştırılmasını sağlar
- En az 8 GB VRAM’e sahip GeForce RTX 30/40 gerektirir
- En az 40 GB depolama alanı ve güçlü bir CPU gerekir
- Yerel içerik analizi için çeşitli LLM’leri destekler
- Beta sürümünde yalnızca İngilizce desteklenmektedir
- İçeriğin özetleri ve açıklamaları için kullanılabilir