Nvidia, bir bilgisayarda yerel olarak çalışan ve İnternet’e bağlanması gerekmeyen, RTX ile Sohbet adlı, yapay zeka (AI) destekli bir sohbet robotu yayınladı. GPU üreticisi, yapay zeka ürünlerine ve hizmetlerine güç veren gelişmiş yapay zeka çipleriyle, üretken yapay zeka patlamasından bu yana yapay zeka sektörünün ön saflarında yer alıyor. Nvidia’nın ayrıca işletmeler için uçtan uca çözümler sunan bir yapay zeka platformu da bulunuyor. Şirket artık kendi sohbet robotlarını oluşturuyor ve ilk teklifi RTX ile Sohbet’tir. Nvidia chatbot şu anda ücretsiz olarak sunulan bir demo uygulamasıdır.
Nvidia buna kişiselleştirilmiş yapay zeka sohbet robotu adını veriyor piyasaya sürülmüş araç 13 Şubat Salı günü. Yazılımı indirmek isteyen kullanıcıların, minimum 8 GB VRAM’e sahip RTX 30 veya 40 serisi GPU üzerinde çalışan bir Windows PC’ye veya iş istasyonuna ihtiyacı olacak. Uygulama indirildikten sonra birkaç tıklamayla kurulabilir ve hemen kullanılabilir.
Yerel bir chatbot olduğu için RTX ile Chat’in dış dünyaya dair herhangi bir bilgisi bulunmuyor. Ancak kullanıcılar bunu belgeler, dosyalar ve daha fazlası gibi kendi kişisel verileriyle besleyebilir ve bunlar üzerinde sorgu çalıştıracak şekilde özelleştirebilir. Böyle bir kullanım durumu, onu büyük miktarda işle ilgili belgeyle beslemek ve ardından manuel olarak bulunması saatler alabilecek belirli bir soruyu özetlemesini, analiz etmesini veya yanıtlamasını istemek olabilir. Benzer şekilde, birden fazla çalışma ve makaleye göz atmak etkili bir araştırma aracı olabilir. Metin, pdf, doc/docx ve xml dosya formatlarını destekler. Ayrıca AI bot, YouTube video ve oynatma listesi URL’lerini de kabul eder ve videoların transkripsiyonlarını kullanarak soruları yanıtlayabilir veya videoyu özetleyebilir. Bu işlevsellik için internet erişimi gerekecektir.
Demo videosuna göre Chat with RTX, yeni indirildiğinde büyük dil modelinin (LLM) bilgilerini içermeyen Python örneğiyle birlikte bir Web sunucusudur. Kullanıcılar onu eğitmek için Mistral veya Llama 2 modelleri arasından seçim yapabilir ve ardından sorguları çalıştırmak için kendi verilerini kullanabilir. Şirket, chatbotun işlevselliği için erişim artırılmış nesil (RAG), TensorRT-LLM ve RTX hızlandırma gibi açık kaynaklı projelerden yararlandığını belirtiyor.
Bir göre rapor The Verge’e göre uygulama yaklaşık 40 GB boyutunda ve Python örneği 3 GB’a kadar RAM kaplayabiliyor. Yayının işaret ettiği özel sorunlardan biri, chatbot’un indekslemesini istediğiniz klasörlerin içinde JSON dosyaları oluşturmasıdır. Bu nedenle, tüm belge klasörünüzü veya büyük bir ana klasörü beslemek zahmetli olabilir.