Salı günü Nvidia, Windows PC’lerde çalışabilen üretken bir AI (genAI) sohbet robotunu duyurdu; bu, şirketlere çalışanların OpenAI gibi sağlayıcılar tarafından barındırılan platformlardaki genAI araçlarına erişmelerini zorunlu kılmak yerine verimliliği artırmak için çalışanların yerel ortamlarında AI’dan yararlanma potansiyeli veriyor.
Grafik yongası üreticisi piyasaya sürüldü RTX ile sohbet edin, artık ücretsiz olarak indirilebilen bir demo uygulaması; temel olarak botun büyük dil modellerinin (LLM’ler) veri kaynaklarını özelleştirerek kullanıcıların bir sohbet robotunu kendi içerikleriyle kişiselleştirmelerine olanak tanır. Nvidia’ya göre bu, kullanıcıların özel verilerini bilgisayarlarında tutarken aynı zamanda bu verilere dayanarak soruların yanıtlarını hızlı bir şekilde aramalarına yardımcı oluyor.
Nvidia ürün yöneticisi Jesse Clayton şunları yazdı: “RTX ile Sohbet yerel olarak Windows RTX bilgisayarlarda ve iş istasyonlarında çalıştığından, sağlanan sonuçlar hızlıdır ve kullanıcının verileri cihazda kalır.” chatbot’un tanıtımını yapan bir blog yazısı. “Bulut tabanlı LLM hizmetlerine güvenmek yerine RTX ile Sohbet, kullanıcıların hassas verileri üçüncü bir tarafla paylaşmaya veya internet bağlantısına gerek duymadan yerel bir bilgisayarda işlemesine olanak tanıyor.”
RTX ile sohbet, kullanıcıların iki açık kaynaklı LLM (Mistral veya Llama 2) arasından seçim yapmasına olanak tanır ve Nvidia GeForce RTX 30 Serisi GPU En az 8 GB video RAM’e sahip, en yeni NVIDIA GPU sürücüleri ile Windows 10 veya 11 üzerinde çalışan veya daha yüksek bir sürüm. Sohbet robotu, GEForce destekli Windows PC’lerde aşağıdakileri kullanarak çalışır: geri almayla artırılmış nesil (RAG), NVIDIA’nın TensorRT-LLM yazılım ve Nvidia RTX hızlandırma.
Clayton, “Kullanıcılar notlarda veya kayıtlı içerikte arama yapmak yerine yalnızca sorgu yazabilir” diye yazdı. “Örneğin, ‘Partnerimin Las Vegas’ta önerdiği restoran hangisiydi?’ diye sorulabilir. ve RTX ile Sohbet, kullanıcının işaret ettiği yerel dosyaları tarayacak ve yanıtı bağlamla birlikte sunacak.”
Yerel, kişiselleştirilmiş yapay zeka
genAI hızla gelişmeye devam ederken, Nvidia kendisini teknolojiye güç verecek ve “demokratikleştirecek” lider donanım ve yazılım tedarikçisi olarak konumlandırıyor. Nvidia CEO’su Jensen Huang, şirketin GPU’larının yapay zekayı buluttan sunuculara ve uç bilişime kadar birçok platformda erişilebilir hale getireceğini söyledi.
RTX ile sohbet, stratejiyle uyumlu görünüyor. Chatbot, metin, pdf, doc/docx ve xml dahil olmak üzere çeşitli dosya formatlarını destekler. Kullanıcılar, uygulamayı dosyaların bulunduğu bir klasöre işaret ederek sohbet robotunun kitaplığına veri ekleyebilir; saniyeler içinde bota eklenecekler.
Kullanıcılar ayrıca bir YouTube oynatma listesinin URL’sini de sağlayabilir ve RTX ile Sohbet, oynatma listesindeki videoların transkripsiyonlarını yükleyerek kişilerin kapsadıkları içeriği sorgulamasına olanak tanır.
Ayrıca RTX ile Sohbet, TensorRT-LLM RAG geliştirici referans projesinden oluşturulduğundan, şu adreste mevcuttur: GitHubNVIDIA’ya göre geliştiriciler platform için kendi RAG tabanlı uygulamalarını geliştirebilirler.
Gizlilik sorununu çözme
Open-AI’nin ChatGPT’si gibi (piyasaya sürülmesinden bu yana bir yıldan fazla bir süre içinde dünya çapında milyonlarca insan tarafından halihazırda kullanılan) genAI tabanlı sohbet robotlarının benimsenmesi artıyor. Menlo Security’nin yaklaşan bir raporuna göre, özellikle Mart 2023’teki OpenAI veri ihlalinin yaklaşık 1,2 milyon abonenin verilerini açığa çıkarmasından sonra, sohbet robotlarıyla ilgili güvenlik ve gizlilik endişeleri de aynı şekilde: “Üretken Yapay Zekanın Güvenlik Duruşu Üzerindeki Devam Eden Etkisi“
Güvenlik firmasının baş ürün müdürü Jamie Lawson, mahremiyet endişelerini azaltırken çalışanların üretkenliğini artırabilecek, yerel olarak çalıştırılan, kişiselleştirilmiş bir sohbet robotu fikrinin kesinlikle çekici olduğunu söyledi.
“Bu, konuşmalarınızı gizli ve güvende tutan, cihazınızda kendi kişisel yapay zeka asistanınızın olması gibi bir şey” dedi. “Verilerin ve yanıtların kullanıcının yerel ortamıyla sınırlı tutulması, hassas bilgilerin dışarıya ifşa edilmesi riskinde önemli bir azalma sağlıyor.”
Ancak işletmelerin, çalışanlarının LLM’lerine girdiği verilere dikkat etmeleri gerekecektir; Rapora göre birçoğu bunu zaten çalışanlara üretken yapay zekanın sorumlu kullanımıyla ilgili politikalar göndererek yapıyor. Menlo Security, yine de çalışanların hassas kurumsal verileri LLM’lere girme konusunda ısrarcı olduklarını ve bu durumun sürekli gözetimi gerekli kıldığını söyledi.
Telif Hakkı © 2024 IDG Communications, Inc.