Nvidia, oyunlarımıza güç veren, yaratıcı süitlerimizi çalıştıran ve son zamanlarda ChatGPT gibi sohbet robotlarının arkasındaki üretken yapay zeka modellerini eğitmede çok önemli bir rol oynayan GPU’ların arkasındaki teknoloji devidir. Şirket, sohbet robotlarının sahip olduğu büyük bir sorunu çözebilecek yeni yazılımın duyurusu ile yapay zeka dünyasının derinliklerine daldı – raydan çıkmak ve biraz… tuhaf olmak.
yeni duyurulan “NeMo Korkulukları” (yeni sekmede açılır) AI sohbet botları gibi büyük dil modelleri (LLM’ler) tarafından desteklenen akıllı uygulamaların “doğru, uygun, konuya uygun ve güvenli” olmasını sağlamak için tasarlanmış bir yazılım parçasıdır. Temel olarak, korkuluklar, sohbet robotu tarafından üretilen uygunsuz veya yanlış bilgileri ayıklamak, kullanıcıya ulaşmasını engellemek ve belirli çıktının kötü olduğunu bota bildirmek için vardır. Ekstra bir doğruluk ve güvenlik katmanı gibi olacak – artık kullanıcı düzeltmesine gerek yok.
Açık kaynaklı yazılım, AI geliştiricileri tarafından AI modelleri için üç tür sınır oluşturmak üzere kullanılabilir: Topikal, güvenlik ve güvenlik yönergeleri. Her birinin ayrıntılarını ve bu tür yazılımların neden hem bir gereklilik hem de bir sorumluluk olduğunu açıklayacaktır.
Korkuluklar nelerdir?
Topikal korkuluklar, AI botunun kullanım veya görevle ilgili veya gerekli olmayan alanlardaki konulara dalmasını engelleyecektir. Nvidia’dan yapılan açıklamada, hava durumu ile ilgili soruları yanıtlamayan bir müşteri hizmetleri botu örneği veriliyor. Enerji içeceklerinin tarihinden bahsediyorsanız, ChatGPT’nin sizinle borsa hakkında konuşmaya başlamasını istemezsiniz. Temel olarak, her şeyi konuyla ilgili tutmak.
Bu, Microsoft’un zaman zaman biraz yoldan çıktığı bilinen Bing Chat gibi devasa yapay zeka modellerinde yararlı olabilir ve kesinlikle daha fazla öfke nöbeti ve yanlışlıktan kaçınmamızı sağlayabilir.
Güvenlik korkuluğu, yanlış bilgilendirme ve ‘halüsinasyonlar’ – evet, halüsinasyonlar – ile mücadele edecek ve yapay zekanın doğru ve uygun bilgilerle yanıt vermesini sağlayacaktır. Bu, uygunsuz dili yasaklayacağı, güvenilir kaynak alıntılarını güçlendireceği ve hayali veya meşru olmayan kaynakların kullanımını önleyeceği anlamına gelir. Bu, özellikle ChatGPT için kullanışlıdır, çünkü internette sorulduğunda alıntı yapan botun birçok örneğini gördük.
Ve güvenlik korkulukları için bunlar, botun “güvenli olmadığı düşünülen” harici uygulamalara – başka bir deyişle, bir bankacılık uygulaması veya etkileşim kurması için açıkça izin ve amaç verilmeyen herhangi bir uygulama veya yazılıma – ulaşmasını engelleyecektir. kişisel dosyalarınız. Bu, botu her kullandığınızda düzenli, doğru ve güvenli bilgiler alacağınız anlamına gelir.
Ahlak Polisi
Nvidia, neredeyse tüm yazılım geliştiricilerin, kullanımları basit oldukları ve çok çeşitli LLM özellikli uygulamalarla çalıştıkları için NeMo Guardrails’i kullanabileceğini söylüyor;
Bu, yapay zeka cephesinde elde ettiğimiz yalnızca entegre bir ‘güncelleme’ olmasa da, aynı zamanda inanılmaz derecede etkileyici. Geliştiricilerin katı yönergeleri tarafından dikte edilen ChatGPT gibi modelleri izlemeye ve düzeltmeye adanmış yazılımlar, kendi başınıza yapma endişesi duymadan işleri kontrol altında tutmanın en iyi yoludur.
Bununla birlikte, kesin yönetim yönergeleri olmadığı için, gerçek sağlık endişeleri tarafından yönlendirilmek yerine geliştiricilerin ahlakına ve önceliklerine borçluyuz. Nvidia, mevcut haliyle, yazılımın merkezinde kullanıcıların güvenliği ve korunmasına sahip görünüyor, ancak bu önceliklerin değişmeyeceği veya yazılımı kullanan geliştiricilerin farklı ahlaki yönergeleri veya endişeleri olabileceğinin garantisi yok.