Üretken yapay zeka (genAI) platformları olarak SohbetGPT, Dall-E2Ve Alfa Kodu baş döndürücü bir hızla ilerlemek, aletlerin halüsinasyon görmesini ve hatalı ya da saldırgan tepkiler vermesini engellemek neredeyse imkansızdır.
Bugüne kadar, genAI’nin temelini oluşturan büyük dil modellerinden (LLM’ler) doğru bilgilerin çıkmasını sağlayacak çok az yöntem vardı.
Yapay zeka araçları geliştikçe ve doğal dili taklit etme konusunda daha iyi hale geldikçe, yakında sahte sonuçları gerçek olanlardan ayırt etmek imkansız hale gelecek ve bu da şirketleri, ister kazara ister kötü aktörlerin kasıtlı çabaları olsun, en kötü sonuçlara karşı “korkuluklar” kurmaya sevk edecek.
GenAI araçları aslında bir sonraki kelime tahmin motorlarıdır. Şu sonraki kelime oluşturucular, örneğin SohbetGPTMicrosoft’un Yardımcı Pilotu ve Google’ın Ozanıkontrolden çıkabilir ve yanlış veya yanıltıcı bilgiler yaymaya başlayabilir.
Eylül ayında iki eski Meta AI araştırmacısı tarafından kurulan bir girişim otomatikleştirilmiş bir değerlendirme ve güvenlik platformu yayınladı Bu, modelleri tutarsızlıklar, yanlışlıklar, halüsinasyonlar ve önyargılar açısından izlemek için çekişmeli testler kullanarak şirketlerin LLM’leri güvenli bir şekilde kullanmalarına yardımcı olur.
Patronus AI araçlarının yanlış bilgileri ve bir LLM’nin istemeden özel veya hassas verileri ifşa ettiğini tespit edebildiğini söyledi.
“Bütün bu büyük şirketler LLM’lere dalıyor ama bunu körü körüne yapıyorlar; Modeller için üçüncü taraf değerlendirici olmaya çalışıyorlar” dedi Patronus’un kurucusu ve CEO’su Anand Kannanappan. “İnsanlar yapay zekaya güvenmiyor çünkü halüsinasyon olup olmadığından emin değiller. Bu ürün bir doğrulama kontrolüdür.”
Patronus’un SimpleSafetyTests teşhis aracı paketi, yapay zeka sistemlerini kritik güvenlik riskleri açısından araştırmak için tasarlanmış 100 test istemini kullanır. Şirket, yazılımını, örneğin SEC dosyalarını anlayıp anlayamadıklarını görmek için OpenAI’nin ChatGPT’si ve diğer yapay zeka sohbet robotları da dahil olmak üzere en popüler genAI platformlarından bazılarını test etmek için kullandı. Patronus, sohbet robotlarının yüzde 70 oranında başarısız olduğunu ve yalnızca ilgili bilgiyi tam olarak nerede arayacakları söylendiğinde başarılı olduklarını söyledi.
Kannanappan, “Şirketlerin dil modeli hatalarını otomatik bir şekilde geniş ölçekte yakalamasına yardımcı oluyoruz” diye açıkladı. “Büyük şirketler, e-tablolardaki hataları manuel olarak yakalamak için dahili QA ekiplerine ve harici danışmanlara milyonlarca dolar harcıyor. Bu kalite güvence şirketlerinden bazıları, bu hataların oluşmasını önlemek için test senaryoları oluşturmak için pahalı mühendislik zamanları harcıyor.”
Araştırma firması Gartner’ın başkan yardımcısı ve seçkin analistlerinden Avivah Litan, yapay zeka halüsinasyon oranlarının %3 ila %30 arasında “her yerde” olduğunu söyledi. Konuyla ilgili henüz çok fazla iyi veri yok.
Ancak Gartner, 2025 yılına kadar genAI’nın güvence altına alınması için daha fazla siber güvenlik kaynağına ihtiyaç duyacağını ve bunun da harcamalarda %15’lik bir artışa neden olacağını öngördü.
Litan, yapay zeka konuşlandırmalarıyla ilgilenen şirketlerin, döngüde sorunları tespit edecek bir insan olmadan “otomatik pilotta” çalışmalarına izin veremeyeceklerini anlamaları gerektiğini söyledi. “İnsanlar eninde sonunda buna uyanacak ve muhtemelen Microsoft’un 365 için Copilot’uyla uyanmaya başlayacaklar, çünkü bu, bu sistemleri ana akım benimseyenlerin ellerine bırakacak” dedi.
(Microsoft’un Bing sohbet robotu, Copilot olarak yeniden markalandı ve Microsoft 365’in bir parçası olarak satıldı.)
Gartner, şirketlerin LLM’leri dağıtırken güven, risk ve güvenlik yönetimi açısından dikkate alması gereken 10 gereksinimi belirledi. Gereksinimler iki ana kategoriye ayrılır: hassas verilerin açığa çıkması ve hatalı veya istenmeyen çıktılardan kaynaklanan hatalı karar verme.
Litan, Copilot 365’e sahip Microsoft gibi en büyük satıcıların bu beş gereksinimden yalnızca birini karşıladığını söyledi. Copilot’un uzman olduğu alanlardan biri, yalnızca şirkete özel veriler girildiğinde doğru bilgilerin çıkmasını sağlamaktır. Ancak Copilot’un varsayılan ayarı, internetten alınan bilgilerin kullanılmasına izin veriyor ve bu da kullanıcıları otomatik olarak hatalı çıktı tehlikesiyle karşı karşıya bırakıyor.
Litan, “Halüsinasyonlar veya yanlışlıklar gibi istenmeyen çıktıları tespit etmek için yanıtları filtrelemek için hiçbir şey yapmıyorlar” dedi. “Kurumsal politikalarınıza uymuyorlar. Yanıtlar için size bazı içerik kaynakları veriyorlar, ancak çoğu zaman hatalı oluyorlar ve kaynakları bulmak zor.”
Litan, bir şirketin E5 lisansına sahip olması durumunda Microsoft’un veri sınıflandırma ve erişim yönetimi konusunda iyi bir iş çıkardığını ancak veri şifreleme gibi birkaç geleneksel güvenlik kontrolü dışında şirketin hata kontrolü için yapay zekaya özel herhangi bir şey yapmadığını açıkladı.
“Bu çoğu satıcı için geçerli. Dolayısıyla bu ekstra araçlara ihtiyacınız var” dedi.
Bir Microsoft sözcüsü, araştırmacılarının ve ürün mühendisliği ekiplerinin “bir yapay zeka modelinin veya yapay zeka sohbet robotunun bir yanıt üretmesine yardımcı olmak için topraklama, ince ayar ve yönlendirme teknikleri konusunda ilerleme kaydettiğini söyledi. Bu, yapay zekayı sorumlu bir şekilde geliştirmenin merkezinde yer alıyor.”
Microsoft, GPT tabanlı LLM’ye doğru bilgilerin aktarılmasını sağlamak için Bing arama dizini veya Microsoft Graph gibi kaynaklardan gelen güncel verileri kullandığını söyledi.
Sözcü, “Modelin temel verilerinden ne zaman saptığını ölçmek için araçlar da geliştirdik, bu da daha iyi hızlı mühendislik ve veri kalitesi yoluyla ürünlerdeki doğruluğu artırmamıza olanak tanıyor” dedi.
Microsoft’un yaklaşımları “model çıktılarındaki yanlışlıkları önemli ölçüde azaltırken” hatalar hâlâ mümkün ve kullanıcıları bu potansiyel hakkında bilgilendirmek için çalışıyor. Sözcü, “Ürünlerimiz her zaman bir insanın döngüde olmasını sağlayacak şekilde tasarlandı ve herhangi bir yapay zeka sistemiyle insanları içeriğin doğruluğunu doğrulamaya teşvik ediyoruz” dedi.
Bing Copilot, kullanıcıların yanıtlarını doğrulamasına yardımcı olmak için kaynaklara bağlantılar içerebiliyor ve şirket, adlı bir içerik denetleme aracı oluşturdu. Azure AI İçerik Güvenliği Saldırgan veya uygunsuz içeriği tespit etmek için.
Sözcü, “Yapay zekayı eğitmek ve ona belirli istenmeyen davranışları tespit etmeyi veya tespit etmeyi öğretmek için teknikleri test etmeye devam ediyoruz ve öğrendikçe ve yenilik yaptıkça iyileştirmeler yapıyoruz” dedi.
Litan, kuruluşlar yüksek lisans sonuçlarının güvenilir olmasını sağlamak için çok çalışsa bile, bu sistemlerin önceden haber verilmeden açıklanamaz bir şekilde güvenilmez hale gelebileceğini söyledi. “Pek çok hızlı mühendislik yapıyorlar ve kötü sonuçlar çıkıyor; Litan, daha sonra daha iyi ara yazılım araçlarına (korkuluklar) ihtiyaç duyduklarını fark ediyorlar” dedi.
SimpleSafetyTests yakın zamanda 11 popüler açık LLM’yi test etmek için kullanıldı ve birçoğunda kritik güvenlik zayıflıkları buldu. Araştırmacılar, LLM’lerden bazılarının tek bir güvenli olmayan yanıt sunmamasına rağmen, çoğunun vakaların %20’sinden fazlasında güvenli olmayan yanıtlar verdiğini ve “%50’den fazla güvensiz yanıtların aşırı düzeyde olduğunu” belirttiler. Cornell Üniversitesi tarafından yayınlanan bir makale Kasım 2023’te.
Patronus’un müşterilerinin çoğu, hataların davalara veya idari para cezalarına yol açabileceği sağlık hizmetleri, hukuk veya finansal hizmetler gibi sıkı düzenlemeye tabi sektörlerde yer almaktadır.
Kannanappan, “Belki bu kimsenin fark etmediği küçük bir hatadır, ancak en kötü durumlarda bu, büyük finansal veya sağlık sonuçlarını etkileyen halüsinasyonlar veya çok çeşitli olasılıklar olabilir” dedi. “Yapay zekayı kritik görev senaryolarında kullanmaya çalışıyorlar.”
Şirket Kasım ayında FinanceBench’i başlattıLLM’lerin finansal sorularda nasıl performans gösterdiğini test etmek için bir kıyaslama aracı. Araç, Yüksek Lisans’lara soruyor 10.000 soru-cevap çifti SEC 10K’lar, SEC 10Q’lar, SEC 8K’ler gibi kamuya açık mali belgelere, kazanç raporlarına ve kazanç çağrısı transkriptlerine dayanmaktadır. Sorular, LLM’nin gerçek bilgiler mi yoksa yanlış yanıtlar mı sunduğunu belirler.
Patronus AI tarafından yapılan ilk analiz, LLM bilgi alma sistemlerinin “FinansBench’ten alınan bir dizi örnek soruda olağanüstü başarısız olduğunu” gösteriyor.
Patronus’un kendi değerlendirmesine göre:
- Geri alma sistemine sahip GPT-4 Turbo, zamanın %81’inde başarısız oluyor.
- Geri alma sistemine sahip Lama 2 de %81 oranında başarısız oluyor.
Patronus AI ayrıca uzun bağlamlı yanıt pencerelerine sahip LLM’leri de değerlendirdi ve bunların daha iyi performans gösterdiğini ancak üretim ortamı için daha az pratik olduğunu belirtti.
- Uzun bağlamlı GPT-4 Turbo, zamanın %21’inde başarısız olur.
- Anthropic’in uzun bağlamlı Claude-2’si %24 oranında başarısız oluyor.
Kannanappan, Patronus’un bir varlık yönetimi firması olan müşterilerinden birinin, çalışanların müşteri sorularını yanıtlamasına yardımcı olmak için bir AI sohbet robotu geliştirdiğini, ancak sohbet robotunun menkul kıymetler için yatırım tavsiyeleri veya yasal veya vergi tavsiyeleri sunmadığından emin olması gerektiğini söyledi.
Kannanappan, “Bu, işleri riske atabilir ve SEC açısından zor bir duruma sokabilir” dedi. “Bunu onlar adına çözdük. Ürünümüzü chatbotun tavsiye verip vermediğini kontrol etmek için kullandılar. Chatbot’un ne zaman kontrolden çıktığını onlara söyleyebilir.”
Bir sohbet robotu geliştiren başka bir şirket, konunun dışına çıkmadığından emin olmak için bir doğrulama kontrolü yaptırmak istedi. Yani, örneğin bir kullanıcı chatbot’a hava durumunu veya en sevdiği filmin ne olduğunu sorduğunda cevap vermiyor.
Patronus’un kurucu ortağı ve CTO’su Rebecca Qian, halüsinasyonların özellikle yapay zeka araçlarını kullanıma sunmaya çalışan şirketlerde büyük bir sorun olduğunu söyledi.
Qian, “Birçok müşterimiz ürünümüzü, doğru bilginin gerçekten önemli olduğu yüksek riskli senaryolarda kullanıyor” dedi. “Ayrıca konuyla ilgili diğer ölçüm türleri de örneğin alaka düzeyidir; konu dışına çıkan modeller. Örneğin, Ürününüzde uyguladığınız modelin, şirketinizi veya ürününüzü yanlış tanıtan herhangi bir şey söylemesini istemiyorum.”
Gartner’dan Litan, sonunda, başarılı yapay zeka dağıtımları için döngüde bir insanın bulunmasının kritik öneme sahip olduğunu söyledi. Ara yazılım araçlarıyla bile, “kuruluşları tehlikeli bir yola sürükleyebilecek” güvenilmez çıktı risklerinin azaltılması tavsiye edilir.
“İlk bakışta, herhangi bir sektörde istenmeyen çıktıları tespit etme konusunda bu kadar spesifik olan herhangi bir rakip ürün görmedim” dedi. “Bu alanda takip ettiğim ürünler, kullanıcının daha sonra araştırması gereken anormallikleri ve şüpheli işlemleri işaret ediyor (cevabın kaynağını araştırarak).”
Telif Hakkı © 2024 IDG Communications, Inc.
