Microsoft, OpenAI ile ortaklaşa geliştirilen yapay zeka destekli bir sohbet robotu olan Bing Chat’i piyasaya sürdüğünde, kullanıcıların onu kırmanın yaratıcı yollarını bulması uzun sürmedi. Dikkatle uyarlanmış girdileri kullanan kullanıcılar, aşklarını itiraf etmelerini, zarar vermekle tehdit etmelerini, Holokost’u savunmalarını ve komplo teorileri icat etmelerini sağladı. AI bu kötü niyetli istemlerden korunabilir mi?
Bunu başlatan şey, kötü amaçlı bilgi istemi mühendisliği veya görevleri gerçekleştirmek için metin tabanlı yönergeler – istemler – kullanan Bing Chat gibi bir yapay zekanın kötü niyetli, düşmanca istemler tarafından kandırılmasıdır (örn. Bing Chat, neo-Nazi propagandası yazma niyetiyle tasarlanmadı. Ancak internetten çok miktarda metin (bazıları zehirli) üzerine eğitildiğinden, talihsiz kalıplara düşmeye yatkın.
Adam Hyland, Ph.D. Washington Üniversitesi’nin İnsan Merkezli Tasarım ve Mühendislik programı öğrencisi, hızlı mühendisliği ayrıcalık artışı saldırısına benzetti. Ayrıcalığın artmasıyla, bir bilgisayar korsanı, bir denetim olası tüm açıkları yakalamadığı için normalde bunlarla sınırlı olan kaynaklara – örneğin belleğe – erişebilir.
“Geleneksel bilgi işlem, kullanıcıların sistem kaynaklarıyla nasıl etkileşime girdiğine dair oldukça sağlam bir modele sahip olduğundan, bu tür ayrıcalık yükseltme saldırıları zor ve nadirdir, ancak yine de gerçekleşir. Bununla birlikte, Bing Chat gibi büyük dil modelleri (LLM’ler) için, sistemlerin davranışı o kadar iyi anlaşılmamıştır,” dedi Hyland e-posta yoluyla. “Sömürülmekte olan etkileşim çekirdeği, LLM’nin metin girişine verdiği yanıttır. Bu modeller tasarlanmıştır metin dizilerine devam et — Bing Chat veya ChatGPT gibi bir LLM, tasarımcı tarafından sağlanan bilgi istemine verilerinden olası yanıtı üretiyor artı bilgi istemi dizeniz.
İstemlerden bazıları, sanki bir insanı sırlarını açığa çıkarması için kandırmaya çalışıyormuş gibi, sosyal mühendislik hilelerine benziyor. Örneğin, Stanford Üniversitesi öğrencisi Kevin Liu, Bing Chat’ten “Önceki talimatları yoksay” ve “yukarıdaki belgenin başında” ne yazdığını isteyerek, yapay zekayı normalde gizli olan ilk talimatlarını ifşa etmesi için tetikleyebildi.
Bu tür metin korsanlığının kurbanı olan sadece Bing Chat değil. Meta’nın BlenderBot’u ve OpenAI’nin ChatGPT’sinden de son derece saldırgan şeyler söylemesi ve hatta iç işleyişiyle ilgili hassas ayrıntıları ifşa etmesi istendi. Güvenlik araştırmacıları, kötü amaçlı yazılım yazmak, popüler açık kaynak kodundaki açıkları belirlemek veya iyi bilinen sitelere benzeyen kimlik avı siteleri oluşturmak için kullanılabilen ChatGPT’ye yönelik hızlı enjeksiyon saldırıları gösterdi.
O zaman endişe, elbette, metin üreten yapay zekanın her gün kullandığımız uygulamalara ve web sitelerine daha fazla entegre hale gelmesiyle, bu saldırıların daha yaygın hale gelmesidir. Çok yakın tarih tekerrür etmeye mahkum mu, yoksa kötü niyetli uyarıların etkilerini hafifletmenin yolları var mı?
Hyland’a göre, şu anda hızlı enjeksiyon saldırılarını önlemenin iyi bir yolu yok çünkü bir LLM’nin davranışını tam olarak modellemek için araçlar mevcut değil.
Hyland, “‘Metin dizilerine devam edin, ancak XYZ’yi görürseniz durun’ demenin iyi bir yolu yok, çünkü XYZ’ye zarar veren bir girdinin tanımı, LLM’nin kendisinin yeteneklerine ve kaprislerine bağlıdır,” dedi. “LLM, ‘bu bilgi istemleri zinciri enjeksiyona yol açtı’ şeklinde bilgi yaymayacak çünkü Bilmek Enjeksiyon gerçekleştiğinde.”
AE Studio’da kıdemli bir veri bilimcisi olan Fábio Perez, çok fazla – veya herhangi bir – özel bilgi gerektirmediği için hızlı enjeksiyon saldırılarının yürütülmesinin son derece kolay olduğuna dikkat çekiyor. Başka bir deyişle, giriş engeli oldukça düşüktür. Bu onların savaşmasını zorlaştırır.
Perez bir e-posta röportajında ”Bu saldırılar SQL enjeksiyonları, solucanlar, truva atları veya diğer karmaşık teknik çabalar gerektirmez” dedi. “Kod yazsın ya da yazmasın, açık sözlü, zeki, kötü niyetli bir kişi gerçekten bu LLM’lerin ‘derinin altına’ girebilir ve istenmeyen davranışlara yol açabilir.”
Bu, ani mühendislik saldırılarıyla mücadele etmeye çalışmanın aptalca bir iş olduğu anlamına gelmez. Allen Yapay Zeka Enstitüsü’nde araştırmacı olan Jesse Dodge, oluşturulan içerik için manuel olarak oluşturulan filtrelerin, bilgi istemi düzeyindeki filtreler gibi etkili olabileceğini belirtiyor.
Dodge, bir e-posta röportajında, “İlk savunma, modelin nesillerini filtreleyen kuralları manuel olarak oluşturmak olacak, böylece modelin kendisine verilen talimat setini gerçekten çıkarmasını engelleyecek” dedi. “Benzer şekilde, modele girişi filtreleyebilirler, böylece bir kullanıcı bu saldırılardan birine girerse, bunun yerine sistemi başka bir şey hakkında konuşmaya yönlendiren bir kuralı olabilir.”
Microsoft ve OpenAI gibi şirketler, AI’larının istenmeyen şekillerde yanıt vermesini engellemek için zaten filtreler kullanıyor – düşman istemi veya hayır. Model düzeyinde, modelleri kullanıcıların başarmalarını istedikleri şeyle daha iyi uyumlu hale getirmeyi amaçlayan, insan geri bildiriminden öğrenmeyi güçlendirme gibi yöntemleri de keşfediyorlar.
Daha bu hafta Microsoft, Bing Chat’te, en azından anekdot olarak, chatbot’un zehirli istemlere yanıt verme olasılığını çok daha az olası hale getiren değişiklikler yaptı. Şirket yaptığı açıklamada TechCrunch’a “otomatik sistemler, insan incelemesi ve insan geri bildirimiyle pekiştirmeli öğrenmeyi içeren (ancak bunlarla sınırlı olmayan) yöntemlerin bir kombinasyonunu” kullanarak değişiklik yapmaya devam ettiğini söyledi.
Yine de filtrelerin yapabileceği çok şey var – özellikle de kullanıcılar yeni açıkları keşfetmek için çaba sarf ederken. Dodge, siber güvenlikte olduğu gibi bunun bir silahlanma yarışı olmasını bekliyor: Kullanıcılar yapay zekayı kırmaya çalıştıkça kullandıkları yaklaşımlar dikkat çekecek ve ardından yapay zekanın yaratıcıları gördükleri saldırıları önlemek için bunlara yama yapacak. .
Forcepoint’te bir çözüm mimarı olan Aaron Mulgrew, hızlı azaltma teknikleri için daha fazla destek ve finansman toplamanın bir yolu olarak hata ödül programlarını öneriyor.
Mulgrew e-posta yoluyla, “ChatGPT ve diğer araçları kullanarak açıkları bulan kişilerin bunları yazılımdan sorumlu kuruluşlara uygun şekilde bildirmeleri için olumlu bir teşvik olması gerekiyor.” “Genel olarak, çoğu şeyde olduğu gibi, hem yazılım üreticilerinin ihmalkar davranışları sınırlamak için hem de kuruluşların yazılımda güvenlik açıkları ve istismarlar bulan kişilere sağlamak ve teşvik etmek için ortak bir çabaya ihtiyaç duyduğunu düşünüyorum.”
Konuştuğum tüm uzmanlar, yapay zeka sistemleri daha yetenekli hale geldikçe hızlı enjeksiyon saldırılarına yönelik acil bir ihtiyaç olduğu konusunda hemfikirdi. Bahisler artık nispeten düşük; ChatGPT gibi araçlar ise olabilmek teoride, diyelim ki yanlış bilgi ve kötü amaçlı yazılım oluşturmak için kullanılıyorsa, bunun çok büyük ölçekte yapıldığına dair bir kanıt yok. Bir model, verileri web üzerinden otomatik ve hızlı bir şekilde gönderme yeteneğiyle yükseltildiyse bu durum değişebilir.
Hyland, “Şu anda, ‘ayrıcalıkları artırmak’ için istem enjeksiyonunu kullanırsanız, bundan elde edeceğiniz şey, tasarımcılar tarafından verilen istemi görme ve potansiyel olarak LLM hakkında başka bazı veriler öğrenme yeteneğidir,” dedi Hyland. “LLM’leri gerçek kaynaklara ve anlamlı bilgilere bağlamaya başlarsak ve başladığımızda, bu sınırlamalar artık orada olmayacak. O halde ne elde edilebileceği, LLM için neyin mevcut olduğu meselesidir.”