Gerçek dünya verileri kullanılarak eğitilen yapay zeka ve makine öğrenimi (AI/ML) sistemleri, beklenmedik girdiler kullanarak sistemleri kandıran belirli saldırılara giderek daha açık görülüyor.
Yakın tarihli Makine Öğrenimi Güvenlik Kaçırma Yarışmasında (MLSEC 2022), yarışmacılar ünlülerin fotoğraflarını farklı bir kişi olarak tanınmalarını sağlamak amacıyla başarılı bir şekilde değiştirirken orijinal görüntülerdeki bariz değişiklikleri en aza indirdiler. En yaygın yaklaşımlar, iki görüntüyü birleştirmeyi (deepfake’e benzer) ve orijinalin çerçevesine daha küçük bir görüntü yerleştirmeyi içeriyordu.
Başka bir örnekte, Massachusetts Institute of Technology (MIT), Berkeley’deki California Üniversitesi ve FAR AI’dan araştırmacılar, profesyonel düzeyde bir Go AI’nın – yani eski tahta oyunu için – ikna edici hareketlerle önemsiz bir şekilde yenilebileceğini keşfettiler. oyunun tamamladığı makine. Go AI, mantıklı bir dizi film kullandıkları için profesyonel veya amatör bir Go oyuncusunu yenebilirken, düşmanca bir saldırı, hiçbir rasyonel oyuncunun normalde vermeyeceği kararlar vererek makineyi kolayca yenebilir.
Berkeley’deki California Üniversitesi’nde yapay zeka alanında doktora adayı olan Adam Gleave, bu saldırıların, AI teknolojisinin insanüstü seviyelerde çalışabileceğini ve hatta gerçek hayat senaryolarında kapsamlı bir şekilde test edilebileceğini, ancak beklenmedik girdilere karşı savunmasız olmaya devam ettiğini vurguladığını söylüyor. ve Go AI makalesinin birincil yazarlarından biri.
“Herhangi bir makine öğrenimi sisteminin güvensiz olduğunu varsayılan olarak varsayardım” diyor. “[W]Makine öğrenimi sistemlerine veya başka herhangi bir bireysel kod parçasına kesinlikle gerekli olandan daha fazla güvenmekten her zaman kaçınılmalıdır. [and] AI sisteminin kararları önermesini sağlayın, ancak bunları uygulamadan önce bir insanın onaylamasını sağlayın.”
Tüm bunlar temel bir sorunun altını çiziyor: Gerçek dünya verileri ve senaryoları üzerinde eğitilerek “gerçek dünya” durumlarına karşı etkili olmak üzere eğitilen sistemler, anormal veya kötü niyetli girdilerle sunulduğunda düzensiz ve güvensiz davranabilir.
Sorun, uygulamaları ve sistemleri kesiyor. Siber güvenlik uzmanı ve kurucu ortak Gary McGraw, örneğin kendi kendine giden bir araba, normal bir sürücünün yoldayken karşılaşabileceği hemen hemen her durumun üstesinden gelebilir, ancak anormal bir olay veya bir saldırganın neden olduğu bir olay sırasında felaketle sonuçlanabilir. Berryville Makine Öğrenimi Enstitüsü’nden (BIML).
“Makine öğreniminin asıl zorluğu, nasıl çok esnek olunacağını ve işleri genellikle yapılması gerektiği gibi yapmayı, ancak daha sonra anormal bir olay meydana geldiğinde doğru tepki vermeyi bulmaktır” diyor ve ekliyor: “Genellikle neye genelleme yaparsınız? uzmanlar yapar, çünkü bir uzman yaratmak istersiniz… bu yüzden hiçbir fikri olmayan insanların sürpriz hareketler yaparak yaptıkları… bu da ilginç bir şeyin olmasına neden olabilir.”
AI’yı (Ve Kullanıcıları) Kandırmak Zor Değil
Makine öğrenimi modellerinin ve yapay zeka sistemlerinin az sayıda geliştiricisi, rakip saldırılara odaklandığından ve tasarımlarını test etmek için kırmızı ekipleri kullandığından, AI/ML sistemlerinin başarısız olmasına neden olmanın yollarını bulmak oldukça kolaydır. MITRE, Microsoft ve diğer kuruluşlar, şirketleri Yapay Zeka Sistemleri için Düşman Tehdit Manzarası (ATLAS) bilgi tabanı aracılığıyla mevcut saldırıları tanımlayarak ve yapay zekaya yönelik bu araştırmayı – genellikle herhangi bir türden olmadan – belirterek, şirketleri düşmanca yapay zeka saldırıları tehdidini daha ciddiye almaya çağırdılar. tasarlanmış sağlamlık veya güvenlik – hızla arttı.
Sorunun bir kısmı, uzman olmayan ve makine öğreniminin ardındaki matematiği anlamayan kişilerin genellikle sistemlerin içinde çalıştığı bağlamı ve dünyayı anladığına inanmalarıdır.
SANS Uzmanı David Hoelzer, grafik üreten DALL-e ve metin üreten GPT-3 gibi makine öğrenimi için büyük modellerin, çok büyük veri kümelerine ve mantıklı bir makineyle sonuçlanıyor gibi görünen ortaya çıkan modellere sahip olduğunu söylüyor. SANS Teknik Enstitüsü.
Yine de, bu tür modeller için “dünyaları” yalnızca üzerinde eğitildikleri verileri içerir ve bu nedenle başka türlü bağlamları yoktur. Anormallikler veya kötü amaçlı saldırılar karşısında doğru şekilde hareket eden yapay zeka sistemleri oluşturmak, çeşitli sorunları dikkate alan tehdit modellemesi gerektirir.
Hoelzer, “Deneyimlerime göre, AI/ML çözümleri geliştirenlerin çoğu, çözümleri herhangi bir şekilde güvenli hale getirmeyi düşünmüyor” diyor. “Kesinlikle, chatbot geliştiricileri, eğitim sırasında sağladığınız verilere ve insanlardan eğitimi etkileyebilecek ne tür girdilere izin verilebileceğine çok dikkat etmeniz gerektiğini öğrendiler, böylece saldırgan hale gelen bir bottan kaçınabilirsiniz.”
Makine öğrenimi ve yapay zekaya karşı saldırgan saldırılara odaklanan Adversa.ai’de yapay zeka güvenliği teknik direktörü Eugene Neelou, yüksek düzeyde, görüntü tanıma için olanlar gibi yapay zeka destekli sistemlere yönelik bir saldırıya yönelik üç yaklaşım olduğunu söylüyor. sistemler.
Bunlar: ana görüntünün içine daha küçük bir görüntü yerleştirmek; morflanmış bir sürüm oluşturmak için iki girdi kümesini — görüntüler gibi — karıştırmak; veya AI sisteminin belirli bir şekilde başarısız olmasına neden olan belirli bir gürültü eklemek. Bu son yöntem, yapay zeka sistemlerine karşı hala etkili olmakla birlikte, tipik olarak bir insan için en az belirgin olan yöntemdir.
Firmanın belirttiğine göre, Adversa.ai tarafından yürütülen yapay zeka sistemlerini kandırmak için düzenlenen bir kara kutu yarışmasında, biri hariç tüm yarışmacılar ilk iki tür saldırıyı kullandı. yarışma sonuçlarının bir özeti. Neelou, buradan çıkarılacak ders, yapay zeka algoritmalarının sistemlere saldırmayı zorlaştırmadığını, aksine normal uygulamaların saldırı yüzeyini artırdıkları için kolaylaştırdığını söylüyor.
“Geleneksel siber güvenlik, yapay zeka güvenlik açıklarından koruma sağlayamaz — yapay zeka modellerinin güvenliği, görev açısından kritik veya iş açısından kritik kararlardan AI/ML’nin sorumlu olduğu kuruluşlarda uygulanması gereken ayrı bir alandır” diyor. “Yalnızca yüz tanıma değil; dolandırıcılığı önleme, istenmeyen e-posta filtreleri, içerik denetleme, otonom sürüş ve hatta sağlık hizmetleri AI uygulamaları benzer şekilde atlanabilir.”
Sağlamlık için AI Modellerini Test Edin
Diğer kaba kuvvet saldırıları gibi, denenen giriş sayısını sınırlayan hız, AI sistemlerinin yaratıcılarının makine öğrenimi saldırılarını önlemesine de yardımcı olabilir. İçinde Go sistemine saldırmakUC Berkeley’den Gleave ve diğer araştırmacılar, hedeflenen sisteme karşı defalarca oyunlar oynayan ve rakip giderek daha başarılı hale geldikçe kurbanın yapay zekasının zorluk seviyesini yükselten kendi rakip sistemlerini kurdular.
Saldırı tekniği potansiyel bir karşı önlemin altını çiziyor, diyor.
Gleave, “Saldırganın sabit bir ‘kurban’ ajana karşı milyonlarca zaman adımı için eğitim alabileceğini varsayıyoruz” diyor. “‘Kurban’ yerel makinenizde çalıştırabileceğiniz bir yazılımsa bu makul bir varsayımdır, ancak bir API’nin arkasında değilse, bu durumda tacizde bulunduğunuz tespit edilip platformdan atılabilir veya kurban öğrenebilir. bu da veri zehirlenmesi etrafında yeni bir dizi güvenlik riski ortaya çıkarır, ancak saldırımıza karşı savunmaya yardımcı olur.”
Şirketler, en az ayrıcalık ilkesi de dahil olmak üzere en iyi güvenlik uygulamalarını izlemeye devam etmelidir – çalışanlara hassas sistemlere ihtiyaç duyduklarından daha fazla erişim vermeyin veya bu sistemlerin çıktılarına gereğinden fazla güvenmeyin. Son olarak, tüm makine öğrenimi ardışık düzenini ve yapay zeka sistemini sağlamlık için tasarlayın, diyor.
Gleave, “Bir makine öğrenimi sistemine, ideal olarak bağımsız bir kırmızı ekip tarafından kapsamlı bir şekilde test edilmiş olsaydı ve tasarımcılar daha sağlam olduğu bilinen eğitim teknikleri kullanmış olsaydı, daha çok güvenirdim” diyor.
