Yapay zeka (AI) ve makine öğrenimi (ML) sistemlerine yönelik saldırıların sayısı arttıkça, kuruluşların araçlarına, sistemlerine ve boru hatlarına yönelik tehditleri güvenlik modellerinin bir parçası olarak düşünmesi ve risklerini değerlendirmek için adımlar atması gerekiyor.
Geçen hafta, Microsoft’un makine öğrenimi ekibi, kuruluşların yapay zeka kullanımları hakkında nasıl bilgi toplayabileceğini, güvenliklerinin mevcut durumunu nasıl analiz edebileceğini ve ilerlemeyi izlemenin yollarını nasıl oluşturabileceğini açıklayan bir çerçeve yayınladı. “AI Güvenlik Risk Değerlendirmesi” raporu, şirketlerin AI ve ML sistemlerinin güvenliğini değerlendirmek için ayrı bir süreç oluşturamayacaklarını ve buna ihtiyaç duymadıklarını, ancak AI ve ML konularını mevcut güvenlik süreçlerine dahil etmeleri gerektiğini savunuyor.
Microsoft’ta bir “veri kovboyu” olan Ram Shankar Siva Kumar, makine öğrenimi sistemlerinin pek çok kullanıcısının makine öğrenimi uzmanı olmadığı için ekibin pratik tavsiyeler ve araçlar sağlamaya odaklandığını söylüyor.
“Bu paydaşların makine öğrenimi sistemlerini güvence altına almaya başlamak için makine öğreniminde doktora yapmaları beklenemez” diyor. “Vurgularız … gevrek, pratik araçlar ve çerçeveler … [and] AI sistemlerini güvenlik altına almayı, paydaşlardan tamamen yeni bir sözlük öğrenmelerini istemek yerine halihazırda konuştuğu bir dilde bağlamsallaştırın.”
Bu rapor, Microsoft’un yapay zeka sistemlerinin güvenliği ve popülaritesi arasında büyüyen bir boşluk olarak gördüğü sorunu çözmeye yönelik en son çabasıdır. Ek olarak rapor, Microsoft geçen hafta Counterfit aracını güncellediML sistemlerinin güvenlik değerlendirmesini otomatikleştirmeyi amaçlayan açık kaynaklı bir proje. Temmuz ayında şirket, Makine Öğrenimi Güvenlikten Kaçınma YarışmasıBu, araştırmacıların çeşitli gerçekçi sistemlere yönelik saldırıları test etmelerine olanak tanır ve kimlik avına karşı koruma ve kötü amaçlı yazılımdan koruma tarayıcıları gibi güvenlik odaklı makine öğrenimi sistemlerinden başarıyla kaçabilenleri ödüllendirir.
Microsoft, sohbet robotu Tay’ın sürekli bir çevrimiçi kötü niyetli çete tarafından alt üst edilmesi gibi AI sistemlerine yönelik saldırıları belgelemiş olsa da, şirketin araştırması, kuruluşların büyük çoğunluğunun sistemlerini korumak için uygulanabilir bir güvenlik sürecine sahip olmadığını buldu.
“[W]Yapay zeka sistemlerinin yaygınlaşması, bu sistemlere güç sağlayan makine öğreniminin bir düşmanın hedeflerine ulaşmak için manipüle edilebilmesi riskini artırıyor.” şirket o zaman söyledi. “Riskler, konuşlandırılmış tüm makine öğrenimi modellerinde doğal olsa da, tehdit, özellikle tehdit aktörlerinin araçlarını ve davranışlarını tespit etmek için makine öğrenimi modellerine giderek daha fazla güvenilen siber güvenlikte belirgindir.”
Şirketler hala makine öğrenimi ve yapay zeka sistemlerine yönelik düşmanca saldırıları mevcut bir tehdit olarak değil, daha çok gelecek kaygısı olarak görüyor. İçinde Mart 2021 belgesi, Microsoft, görüşülen 28 şirketten yalnızca üçünün ML sistemlerini güvence altına almak için adımlar attığını tespit etti. Yine de, bir saldırının makine tarafından oluşturulan finansal tavsiyelerini çarpıtabileceğinden korkan bir finansal teknoloji firması gibi birçok kişi makine öğrenimi sistemlerine yönelik gelecekteki saldırılar konusunda endişelenmeye devam etti.
Kumar, “Çoğu kuruluş, verilerinin bir düşman tarafından zehirlenmesinden veya bozulmasından endişe duyuyor” diyor. “Verileri bozmak, kullanılan algoritmanın karmaşıklığından bağımsız olarak aşağı yönde etkilere neden olabilir ve sistemleri bozabilir.”
Ankette, diğer önemli endişeler arasında, sistemi çalışırken gözlemleyerek bir ML modelinin ayrıntılarını öğrenmeye yönelik saldırı teknikleri ve sistemden hassas verileri çıkaran saldırılar yer aldı.
Microsoft’un raporu, yapay zeka sistemlerinin alanlarını model eğitimi ve olay yönetimi gibi yedi teknik kontrole ve tek bir idari kontrol, makine öğrenimi güvenlik ilkelerine böldü. Örneğin, veri toplamanın teknik kontrolü, modellerin yalnızca eğitim ve operasyonlardan elde edilen güvenilir veri kaynaklarını kullanmasını gerektirmeye odaklandı.
Şirket, günümüzde çoğu modelin bir tehdit olan güvenilmeyen verileri kullandığını açıkladı.
Microsoft, rapordaki tehditler arasında “Hassas kişisel veriler, bir modelin performansını etkileyebilecek veya kuruluş için uyumluluk riskleri oluşturabilecek diğer istenmeyen veriler içerebilecek güvenilmeyen kaynaklardan toplanıyor” dedi. “Veriler güvenli olmayan bir şekilde saklanır ve yetkisiz kişiler veya sistemler tarafından tahrif edilebilir veya değiştirilebilir. Veriler doğru şekilde sınıflandırılmamıştır, bu da gizli bilgilerin veya hassas kişisel verilerin ifşasına yol açar.”
Kağıt ve otomasyon araçları, Microsoft’un yapay zeka tehditlerini ve bu tehditlere karşı savunmayı tanımlamanın resmi bir yolunu oluşturmaya yönelik en son çabalarıdır. Şubat ayında şirket, kuruluşları savunma oluşturma alıştırması olarak AI sistemlerine saldırmanın yollarını düşünmeye çağırdı. Geçen yıl Microsoft, bir saldırı sınıflandırması olan Adversarial ML Threat Matrix’i oluşturmak için hükümet yüklenicisi MITRE ve diğer kuruluşlarla bir araya geldi.