Replicate AI platformundaki kritik bir güvenlik açığı, saldırganların, kiracılar arası bir saldırı için platform içinde kötü amaçlı bir AI modeli yürütmesine olanak tanıyarak müşterilerin özel AI modellerine erişime izin verebilir ve potansiyel olarak özel bilgileri veya hassas verileri açığa çıkarabilir.
Wiz’deki araştırmacılar, kusuru araştırmak için hizmet olarak yapay zeka sağlayıcılarıyla yapılan bir dizi ortaklığın parçası olarak keşfettiler. güvenlik platformlarından. Kusurun keşfedilmesi, özellikle güvenilmeyen kaynaklardan gelen yapay zeka modellerini çalıştıran ortamlarda, hizmet olarak yapay zeka çözümleri arasında kiracı ayrımının zorluğunu ortaya koyuyor.
Wiz’den Shir Tamari ve Sagi Tzadik bir yazısında “Bu güvenlik açığından yararlanılması, tüm Replicate platform müşterilerinin yapay zeka istemlerine ve sonuçlarına yetkisiz erişime izin verebilirdi” ve potansiyel olarak bu sonuçları değiştirebilirdi. bugün yayınlanan blog yazısı. Daha önce Wiz araştırmacıları bulunan kusurlar bu da HuggingFace AI platformunda benzer bir sonuca yol açtı.
“Yaptığımız çalışmaların sonuçlarında gördüğümüz gibi Sarılma Yüz Wiz CTO’su ve kurucu ortağı Ami Luttwak, Dark Reading’e şunları söylüyor: “Ve şimdi Replicate’te, iki önde gelen hizmet olarak yapay zeka sağlayıcısı, bulut ortamlarında yapay zeka modellerini çalıştırırken, yapay zeka modellerinin aslında kod olduğunu hatırlamak çok önemli.” “Tüm kodlar gibi, kaynağın da doğrulanması ve içeriğin kötü amaçlı yüklere karşı taranması gerekiyor.”
Gerçekten de kusur, müşterilerinin diğer müşterilerin verilerinin bulunduğu paylaşılan ortamlarda yapay zeka modelleri biçiminde güvenilmeyen kodları yürütmesine genellikle izin veren hizmet olarak yapay zeka sağlayıcıları için acil bir tehdit oluşturuyor. Araştırmacılar, bunun aynı zamanda güvenilmeyen kaynaklardan gelen yapay zeka modellerini benimseyip bunları iş istasyonlarında veya şirket sunucularında çalıştırdıklarında etkilenebilecek yapay zeka ekiplerini de etkileyebileceğini belirtti.
Wiz Research, Ocak 2023’te AI model paylaşım sağlayıcısı Replicate’e yönelik güvenlik açığını sorumlu bir şekilde açıkladı; Şirket, hiçbir müşteri verisinin tehlikeye atılmaması için kusuru derhal giderdi. Şu anda müşterilerin başka bir işlem yapmasına gerek yoktur.
Kusuru İstismara Uğramak
Kusur, Replicate’deki modelleri konteynerleştirmek için kullanılan özel bir format olan Cog formatında kötü amaçlı bir konteyner oluşturarak Replicate’in platformunda uzaktan kod yürütmenin sağlanmasında yatmaktadır. Cog kullanarak bir modeli kapsayıcıya aldıktan sonra kullanıcılar, ortaya çıkan görüntüyü Replicate’in platformuna yükleyebilir ve onunla etkileşime girmeye başlayabilir.
Wiz araştırmacıları kötü amaçlı bir Cog kapsayıcısı oluşturup bunu platforma yüklediler ve ardından kök ayrıcalıklarıyla bunu Replicate altyapısında kod yürütmek için kullandılar.
Araştırmacılar gönderide şöyle yazdı: “Bu kod yürütme tekniğinin, şirketlerin ve kuruluşların yapay zeka modellerini güvenilmeyen kaynaklardan çalıştırdığı bir model olduğundan şüpheleniyoruz; bu modeller, potansiyel olarak kötü amaçlı olabilecek kodlar olsa da.” HuggingFace platformunda bulunan kusurlardan yararlanmak için benzer bir teknik kullanıldı.
Bu kullanım, araştırmacıların çevreyi yanal olarak dışarıya ve nihayetinde üzerinde çalıştıkları düğümün dışına doğru araştırmalarına olanak tanıdı. bir Kubernetes kümesi Google Cloud Platform’da barındırılıyor. Süreç zorlu olsa da, sonunda diğer modelleri sorgulamalarına ve hatta bu modellerin çıktılarını değiştirmelerine olanak tanıyan kiracılar arası bir saldırı gerçekleştirmeyi başardılar.
Araştırmacılar, “Bu güvenlik açığından yararlanılması hem Replicate platformu hem de kullanıcıları için önemli riskler oluşturacaktı” diye yazdı. “Bir saldırgan, müşterilerin özel yapay zeka modellerini sorgulayarak potansiyel olarak model eğitim sürecine dahil olan özel bilgileri veya hassas verileri açığa çıkarabilir. Ayrıca, istemlerin ele geçirilmesi, kişisel olarak tanımlanabilir bilgiler (PII) dahil olmak üzere hassas verileri açığa çıkarabilir.”
Aslında, bir yapay zeka modelinin istemlerini ve yanıtlarını değiştirme yeteneği, yapay zeka uygulamalarının işlevselliğine ciddi bir tehdit oluşturuyor ve saldırganlara yapay zeka davranışını manipüle etme ve bu modellerin karar verme süreçlerini tehlikeye atma yolu sunuyor.
Araştırmacılar, “Bu tür eylemler, yapay zeka destekli çıktıların doğruluğunu ve güvenilirliğini doğrudan tehdit ediyor, otomatik kararların bütünlüğünü baltalıyor ve potansiyel olarak tehlikeye atılan modellere bağımlı kullanıcılar için geniş kapsamlı sonuçlara yol açıyor” diye yazdı.
Yeni Etki Azaltma Formları Gerekli
Şu anda bir modelin orijinalliğini doğrulamanın veya onu tehditlere karşı taramanın kolay bir yolu yok; bu nedenle kötü niyetli yapay zeka modelleri, yeni saldırı yüzeyi Luttwak, diğer hafifletme biçimlerine ihtiyaç duyan savunucular için diyor.
Bunu yapmanın en iyi yolu, üretim iş yüklerinin yalnızca Yapay zeka modelleri Safetensörler olarak adlandırılan güvenli formatlarda. “Güvenlik ekiplerinin güvenli olmayan modellerin kullanımını izlemesini ve güvenlik engelleyicilere veya benzer formatlara geçiş yapmak için yapay zeka ekipleriyle birlikte çalışmasını öneriyoruz” diyor.
Luttwak, “bu formatlar saldırganların yapay zeka modeli örneğini ele geçirmesini önlemek için tasarlandığından”, yalnızca güvenli yapay zeka formatlarının kullanılması saldırının “önemli ölçüde” yüzeye çıkmasını sağlayabilir.
Ayrıca, müşterilerinin modellerini paylaşılan bir ortamda çalıştıran bulut sağlayıcılarının, kötü amaçlı bir model yürütmeyi başaran potansiyel bir saldırganın diğer müşterilerin verilerine veya hizmetin kendisine erişememesini sağlamak için kiracı izolasyon uygulamalarını zorunlu kılması gerektiğini ekliyor.