Google, özel geliştirme ve dağıtım platformu olan Vertex AI’daki iki kusuru düzeltti. büyük dil modelleri (LLM’ler), Bu, saldırganların özel kurumsal modelleri sistemden sızdırmasına olanak tanıyabilirdi. Kusur, yapay zeka (AI) teknolojisinin kötü niyetli manipülasyonunun iş kullanıcıları için mevcut olduğu tehlikesini bir kez daha vurguluyor.
Palo Alto Networks Birim 42’deki araştırmacılar, kurumsal kullanıcıların ML modellerini ve AI uygulamalarını eğitmesine ve dağıtmasına olanak tanıyan bir makine öğrenimi (ML) platformu olan Google’ın Vertex AI platformundaki kusurları keşfetti. Platform, bir kuruluşun yapay zeka destekli uygulamalarında kullanılmak üzere LLM’lerin özel olarak geliştirilmesine olanak sağlamayı amaçlıyor.
Özellikle araştırmacılar, platformun “özel işler” özelliğinde bir ayrıcalık yükseltme kusuru ve “kötü amaçlı model” özelliği olan Birim 42’de bir model sızma kusuru keşfettiler. bir blog yazısında ortaya çıktı 12 Kasım’da yayınlandı.
İlk hata, projedeki tüm veri hizmetlerine yetkisiz erişim elde etmek için özel iş izinlerinin kullanılmasına izin verdi. Palo Alto Networks araştırmacıları gönderide, ikincisinin, bir saldırganın Vertex AI’de zehirli bir model konuşlandırmasına izin verebileceğini ve bu durumun “diğer tüm ince ayarlı modellerin sızmasına, ciddi bir özel ve hassas veri sızma saldırısı riski oluşturmasına” yol açabileceğini yazdı.
Unit 42 bulgularını Google ile paylaştı ve gönderiye göre şirket “o zamandan beri Google Cloud Platform’da (GCP) Vertex AI için bu belirli sorunları ortadan kaldırmak için düzeltmeler uyguladı”.
Yaklaşan tehdit azaltılmış olsa da, güvenlik açıkları, LLM’ler açığa çıktığında ve/veya ortaya çıkan doğal tehlikeyi bir kez daha göstermektedir. manipüle edilmiş Araştırmacılar, sorunun kötü niyetli olduğunu ve sorunun ne kadar hızlı yayılabileceğini söyledi.
“Bu araştırma tek bir şeyin nasıl olduğunu vurguluyor kötü amaçlı model dağıtımı Araştırmacılar, tüm yapay zeka ortamını tehlikeye atabilir” diye yazdı. “Bir saldırgan, hassas verileri sızdırmak için bir üretim sistemine konuşlandırılmış doğrulanmamış tek bir modeli bile kullanabilir ve bu da ciddi model sızdırma saldırılarına yol açabilir.”
Özel Yüksek Lisans Geliştirmeyi Zehirleme
Keşfedilen kusurlardan yararlanmanın anahtarı, Vertex AI Pipelines adı verilen ve kullanıcıların modellerini “özel eğitim işleri” olarak da adlandırılan özel işleri kullanarak ayarlamalarına olanak tanıyan bir Vertex AI özelliğinde yatmaktadır. Araştırmacılar, “Bu özel işler, aslında üretim hattında çalışan ve modelleri çeşitli şekillerde değiştirebilen kodlardır” diye açıkladı.
Ancak bu esnekliğin değerli olmasının yanı sıra potansiyel istismara da kapı açtığını söylediler. Güvenlik açıkları durumunda, Birim 42 araştırmacıları, proje hattı aracılığıyla “kaynak projeye” veya oluşturulan ince ayarlı yapay zeka modeline bağlanan “kiracı projesinin” “hizmet aracısı” kimliği olarak adlandırılan kimlik içindeki izinleri kötüye kullanabildiler. platformun içinde. Bir hizmet aracısının, Vertex AI projesindeki birçok izne yönelik aşırı izinleri vardır.
Bu konumdan araştırmacılar, özel model geliştirme ortamına erişim kazanmalarına olanak tanıyan bir arka kapı oluşturmak için komutları enjekte edebilir veya özel bir görüntü oluşturabilir. Daha sonra Vertex AI içinde test için zehirli bir model kullandılar ve bu da test projesinden diğer AI ve ML modellerini çalmak için daha fazla erişim elde etmelerine olanak tanıdı.
Araştırmacılar, “Özetle, kötü amaçlı bir model dağıtarak, kiracı projelerindeki kaynaklara erişebildik ve bu da proje genelinde dağıtılan tüm modelleri görüntülememize ve dışa aktarmamıza olanak sağladı” diye yazdı. “Bu, ince ayarlı adaptörleriyle birlikte hem ML hem de LLM modellerini içeriyor.”
Bu yöntemin “modelden modele bulaşma senaryosu için açık bir risk” sunduğunu açıkladılar. Araştırmacılar, “Örneğin, ekibiniz halka açık bir depoya yüklenen kötü amaçlı bir modeli bilmeden dağıtabilir” diye yazdı. “Etkin hale geldiğinde, projedeki tüm ML ve ince ayarlı LLM modellerini dışarı sızdırabilir ve en hassas varlıklarınızı riske atabilir.”
Yapay Zeka Siber Güvenlik Riskini Azaltma
Kuruluşlar, kendi şirket içi, özel LLM tabanlı yapay zeka sistemlerini oluşturmalarına olanak tanıyan araçlara yeni yeni erişmeye başlıyor ve dolayısıyla potansiyel güvenlik riskleri ve bunları hafifletmeye yönelik çözümler hâlâ keşfedilmemiş bir alan. Ancak kazanıldığı açıkça ortaya çıktı yetkisiz erişim Bir kuruluş içinde oluşturulan LLM’lere başvurmak, o kuruluşu uzlaşmaya maruz bırakmanın kesin bir yoludur.
Unit 42 araştırmacıları, bu aşamada, özel olarak oluşturulmuş herhangi bir modeli güvence altına almanın anahtarının, kuruluşta bu modele erişimi olanların izinlerini sınırlamak olduğunu belirtti. Gönderide “Bir modeli dağıtmak için gereken izinler zararsız görünebilir, ancak gerçekte bu tek izin, savunmasız bir projedeki diğer tüm modellere erişim sağlayabilir” diye yazdılar.
Bu tür risklere karşı korunmak için kuruluşların model dağıtımları üzerinde de sıkı kontroller uygulaması gerekir. Bunu yapmanın temel yollarından biri, bir kuruluşun geliştirme veya test ortamlarının canlı üretim ortamından ayrı olmasını sağlamaktır.
Balassiano ve Shaty, “Bu ayırma, bir saldırganın potansiyel olarak güvenli olmayan modellere tam olarak incelenmeden erişme riskini azaltır.” diye yazdı. “İster dahili bir ekipten ister üçüncü taraf bir veri deposundan gelsin, her modelin dağıtımdan önce doğrulanması hayati önem taşıyor.”
