Hugging Face platformunda 100 kadar kötü amaçlı yapay zeka (AI)/makine öğrenimi (ML) modeli keşfedildi.
Bunlar, bir yüklemenin yapıldığı örnekleri içerir. turşu dosyası Yazılım tedarik zinciri güvenlik firması JFrog, bunun kod yürütmeye yol açtığını söyledi.
Kıdemli güvenlik araştırmacısı David Cohen, “Modelin yükü, saldırgana ele geçirilen makinede bir kabuk vererek, genellikle ‘arka kapı’ olarak adlandırılan bir yöntemle kurbanların makineleri üzerinde tam kontrol sahibi olmalarını sağlıyor” dedi. söz konusu.
“Bu sessiz sızma, potansiyel olarak kritik dahili sistemlere erişim sağlayabilir ve büyük ölçekli veri ihlallerine ve hatta kurumsal casusluğa yol açabilir, yalnızca bireysel kullanıcıları değil, potansiyel olarak dünya çapındaki tüm kuruluşları etkileyebilir ve tüm bunları yaparken kurbanları tehlikeye atılmış durumlarından tamamen habersiz bırakabilir. “
Spesifik olarak, hileli model 210.117.212’ye ters kabuk bağlantısı başlatır.[.]93, Kore Araştırma Ortamı Açık Ağına (KREONET) ait bir IP adresi. Aynı yükü taşıyan diğer depoların başka IP adreslerine bağlandığı gözlemlendi.
Bir vakada, modelin yazarları kullanıcılara modeli indirmemeleri yönünde çağrıda bulunarak yayının araştırmacıların veya yapay zeka uygulayıcılarının işi olma ihtimalini artırdı.
JFrog, “Ancak, güvenlik araştırmasındaki temel prensip, gerçek anlamda çalışan güvenlik açıklarını veya kötü amaçlı kodları yayınlamaktan kaçınmaktır” dedi. “Kötü amaçlı kod gerçek bir IP adresine tekrar bağlanmaya çalıştığında bu ilke ihlal edildi.”
Bulgular, açık kaynak kodlu depolarda gizlenen ve hain faaliyetler nedeniyle zehirlenebilecek tehdidin bir kez daha altını çiziyor.
Tedarik Zinciri Risklerinden Sıfır Tıklama Solucanlarına
Onlar da araştırmacıların geldiği gibi geliyorlar tasarlanmış Işın arama tabanlı rakip saldırı (BEAST) adı verilen bir teknik kullanılarak geniş dil modellerinden (LLM’ler) zararlı yanıtlar elde etmek için kullanılabilecek istemler oluşturmanın etkili yolları.
İlgili bir gelişmede, güvenlik araştırmacıları, verileri çalabilen ve kötü amaçlı yazılımları birden fazla sisteme yayabilen, Morris II adında üretken bir yapay zeka solucanı olarak bilinen bir solucan geliştirdi.
Morris II, bunlardan birinde bir değişiklik en eski bilgisayar solucanlarıGüvenlik araştırmacıları Stav Cohen, , GenAI modelleri tarafından işlendiğinde “girdiyi çıktı olarak kopyalamak (çoğaltma) ve kötü amaçlı faaliyetlere (yük) katılmak” için onları tetikleyebilen, görüntüler ve metin gibi girdilere kodlanmış, kendi kendini kopyalayan rakip istemlerden yararlanıyor. , Ron Bitton ve Ben Nassi dedi.
Daha da kötüsü, modeller, üretken yapay zeka ekosistemindeki bağlantılardan yararlanılarak yeni uygulamalara kötü amaçlı girdiler sağlayacak şekilde silah haline getirilebilir.
Saldırı tekniği adı verildi ComPromptMizedkodu bir sorgunun içine yerleştirmesi ve verileri yürütülebilir kodu tuttuğu bilinen bölgelere yerleştirmesi nedeniyle arabellek taşmaları ve SQL enjeksiyonları gibi geleneksel yaklaşımlarla benzerlikler paylaşır.
ComPromptMized, yürütme akışı üretken bir yapay zeka hizmetinin çıktısına bağlı olan uygulamaların yanı sıra, artırılmış veri alımı kullanan uygulamaları da etkiler (paçavraSorgu yanıtlarını zenginleştirmek için metin oluşturma modellerini bir bilgi alma bileşeniyle birleştiren.
Bu çalışma, LLM’lere saldırmanın ve onları istenmeyen eylemler gerçekleştirmeleri için kandırmanın bir yolu olarak hızlı enjeksiyon fikrini araştıran ilk çalışma olmadığı gibi son da olmayacak.
Daha önce akademisyenler, modelin saldırgan tarafından seçilen metin veya talimatları çıkarmasına neden olan çok modlu LLM’lere görünmez “düşmanca tedirginlikler” enjekte etmek için görüntüleri ve ses kayıtlarını kullanan saldırıları göstermişti.
Nassi, Eugene Bagdasaryan, Tsung-Yin Hsieh ve Vitaly Shmatikov ile birlikte “Saldırgan, kurbanı ilginç bir görsel içeren bir web sayfasına yönlendirebilir veya ses klibi içeren bir e-posta gönderebilir.” söz konusu geçen yılın sonlarında yayınlanan bir makalede.
“Kurban görüntüyü veya klibi doğrudan yalıtılmış bir LLM’ye girdiğinde ve bununla ilgili sorular sorduğunda, model, saldırganın enjekte ettiği istemler tarafından yönlendirilecek.”
Geçen yılın başlarında, Almanya’nın Saarland Üniversitesi’ndeki CISPA Helmholtz Bilgi Güvenliği Merkezi ve Sequire Technology’den bir grup araştırmacı da açıkta Bir saldırganın, modelin kullanıcı girdisine yanıt verirken muhtemelen alacağı gizli istemleri verilere stratejik olarak enjekte ederek (yani dolaylı bilgi istemi enjeksiyonu) LLM modellerinden nasıl yararlanabileceği.