Siber güvenlik araştırmacıları, Vanna.AI kütüphanesinde, hızlı enjeksiyon teknikleri yoluyla uzaktan kod yürütme güvenlik açığına ulaşmak için kullanılabilecek yüksek önemde bir güvenlik açığını ortaya çıkardı.
Tedarik zinciri güvenlik şirketi JFrog, CVE-2024-5565 (CVSS puanı: 8.1) olarak takip edilen güvenlik açığının, kütüphaneyi keyfi komutlar yürütmesi için kandırmak için kullanılabilecek “ask” işlevine hızlı enjeksiyon vakasıyla ilgili olduğunu söylüyor. söz konusu.
Vanna Python tabanlı bir yazılımdır makine öğrenimi kütüphanesi kullanıcıların SQL veritabanlarıyla sohbet ederek “sadece sorular sorarak” (diğer adıyla istemler) içgörüler elde etmelerine olanak sağlayan ve bu soruların büyük dil modeli (LLM) kullanılarak eşdeğer bir SQL sorgusuna çevrilmesini sağlayan bir araçtır.
Üretken yapay zeka (AI) modellerinin son yıllarda hızlı bir şekilde kullanıma sunulması, araçları, yerleşik güvenlik mekanizmalarını atlayan rakip girdiler sağlayarak silah haline getirebilen kötü niyetli aktörler tarafından istismar edilme risklerini ön plana çıkardı.
Bu tür öne çıkan saldırı sınıflarından biri, bir tür saldırıyı ifade eden hızlı enjeksiyondur. AI jailbreak Saldırgan, zararlı veya yasa dışı içerik üretimini önlemek amacıyla LLM sağlayıcıları tarafından dikilen korkulukları göz ardı etmek veya uygulamanın amacını ihlal eden talimatları gerçekleştirmek için kullanılabilecek.
Bu tür saldırılar dolaylı olabilir; burada bir sistem, üçüncü bir tarafça kontrol edilen verileri (örneğin, gelen e-postalar veya düzenlenebilir belgeler) yapay zeka jailbreak’ine yol açacak kötü amaçlı bir veri yüklemek için işler.
Ayrıca, operatörün “zararsız bir diyalogla başladığı ve konuşmayı amaçlanan, yasaklanmış hedefe doğru aşamalı olarak yönlendirdiği” çok atışlı jailbreak veya çok dönüşlü jailbreak (diğer adıyla Crescendo) olarak adlandırılan biçimini de alabilirler.
Bu yaklaşım, İskelet Anahtarı olarak bilinen başka bir yeni jailbreak saldırısını gerçekleştirmek için daha da genişletilebilir.
Microsoft Azure’un baş teknoloji sorumlusu Mark Russinovich, “Bu AI jailbreak tekniği, bir modelin korkuluklarını görmezden gelmesine neden olmak için çok dönüşlü (veya çok adımlı) bir strateji kullanarak çalışıyor.” söz konusu. “Korkuluklar göz ardı edildiğinde, bir model diğerlerinden gelen kötü niyetli veya onaylanmamış istekleri belirleyemez.”
Skeleton Key, jailbreak başarılı olduğunda ve sistem kuralları değiştirildiğinde modelin, etik ve güvenlik riskleri ne olursa olsun, aksi takdirde yasaklanacak sorulara yanıtlar oluşturabilmesi açısından Crescendo’dan farklıdır.
Russinovich, “Skeleton Key jailbreak başarılı olduğunda, bir model, yönergelerini güncellediğini ve daha sonra, orijinal sorumlu AI yönergelerini ne kadar ihlal ederse etsin, herhangi bir içerik üretme talimatlarına uyacağını kabul eder” dedi.
“Modellere görevlerin dolaylı olarak veya kodlamalarla sorulması gereken Crescendo gibi diğer jailbreak’lerden farklı olarak Skeleton Key, modelleri kullanıcının doğrudan görev isteyebileceği bir moda yerleştiriyor. Ayrıca, modelin çıktısı tamamen filtrelenmemiş gibi görünüyor ve bir modelin istenen içeriği üretme bilgisi veya yeteneğidir.”
JFrog’un en son bulguları – ayrıca bağımsız olarak ifşa edildi Yazan: Tong Liu – özellikle komut yürütmeye bağlı olduklarında hızlı enjeksiyonların ne kadar ciddi etkileri olabileceğini gösterin.
CVE-2024-5565, Vanna’nın SQL sorguları oluşturmak için metinden SQL’e Oluşturmayı kolaylaştırdığı gerçeğinden yararlanır; bunlar daha sonra yürütülür ve Plotly grafik kitaplığı kullanılarak kullanıcılara grafiksel olarak sunulur.
Bu bir aracılığıyla gerçekleştirilir “sor” işlevi – örneğin, vn.ask(“Satışlara göre ilk 10 müşteri hangileridir?”) – bu, veritabanında çalıştırılacak SQL sorgularının oluşturulmasını sağlayan ana API uç noktalarından biridir.
Yukarıda bahsedilen davranış, Plotly kodunun dinamik oluşturulmasıyla birleştiğinde, bir tehdit aktörünün, temeldeki sistemde yürütülecek bir komutu içeren özel hazırlanmış bir komut istemi göndermesine olanak tanıyan bir güvenlik açığı yaratır.
“Vanna kütüphanesi, kullanıcıya görselleştirilmiş sonuçlar sunmak için bir bilgi istemi işlevi kullanıyor; istem enjeksiyonunu kullanarak istemi değiştirmek ve amaçlanan görselleştirme kodu yerine isteğe bağlı Python kodunu çalıştırmak mümkündür.” JFrog söz konusu.
“Özellikle, ‘görselleştirme’ True (varsayılan davranış) olarak ayarlıyken kütüphanenin ‘ask’ yöntemine harici girişe izin vermek, uzaktan kod yürütülmesine yol açar.”
Sorumlu açıklamanın ardından Vanna bir açıklama yayınladı. sertleştirme kılavuzu Bu, kullanıcıları Plotly entegrasyonunun rastgele Python kodu oluşturmak için kullanılabileceği ve bu işlevi ortaya çıkaran kullanıcıların bunu korumalı alan ortamında yapması gerektiği konusunda uyarıyor.
JFrog’un güvenlik araştırmaları kıdemli direktörü Shachar Menashe yaptığı açıklamada, “Bu keşif, GenAI/LLM’lerin uygun yönetim ve güvenlik olmadan yaygın kullanımının risklerinin kuruluşlar için ciddi sonuçlar doğurabileceğini gösteriyor.” dedi.
“Hızlı enjeksiyonun tehlikeleri hala yaygın olarak iyi bilinmemektedir, ancak bunların uygulanması kolaydır. Şirketler yanılmaz bir savunma mekanizması olarak ön yönlendirmeye güvenmemeli ve LLM’leri veritabanları veya dinamikler gibi kritik kaynaklarla arayüzlerken daha sağlam mekanizmalar kullanmalıdır. kod üretimi.”
