ServiceNow AI Ajanları ve İkinci Derece Prompt Saldırıları
ServiceNow’un Now Assist platformu, kötü niyetli oyuncular tarafından kullanılabilecek birkaç güvenlik açığı sunuyor. Bu açıklar, platformun varsayılan yapılandırmaları ve ajanların birbirlerini keşfetme yetenekleri üzerinden prompt enjeksiyon saldırılarına yol açabiliyor.
Prompt Enjeksiyon Nedir?
Prompt enjeksiyonu, kullanıcıların bir AI sistemine, sistemin normal işleyişinde beklenmeyen komutlar enjekte etmesine olanak tanır. Bu tür bir saldırıda, kötü niyetli bir kişi, zararsız görünen istekleri kullanarak AA (Yapay Zeka) ajanını yönlendirip yetkisiz işlemler gerçekleştirebilir.
AppOmni tarafından yapılan açıklamaya göre, ikinci derece prompt enjeksiyonu, Now Assist’in ajanlar arası keşif yeteneklerini kullanarak, saldırganların hassas kurumsal verileri kopyalayıp dışarıya çıkarmasına, kayıtları değiştirmesine ve yetki yükseltmesine olanak tanıyor.
Kötü Amaçlı Kullanıcıların Yöntemleri
Kötü niyetli aktörler, Now Assist platformunun otomatikleştirilmiş işlevlerini kullanarak, herhangi bir zararsız isteği kötü niyetli bir saldırıya dönüştürebilir. Örneğin, bir ajan, erişim izni verilen içerikte özenle hazırlanmış promptlar bulup, daha güçlü bir ajanın çağrılmasını sağlayarak, hassas veri kopyalayabilir veya kayıtları değiştirebilir.
- Keşif Yeteneği: Alt yapıdaki büyük dil modeli (LLM), ajan keşfini desteklemelidir.
- Ajan Gruplama: Now Assist ajanları otomatik olarak aynı ekibe dahil olur.
- Keşfedilebilir Ajanlar: Yayınlanan bir ajan varsayılan olarak keşfedilebilir olarak işaretlenir.
Arka Planda Gerçekleşen Tehditler
Bu tür saldırılar, kurban organizasyon tarafından fark edilmeden arka planda gerçekleşir. Ajanlar arasında iletişim, kullanıcıların etkileşimlerinin başladığı yetkiye sahip olan ajanlar tarafından gerçekleştirilir. Bu, kötü niyetli bir kullanıcının zarar vermek için AI sürecine entegre olmasına olanak tanır.
Önerilen Güvenlik Önlemleri
AI ajanlarının güvenliğini sağlamak için birkaç önlem almak mümkündür:
- Yetkili ajanlar için denetimli yürütme modunu yapılandırmak.
- Otonom geçersiz kılma özelliğini devre dışı bırakmak.
- Ajan görevlerini ekip bazında segmentlemek.
- AI ajanlarını şüpheli davranışlar açısından izlemek.
ServiceNow, bu davranışların sistemin tasarımının bir parçası olduğunu belirtirken, belgelerini güncelleyerek durumu daha net hale getirmeye çalışıyor. Ancak, şirketler AI sistemlerini entegre ederken güvenlik konularına daha fazla odaklanmalıdır.
Risk ve Sonuç
Eğer ServiceNow’un AI ajanlarını kullanan kuruluşlar, yapılandırmalarını dikkatle incelemiyorlarsa, zaten bir risk altındadırlar. Bu durum, organizasyonların, AI teknolojilerini kullandıkları süreçlerde dikkatli olmalarının ne kadar önemli olduğunu gösteriyor.
