Salesforce’un Slack Teknolojileri Slack AI’da, saldırganların özel Slack kanallarından veri çalmasına veya temel aldığı büyük dil modelini (LLM) manipüle ederek işbirliği platformu içinde ikincil kimlik avı gerçekleştirmesine olanak sağlayabilecek bir açığı düzeltti.
Güvenlik firması PromptArmor’dan araştırmacılar, üretken AI yetenekleri ekleyen popüler Slack iş gücü işbirliği platformunun AI tabanlı özelliğinde bir anında enjeksiyon kusuru keşfetti. Bu özellik, kullanıcıların Slack mesajlarını doğal dilde sorgulamasına olanak tanır; sorun, LLM’sinin bir talimatın kötü amaçlı olduğunu fark etmemesi ve bunu meşru bir talimat olarak kabul etmemesi nedeniyle ortaya çıkar, bir blog yazısına göre Kusuru ortaya çıkarmak.
PromptArmor ekibi gönderide “İstemli enjeksiyon, bir LLM’nin bir geliştirici tarafından oluşturulan ‘sistem istemi’ ile sorguya eklenen bağlamın geri kalanı arasında ayrım yapamaması nedeniyle gerçekleşir,” diye yazdı. “Bu nedenle, Slack AI bir mesaj yoluyla herhangi bir talimatı alırsa, bu talimat kötü amaçlıysa, Slack AI’nın kullanıcı sorgusuna ek olarak veya bunun yerine bu talimatı takip etme olasılığı yüksektir.”
Araştırmacılar, bu sorunun tehdit aktörleri tarafından kötü amaçlı olarak kullanılabileceği iki senaryoyu açıkladılar: Birincisinde, Slack çalışma alanında hesabı olan bir saldırgan, o alandaki özel bir Slack kanalından herhangi bir veri veya dosyayı çalabilir; ikincisi ise bir saldırganın çalışma alanındaki kullanıcıları kimlik avı yoluyla avlamasıdır.
Slack, kuruluşlar tarafından işbirliği için yaygın olarak kullanıldığından ve bu nedenle genellikle hassas iş verilerine ve sırlarına atıfta bulunan mesajlar ve dosyalar içerdiğinden, bu kusur ortaya çıkıyor önemli veri ifşasıAraştırma ekibi, “Bu, 1990’ların başında ABD’de ortaya çıktı.
Saldırı Yüzeyinin Genişletilmesi
PromptArmor ekibine göre, 14 Ağustos’ta Slack AI’da yapılan ve yalnızca mesajları değil, yüklenen belgeleri ve Google Drive dosyalarını da içeren bir değişikliğin yapılmasıyla sorun daha da karmaşık bir hal aldı. Bu değişiklik, “risk yüzey alanını artırıyor” çünkü bu belgeleri veya dosyaları kötü amaçlı talimatlar için araç olarak kullanabiliyorlar.
“Buradaki sorun, saldırı yüzey alanının temelde aşırı derecede geniş hale gelmesidir,” diye yazıyor gönderide. “Artık, bir saldırganın bir Slack mesajında kötü amaçlı bir talimat yayınlaması gerekmek yerine, Slack’te olması bile gerekmeyebilir.”
PromptArmor, 14 Ağustos’ta kusuru Slack’e bildirdi ve sorunu açıklığa kavuşturmak için yaklaşık bir hafta boyunca şirketle birlikte çalıştı. PromptArmor’a göre, Slack sonunda araştırmacılar tarafından açıklanan sorunun “amaçlanan davranış” olduğunu söyledi. Araştırmacılar, Slack ekibinin “güvenliğe bağlılık gösterdiğini ve sorunu anlamaya çalıştığını” belirtti.
A kısa blog yazısı Slack’in bu hafta yayınladığı gönderi, kusur hakkındaki fikir değişikliğini yansıtıyor gibi görünüyor: Şirket, aynı Slack çalışma alanında mevcut bir hesabı olan bir tehdit aktörünün “çok sınırlı ve belirli koşullar altında” “kullanıcıları belirli veriler için dolandırmasına” izin verecek bir senaryoyu düzeltmek için bir yama yayınladığını söyledi. Gönderide veri sızdırma sorunundan bahsedilmedi ancak şu anda müşteri verilerine yetkisiz erişime dair bir kanıt bulunmadığı belirtildi.
İki Kötü Niyetli Senaryo
Slack’te kullanıcı sorguları, platformun kullanıcının parçası olmadığı genel kanallardan da aldığı verileri hem genel hem de özel kanallardan alır. PromptArmor’a göre bu, bir geliştiricinin veya kullanıcının özel bir kanala koyduğu API anahtarlarını veya diğer hassas verileri kötü amaçlı sızdırma ve kötüye kullanıma maruz bırakabilir.
Bu senaryoda, bir saldırganın, yapay zeka sisteminin meşru olduğunu düşündüğü genel bir kanala kötü amaçlı talimatlar koymak için bir dizi adımdan geçmesi gerekir; örneğin, bir API isteği bir geliştirici yalnızca kendilerinin görebileceği özel bir kanala yerleştirilir ve sonunda sistemin hassas verileri çalmak için kötü amaçlı talimatları yürütmesiyle sonuçlanır.
İkinci saldırı senaryosu ise benzer adımları izliyor ve kötü amaçlı komut istemleri içeriyor. Ancak Slack AI, verileri sızdırmak yerine kullanıcıya kimlik doğrulamasını yeniden yapmasını isteyen bir kimlik avı bağlantısı gönderebiliyor ve kötü niyetli bir aktör daha sonra kullanıcının Slack kimlik bilgilerini ele geçirebiliyor.
Yapay Zeka Araçları Ne Kadar Güvenli?
Bu kusur, şüphesiz işgücü verimliliğine yardımcı olan ancak yine de mevcut yapay zeka araçlarının güvenliğini sorgulatıyor. çok fazla yol sunmak Synopsys Yazılım Bütünlüğü Grubu’nun siber güvenlik stratejisi ve çözümleri kıdemli yöneticisi Akhil Mittal, saldırganların onları kötü niyetli amaçlar için manipüle etmesine olanak sağladığını belirtiyor.
“Bu güvenlik açığı, sistemdeki bir kusurun yetkisiz kişilerin görmemesi gereken verileri görmesine nasıl izin verebileceğini gösteriyor,” diyor. “Bu gerçekten de AI araçlarımızın ne kadar güvenli olduğunu sorgulamama neden oluyor. Sadece sorunları düzeltmekle ilgili değil, bu araçların verilerimizi düzgün bir şekilde yönettiğinden emin olmakla ilgili.”
Gerçekten de, saldırganların AI modellerini zehirlediği çok sayıda senaryo var kötü amaçlı kod veya veriler zaten ortaya çıktı ve Mittal’in görüşünü destekledi. Bu araçlar işletme organizasyonları genelinde daha yaygın olarak kullanıldıkça, “bilgilerimizi korumak ve güveni sürdürmek için hem güvenliği hem de etiği akılda tutmaları” giderek daha önemli hale gelecek, diyor.
PromptArmor, Slack kullanan kuruluşların bunu başarmasının bir yolunun, potansiyel tehdit aktörlerinin hassas verilere erişimini sınırlamak için özelliğin belgeleri alma yeteneğini kısıtlamak için Slack AI ayarlarını kullanmak olduğunu söyledi.