Uzun süredir Gartner analisti olan Avivah Litan (bugünlerde resmi ünvanı Seçkin Başkan Yardımcısı Analist) yakın zamanda LinkedIn’de yazdı Bu tür genAI çabalarının siber güvenlik tehlikeleri hakkında. Noktaları güvenlik yetenekleri için tasarlanmış olsa da, anlattığı sorunlar kesinlikle BT için daha büyük bir sorun.
“Kurumsal AI, personelin AI kullanımını korumak için gereken araçlara sahip olmadığı çoğu Güvenlik Operasyonunun radarının altında kalıyor,” diye yazdı. “Geleneksel Appsec araçları, AI varlıkları için güvenlik açığı taramaları söz konusu olduğunda yetersizdir. Önemlisi, Güvenlik personeli genellikle kurumsal AI geliştirmede yer almaz ve veri bilimcileri ve AI mühendisleriyle çok az temas kurar. Bu arada, saldırganlar Hugging Face’e kötü amaçlı modeller yüklemekle meşguldür ve çoğu kuruluşun bakmaya zahmet etmediği yeni bir saldırı vektörü oluşturur.
“Noma Security, bir müşterinin indirdiği ve iyi bilinen bir açık kaynaklı LLM modelini taklit eden bir model tespit ettiklerini bildirdi. Saldırgan, ileri bir işleve neden olan birkaç satır kod ekledi. Yine de model mükemmel bir şekilde çalıştı, bu nedenle veri bilimcileri hiçbir şeyden şüphelenmedi. Ancak modele gelen her girdi ve modelden gelen her çıktı da saldırgana gönderildi ve saldırgan da hepsini çıkarabildi. Noma ayrıca binlerce virüslü veri bilimi not defteri keşfetti. Yakın zamanda müşterilerinin Jupyter not defterlerindeki tüm aktiviteleri kaydeden bir tuş kaydı bağımlılığı buldular. Tuş kaydı, yakalanan aktiviteyi bilinmeyen bir yere göndererek Jupyter not defterlerini hedef almayan Security’den kaçındı.”