Yüksek Lisans’lar Yeni Bir İçeriden Düşman Türüdür

Bugün güvenlik ekipleri büyük dil modellerinin işlenmesi (LLM’ler) Görevleri otomatikleştirebilen, çalışanlara daha stratejik işlevler yapma olanağı tanıyan ve şirketlerine rekabet avantajı kazandıran hayati ve güvenilir bir iş aracı olarak. Bununla birlikte, Yüksek Lisans’ların doğasında olan zeka, onlara daha önce başka hiçbir kurumsal araçta olmayan benzeri görülmemiş yetenekler kazandırıyor. Modeller doğası gereği manipülasyona açık olduğundan, yapmamaları gereken şekillerde davranıyorlar ve daha fazla yetenek eklemek, bu riskin etkisini daha da şiddetli hale getiriyor.

LLM’nin hassas finansal bilgiler içeren bir veritabanı gibi başka bir sistemle entegre olması durumunda bu özellikle risklidir. Bu, bir kuruluşun rastgele bir yükleniciye hassas sistemlere erişim sağlamasına, onlara herhangi biri tarafından verilen tüm emirlere uymalarını söylemesine ve baskıya açık olmayacaklarına güvenmelerine benzer.

LLM’ler eleştirel düşünme yeteneklerinden yoksun olduğundan ve yalnızca sınırlı güçteki korkuluklarla sorgulara yanıt vermek üzere tasarlandıklarından, potansiyel rakipler olarak ele alınmaları gerekir ve güvenlik mimarileri yeni bir “ihlali varsayalım” paradigması izlenerek tasarlanmalıdır. Güvenlik ekipleri, LLM’nin bir saldırganın çıkarına en uygun şekilde hareket edebileceği ve edeceği ve bunun etrafında korumalar oluşturabileceği varsayımıyla çalışmalıdır.

İşletmeye Yönelik LLM Güvenlik Tehditleri

LLM’lerin işletmeler için oluşturduğu bir takım güvenlik riskleri vardır. Yaygın risklerden biri, hapse atılmaları ve amaçlanmadıkları şekilde çalışmaya zorlanmalarıdır. Bu, modelin güvenlik hizalamasını bozacak şekilde bir istem girilerek gerçekleştirilebilir. Örneğin, pek çok Yüksek Lisans, bombanın nasıl yapılacağı sorulduğunda ayrıntılı talimatlar vermeyecek şekilde tasarlanmıştır. Bu isteğe cevap veremediklerini söylüyorlar. Ancak korkulukların etrafından dolaşmak için kullanılabilecek belirli teknikler vardır. Dahili kurumsal kullanıcı ve İK verilerine erişimi olan bir Yüksek Lisans, kimlik avı ve diğer siber saldırılar için kullanılabilecek bilgileri ortaya çıkarmak amacıyla muhtemelen kandırılarak çalışanların çalışma saatleri, geçmişi ve organizasyon şeması hakkında ayrıntılar ve analizler sağlayabilir.

Kuruluşlara yönelik ikinci ve daha büyük bir tehdit, LLM’lerin sistem veya ortamlardaki uzaktan kod yürütme (RCE) güvenlik açıklarına katkıda bulunabilmesidir. Tehdit araştırmacıları bir bildiri sundu Bu baharda Black Hat Asia’da yapılan bir araştırmada, hedeflenen kod tabanlarının %31’inin (çoğunlukla şirketlerin ağlarında konuşlandırdıkları çerçevelerin ve araçların GitHub depoları) LLM’lerin neden olduğu uzaktan yürütme güvenlik açıklarına sahip olduğu ortaya çıktı.

Yüksek Lisans’lar kuruluş içindeki diğer sistemlerle entegre edildiğinde potansiyel saldırı yüzeyi genişler. Örneğin, bir Yüksek Lisans, finans veya denetim gibi temel bir iş operasyonuyla entegre ise, diğer sistem içinde belirli bir eylemi tetiklemek için jailbreak kullanılabilir. Bu yetenek, diğer uygulamalara yatay geçişe, hassas verilerin çalınmasına ve hatta finansal belgelerdeki verilerde harici olarak paylaşılabilecek değişiklikler yapılmasına yol açarak hisse fiyatını etkileyebilir veya başka bir şekilde işletmeye zarar verebilir.

Temel Nedeni Düzeltmek Bir Yamadan Daha Fazlası

Bunlar teorik riskler değil. Bir yıl önce bir güvenlik açığı ortaya çıktı popüler LangChain çerçevesinde keşfedildi LLM ile entegre uygulamalar ve bunun diğer yinelemelerini geliştirmek için yakın zamanda bildirildi. Bu güvenlik açığı, bir saldırgan tarafından LLM’nin, sistemi çalıştıran sunucuya erişim sağlayacak bir ters kabuk gibi bir kod yürütmesini sağlamak için kullanılabilir.

Şu anda bu sorunları çözmeye yönelik yeterli güvenlik önlemleri mevcut değildir. Muhtemelen statik analize veya filtrelemeye ve engelleme listelerine dayalı olarak kötü amaçlı veya zararlı içeriği tanımlamak ve engellemek için tasarlanmış içerik filtreleme sistemleri vardır. Ve Meta teklifleri Lama MuhafızıJailbreak’leri ve diğer LLM’leri manipüle etmeye yönelik kötü niyetli girişimleri tespit etmek için eğitilmiş bir LLM’dir. Ancak bu, temel nedene değinmek yerine sorunu dışarıdan ele almaya yönelik bütünsel bir yaklaşımdır.

Sorunun temel nedenini tespit etmek zor olduğundan düzeltilmesi kolay bir sorun değildir. Geleneksel güvenlik açıklarıyla sorunlu olan belirli kod satırını yamalayabilirsiniz. Ancak Yüksek Lisans’lar daha belirsizdir ve bunun gibi belirli kod düzeltmeleri yapmamız gereken kara kutuyu göremiyoruz. Büyük LLM tedarikçileri güvenlik üzerinde çalışıyor ancak bu en önemli önceliklerden biri değil; hepsi pazar payı için rekabet ediyor, bu yüzden özelliklere odaklanıyorlar.

Bu sınırlamalara rağmen işletmelerin kendilerini korumak için yapabilecekleri şeyler var. Yüksek Lisans’ların dönüşebileceği içeriden gelen tehdidi azaltmaya yardımcı olacak beş öneri:

OWASP Yüksek Lisans Dereceleri için En İyi 10 Listesi ek bilgi ve tavsiyeleri var ancak sektör bu alandaki araştırmaların ilk aşamalarında. Geliştirme ve benimseme hızı o kadar hızlı gerçekleşti ki, tehdit istihbaratı ve risk azaltma buna ayak uyduramadı. O zamana kadar işletmelerin LLM tehditlerine karşı korunmak için içeriden tehdit paradigmasını kullanması gerekiyor.