ABD hükümeti, yapay zeka (AI) ile ilgili tehditlere karşı kritik altyapıyı güçlendirmeyi amaçlayan yeni güvenlik yönergelerini açıkladı.
İç Güvenlik Bakanlığı (DHS), “Bu yönergeler, on altı kritik altyapı sektörünün tamamındaki yapay zeka risklerini değerlendirmeye ve yapay zeka sistemlerine yönelik ve yapay zeka sistemlerini içeren tehditleri ele almaya yönelik tüm hükümet çabalarıyla desteklenmektedir.” söz konusu Pazartesi.
Ayrıca ajans, teknolojinin bireylerin mahremiyetini, sivil haklarını ve sivil özgürlüklerini ihlal etmeyecek şekilde güvenli, sorumlu ve güvenilir bir şekilde kullanılmasını kolaylaştırmak için çalıştığını söyledi.
Yeni kılavuz, kritik altyapıya yönelik saldırıları artırmak ve ölçeklendirmek için yapay zekanın kullanımı, yapay zeka sistemlerinin düşmanca manipülasyonu ve bu tür araçlardaki istenmeyen sonuçlara yol açabilecek eksikliklerle ilgilidir; yapay zekayı değerlendirmek ve azaltmak için şeffaflık ve tasarım uygulamalarıyla güvenlik ihtiyacını gerektirir. riskler.
Spesifik olarak bu, yapay zeka yaşam döngüsü boyunca yönetme, haritalama, ölçme ve yönetme gibi dört farklı işlevi kapsar.
- Yapay zeka risk yönetimine yönelik kurumsal bir kültür oluşturun
- Bireysel yapay zeka kullanım bağlamınızı ve risk profilinizi anlayın
- Yapay zeka risklerini değerlendirmek, analiz etmek ve izlemek için sistemler geliştirin
- Emniyet ve güvenliğe yönelik yapay zeka risklerini önceliklendirin ve bunlara göre hareket edin
Ajans, “Kritik altyapı sahipleri ve operatörleri, yapay zeka risklerini değerlendirirken ve uygun hafifletici önlemleri seçerken kendi sektöre ve bağlama özel yapay zeka kullanımlarını hesaba katmalıdır.” söz konusu.
“Kritik altyapı sahipleri ve operatörleri, yapay zeka sağlayıcılarına olan bu bağımlılıkların nerede mevcut olduğunu anlamalı ve azaltma sorumluluklarını buna göre paylaşmalı ve tanımlamalıdır.”
Gelişme, Avustralya, Kanada, Yeni Zelanda, İngiltere ve ABD’den oluşan Beş Göz (FVEY) istihbarat ittifakının, yapay zeka sistemlerinin dağıtımı için gereken dikkatli kurulum ve yapılandırmayı belirten bir siber güvenlik bilgi sayfası yayınlamasından haftalar sonra geldi.
Hükümetler, “Yapay zeka yeteneklerinin hızla benimsenmesi, konuşlandırılması ve kullanılması, bunları kötü niyetli siber aktörler için son derece değerli hedefler haline getirebilir” dedi. söz konusu.
“Tarihsel olarak hassas bilgilerin ve fikri mülkiyetin veri hırsızlığını kendi çıkarları için kullanmış olan aktörler, konuşlandırılmış yapay zeka sistemlerini benimseyip bunları kötü amaçlara uygulamak isteyebilir.”
Önerilen en iyi uygulamalar arasında dağıtım ortamının güvenliğini sağlamaya yönelik adımların atılması, yapay zeka modellerinin kaynağının ve tedarik zinciri güvenliğinin gözden geçirilmesi, sağlam bir dağıtım ortamı mimarisinin sağlanması, dağıtım ortamı yapılandırmalarının güçlendirilmesi, yapay zeka sisteminin bütünlüğünü sağlamak için doğrulanması, model ağırlıklarının korunması, sıkı erişim kontrolleri yapın, harici denetimler yapın ve sağlam günlük kaydı uygulayın.
Bu ayın başlarında CERT Koordinasyon Merkezi (CERT/CC) detaylı Keras 2 sinir ağı kitaplığında, bir saldırganın popüler bir yapay zeka modelini truva atı haline getirmek ve onu yeniden dağıtmak için kullanabileceği ve bağımlı uygulamaların tedarik zincirini etkili bir şekilde zehirleyebileceği bir eksiklik.
Son araştırmalar yapay zeka sistemlerinin hassas geniş bir yelpazeye hızlı enjeksiyon saldırıları Yapay zeka modelinin güvenlik mekanizmalarını atlatmasına ve zararlı çıktılar üretmesine neden olan.
Microsoft, “Zehirli içerik yoluyla yapılan hızlı enjeksiyon saldırıları büyük bir güvenlik riskidir çünkü bunu yapan bir saldırgan, sanki kendisi kullanıcıymış gibi yapay zeka sistemine komutlar verebilir” dedi. kayıt edilmiş yakın zamanda yayınlanan bir raporda.
Crescendo olarak adlandırılan böyle bir teknik, çok turlu büyük dil modeli (LLM) jailbreak olarak tanımlandı; bu, Anthropic’in çok atışlı jailbreak işlemi gibi, “dikkatle hazırlanmış sorular veya LLM’yi yavaş yavaş yönlendiren istemler sorarak modeli kötü amaçlı içerik üretmesi için kandırıyor” Hedefi bir kerede istemek yerine, arzu edilen sonuca ulaşmayı hedefliyoruz.”
LLM jailbreak istemleri artık Siber suçlular arasında popüler Ulus devlet aktörleri casusluk yapmak ve operasyonları etkilemek için üretken yapay zekayı silahlandırmaya başlamışken, etkili kimlik avı tuzakları yaratmaya çalışıyorlar.
Daha da endişe verici olanı, Illinois Urbana-Champaign Üniversitesi’nde yapılan araştırmalar, LLM temsilcilerinin otonom olarak kullanılabileceğini keşfetti. bir günlük güvenlik açıklarından yararlanın gerçek dünyadaki sistemlerde yalnızca CVE açıklamalarını kullanarak ve “web sitelerini hacklemekkör veritabanı şeması çıkarma ve SQL ekleme gibi karmaşık görevleri insan geri bildirimi olmadan gerçekleştiriyor.”