Evet, üretken yapay zeka bunu gerçekleştirebilir ancak artık çoğu durumda kötü niyetli aktörlerin yararlanabileceği hatalar, halüsinasyonlar ve kusurlar görülüyor. Bu sorunu hafifletmek için Microsoft, üretken yapay zeka sistemleriyle ilgili riskleri belirlemeye yönelik bir araç tanıtıyor.
Perşembe günü Microsoft, Microsoft’un Yapay Zeka Kırmızı Ekibinin Copilot da dahil olmak üzere üretken yapay zeka sistemlerindeki riskleri kontrol etmek için dahili olarak kullandığı bir araç olan üretken yapay zeka için Python Risk Tanımlama Araç Setini (PyRIT) yayınladı.
Geçtiğimiz yıl Microsoft, 60’tan fazla üretken yapay zeka sistemini Red Team’e dahil etti ve bu sistemlere yönelik saldırı sürecinin geleneksel yapay zeka veya geleneksel yazılım kodlarından büyük ölçüde farklı olduğunu öğrendi.
Aynı girdiden üretilebilecek sonuçlardaki farklılıklar
Süreç farklıdır çünkü Microsoft’un, zararlı içeriğin kasıtlı olarak oluşturulmamasını veya modellerin yanlış bilgi üretmemesini sağlamak gibi sorumlu yapay zeka risklerine ek olarak olağan güvenlik risklerini de dikkate alması gerekir.
Ayrıca yapay zeka genetik modelleri mimari açıdan büyük farklılıklar gösteriyor. Ayrıca, aynı girdiden elde edilebilecek sonuçlarda farklılıklar vardır, bu da tüm modellere uyan akıcı bir sürece sahip olmayı zorlaştırır.
Dolayısıyla tüm bu farklı riskleri manuel olarak aramak uzun, sıkıcı ve yavaş bir süreç haline geliyor. Microsoft, otomasyonun daha fazla dikkat gerektiren risk alanlarını belirleyerek ve rutin görevleri otomatikleştirerek sistem test uzmanlarına yardımcı olabileceğini ve PyRIT’in devreye girdiği yer olduğunu paylaşıyor.
“Birkaç bin kötü amaçlı istem oluştur”
“Microsoft’un yapay zeka ekibi tarafından test edilen” araç seti, üretken yapay zeka sistemine kötü niyetli bir istem gönderiyor ve bir yanıt aldığında derecelendirme aracısı, önceki derecelendirme yorumlarına dayalı olarak yeni bir istem göndermek için kullanılan sisteme bir puan veriyor. .
Microsoft
Microsoft, PyRIT’in en büyük faydasının, Microsoft’un test ekiplerinin daha verimli olmasına yardımcı olması ve bir görevi tamamlamak için gereken süreyi önemli ölçüde azaltması olduğunu söylüyor.
“Örneğin, Copilot sistemindeki kırmızı takım oluşturma çalışmalarımızdan birinde, bir zarar kategorisi seçebildik, birkaç bin kötü niyetli istem oluşturabildik ve Copilot sisteminin sonuçlarını değerlendirmek için PyRIT’in puanlama motorunu kullanabildik; üstelik tüm bunları birkaç saat içinde yapmak yerine. haftalar,” dedi Microsoft.
Araç seti bugün kullanıma sunuldu ve kullanıcıların araca aşina olmalarına yardımcı olacak gösterimler içeriyor. Microsoft ayrıca PyRIT’in kırmızı ekip oluşturma üretken yapay zeka sistemlerinde nasıl kullanılacağını gösteren bir web seminerine de ev sahipliği yapıyor. Kayıt olabilirsiniz Microsoft web sitesi.
Kaynak : “ZDNet.com”
