Microsoft’un sorumlu yapay zekadan sorumlu baş ürün sorumlusu Sarah Bird şunları söylüyor: Sınır bir röportajda ekibinin, oluşturdukları yapay zeka hizmetlerini test etmek için kırmızı ekip üyesi gruplarını işe almayan Azure müşterileri için kullanımı kolay olacak birkaç yeni güvenlik özelliği tasarladığını söyledi. Microsoft Yüksek Lisans destekli bu araçların potansiyel güvenlik açıklarını tespit edebildiğini söylüyor“makul olan ancak desteklenmeyen” halüsinasyonları izleyin ve platformda barındırılan herhangi bir modelle çalışan Azure AI müşterileri için kötü amaçlı istemleri gerçek zamanlı olarak engelleyin.
“Müşterilerimizin hepsinin anlık enjeksiyon saldırıları veya nefret dolu içerik konusunda derin bir uzmanlığa sahip olmadığını biliyoruz, dolayısıyla değerlendirme sistemi bu tür saldırıları simüle etmek için gereken istemleri üretiyor. Müşteriler daha sonra bir puan alabilir ve sonuçları görebilirler” diyor.
Üç özellik: Uyarı Kalkanlarımodellere eğitimlerine aykırı davranma talimatı veren harici belgelerden gelen istem enjeksiyonlarını veya kötü niyetli istemleri engelleyen; Topraklama Tespitihalüsinasyonları bulup engelleyen; Ve güvenlik değerlendirmeleriModel güvenlik açıklarını değerlendiren . Modelleri güvenli çıktılara yönlendirmeye ve potansiyel sorunlu kullanıcıları işaretlemek için istemleri izlemeye yönelik diğer iki özellik de yakında gelecek.
Kullanıcı ister bir bilgi istemi yazıyor olsun, ister model üçüncü taraf verilerini işliyor olsun, izleme sistemi, yanıtlaması için modele göndermeye karar vermeden önce herhangi bir yasaklı kelimeyi tetikleyip tetiklemediğini veya gizli istemler içerip içermediğini görmek için bunu değerlendirecektir. Daha sonra sistem, modelin yanıtına bakar ve modelin belgede veya bilgi isteminde olmayan bilgilerin halüsinasyon görüp görmediğini kontrol eder.
Google Gemini görüntüleri örneğinde, önyargıyı azaltmak için yapılan filtrelerin istenmeyen etkileri oldu; Microsoft, Azure AI araçlarının daha özelleştirilmiş kontrole izin vereceğini söylediği bir alandır. Bird, Microsoft ve diğer şirketlerin yapay zeka modelleri için neyin uygun olup olmadığına karar verme konusunda endişeler bulunduğunu kabul ediyor ve bu nedenle ekibi, Azure müşterilerinin modelin gördüğü ve engellediği nefret söylemi veya şiddet filtrelemesini değiştirebilecek bir yol ekledi.
Gelecekte Azure kullanıcıları Ayrıca kullanıcıların raporunu da alabilirsiniz Güvenli olmayan çıktıları tetiklemeye çalışan kişiler. Bird, bunun sistem yöneticilerine hangi kullanıcıların kendi kırmızı ekip ekibi olduğunu ve hangilerinin daha kötü niyetli kişiler olabileceğini anlamalarına olanak tanıdığını söylüyor.
Bird, güvenlik özelliklerinin GPT-4’e ve Llama 2 gibi diğer popüler modellere anında “eklendiğini” söylüyor. Ancak Azure’un model bahçesi birçok yapay zeka modeli içerdiğinden, daha küçük, daha az kullanılan açık kaynaklı sistem kullanıcılarının güvenliği manuel olarak işaretlemeleri gerekebilir. modellere ait özellikler.
