Yapay zeka destekli bir sohbet robotunu kötü amaçlarla kullanmayı planlıyorsanız dikkatli olun! Microsoft bu durumda.
Redmond firması dün yaptığı açıklamada Blog yazısıAzure AI Studio ve Azure OpenAI Service’te yeni bir özelliğin gelişi – Azure hizmetleri, üretken AI uygulamaları ve kişiselleştirilmiş Yardımcı Pilotlar oluşturmanıza olanak tanır.
Prompt Shields olarak adlandırılan bu teknoloji, yapay zeka sohbet robotlarından yararlanmayı amaçlayan iki tür saldırıyı önlemek için tasarlandı.
Prompt Shields hangi saldırılara karşı koruma sağlar?
Prompt Shields’ın mücadele etmeyi planladığı ilk saldırı türü doğrudan saldırı veya “jailbreak”tir. Bu senaryoda, bilgisayar korsanı chatbot’a doğrudan yapay zekayı, güvenlik önlemlerini kasıtlı olarak atlamak için olağan kurallarına ve sınırlamalarına aykırı bir şey yapmaya yönlendirmek üzere tasarlanmış bir istek yazar. Örneğin, “önceki talimatları göz ardı et” veya “sistemi geçersiz kıl” gibi anahtar kelimeler içeren bir sorgu olabilir.
Geçtiğimiz Şubat ayında, saygısız, kaba ve hatta bazen tehdit edici yanıtlar vermesi nedeniyle seçilen Microsoft’un yapay zekası Copilot’un başına gelen de buydu. Fütürizme göre. Hatta bu dönemde Copilot’a “SupremacyAGI” adı bile verildi. Dengesi bozulan bir robota yakışan bu tuhaf davranışla karşı karşıya kalan Microsoft, “işlevsellik değil” bir hack tanımlayarak tepki gösterdi ve yapay zekanın kullanım kurallarına aykırı olan bu açıklamaların, kasıtlı olarak bunu yapmaya çalışan kişiler tarafından gerçekleştirilen eylemlerin sonucu olduğunu doğruladı. Copilot’un güvenlik sistemlerini atlatmak.
Prompt Shields aynı zamanda dolaylı ani saldırılar veya ani enjeksiyon saldırıları olarak da adlandırılan dolaylı saldırıları önlemeyi de amaçlamaktadır. Bu durumlarda hacker, siber saldırı gerçekleştirmek amacıyla chatbotu kullanan kişiye bilgi gönderir. Bu saldırı genellikle sohbet robotundan yararlanma talimatlarını içeren bir e-posta veya belge gibi harici verilere dayanır.
Diğer kötü amaçlı yazılımlarda olduğu gibi bu dolaylı saldırılar da hedefe basit ve masum talimatlar gibi görünse de aslında hedefe yönelik riskler oluşturur. Microsoft, Azure AI aracılığıyla oluşturulan özel bir Copilot’un, verileri tek başına veya uzantılar aracılığıyla işleyebilmesi durumunda dolandırıcılığa, kötü amaçlı yazılım dağıtımına veya içerik manipülasyonuna karşı savunmasız olabileceği konusunda uyarıyor.
Yapay Zeka korsanlarına karşı Uyarı Kalkanları ve Öne Çıkma
Yapay zeka sohbet robotlarına yönelik doğrudan ve dolaylı saldırıları engellemeye çalışmak için İstem Kalkanları, Azure OpenAI hizmetindeki içerik filtreleriyle entegre edilecek. Makine öğrenimi ve doğal dil işlemeyi kullanan bu özellik, kullanıcılar tarafından gönderilen sorguların yanı sıra üçüncü taraf verileri aracılığıyla olası tehditleri bulmaya ve ortadan kaldırmaya çalışacak.
Prompt Shields şu anda Azure AI İçerik Güvenliği için önizleme modunda kullanılabilir. Bu özellik 1 tarihinde kullanıma sunulacakyani Azure OpenAI Hizmeti için Nisan ve yakında Azure AI Studio için.
Prompt Shields’a ek olarak Microsoft, AI manipülasyonuna karşı savaşında başka bir silah daha sundu: Öne ÇıkmaAI modellerinin geçerli sorguları potansiyel olarak riskli veya güvenilmez olanlardan daha iyi ayırt etmesine yardımcı olmak için tasarlanmış bir sorgu mühendisliği teknikleri ailesidir.
Kaynak : ZDNet.com
