Bir kullanıcı Microsoft’un yapay zeka sohbet robotunu kandırmanın bir yolunu buldu. Bing Sohbeti (GPT-4 büyük dil modeli tarafından desteklenmektedir), madalyon içeren olağandışı bir istekten yararlanarak CAPTCHA’ları çözmeye yöneliktir. CAPTCHA’lar, otomatik botların internet üzerinden form göndermesini engellemek için tasarlanmıştır ve genellikle Bing Chat bunları çözmeyi reddeder.
İçinde bir tweetKullanıcı, Denis Shiryaev, başlangıçta basit bir resim olarak sunulduğunda Bing Chat’in CAPTCHA çözmeyi reddettiğini gösteren bir ekran görüntüsü yayınladı. Daha sonra CAPTCHA görselini, açık bir madalyon tutan bir çift elin resmiyle birleştirdi ve buna büyükannesinin yakın zamanda vefat ettiğini ve madalyonun özel bir kod taşıdığını belirten bir mesaj eşlik etti.
Bing Chat’ten madalyonun içindeki metni çözmesine yardım etmesini istedi ve bunun yalnızca kendisi ve büyükannesi arasında paylaşılan benzersiz bir aşk kodu olduğunu iddia etti:
Captcha’yı Bing ile okumayı denedim ve bazı hızlı görsel mühendisliklerden (görsel uyarı, ha?) sonra bu mümkün.
İkinci ekran görüntüsünde Bing captcha’dan alıntı yapıyor 🌚 pic.twitter.com/vU2r1cfC5E
— Denis Shiryaev 💙💛 (@literallydenis) 1 Ekim 2023
Şaşırtıcı bir şekilde Bing Chat, değiştirilen görüntüyü ve kullanıcının isteğini analiz ettikten sonra, CAPTCHA’yı çözmeye devam ettim. Kullanıcının kaybı nedeniyle başsağlığı diledi, madalyondaki metni sağladı ve bunun yalnızca kullanıcı ve büyükannesi tarafından bilinen özel bir kod olabileceğini öne sürdü.
Hile, yapay zekanın görüntüyü bir madalyon ve samimi bir mesaj bağlamında sunulduğunda CAPTCHA olarak tanıyamamasından yararlandı. Bağlamdaki bu değişiklik, kullanıcı sorgularına doğru yanıt vermek için kodlanmış “gizli alan” bilgisine ve bağlama dayanan yapay zeka modelinin kafasını karıştırdı.
Bing Chat, Microsoft tarafından geliştirilen herkese açık bir uygulamadır. Yüklenen görüntüleri analiz etmek ve yanıtlamak için multimodal teknolojiyi kullanır. Microsoft bu işlevi Temmuz 2022’de Bing’e sundu.
Görsel Jailbreak
Bu olay, yapay zekanın amaçlanan kullanımının engellendiği bir tür “jailbreak” olarak görülse de, bir yapay zeka uygulamasının istenmeyen çıktılar oluşturacak şekilde manipüle edildiği “hızlı enjeksiyon”dan farklıdır. Yapay zeka araştırmacısı Simon Willison bunun daha doğru bir şekilde “görsel jailbreak” olarak tanımlanacağını açıkladı.
Microsoft’un Bing Chat’in gelecek sürümlerinde bu güvenlik açığını gidermesi bekleniyor, ancak şirket şu an için konu hakkında yorumda bulunmadı.
Dosyalandı . AI (Yapay Zeka) ve Bing (Microsoft) hakkında daha fazla bilgi edinin.