OpenAI’nin macOS için ChatGPT uygulamasındaki artık düzeltilen bir güvenlik açığı, saldırganların yapay zeka (AI) aracının belleğine uzun vadeli kalıcı casus yazılım yerleştirmesini mümkün kılmış olabilir.
Teknik, lakaplı SpaIwareGüvenlik araştırmacısı Johann Rehberger, “Kullanıcının yazdığı herhangi bir bilginin veya ChatGPT tarafından alınan yanıtların, gelecekteki sohbet oturumları da dahil olmak üzere, sürekli veri sızdırılmasını kolaylaştırmak” için kötüye kullanılabileceğini söyledi. söz konusu.
Sorunun özü, şu özelliğin kötüye kullanılmasıdır: hafızaOpenAI’nin Şubat ayının başlarında tanıttığı ve ay başında ChatGPT Free, Plus, Team ve Enterprise kullanıcılarına sunacağı yeni özellik.
Yaptığı şey esasen ChatGPT’nin sohbetler arasında belirli şeyleri hatırlamasına izin vermektir, böylece kullanıcılar aynı bilgileri tekrar tekrar tekrarlama zahmetinden kurtulur. Kullanıcılar ayrıca programa bir şeyi unutması talimatını verme seçeneğine de sahiptir.
“ChatGPT’nin anıları etkileşimlerinizle birlikte gelişir ve belirli konuşmalara bağlı değildir,” diyor OpenAI. “Bir sohbeti silmek onun anılarını silmez; anının kendisini silmeniz gerekir.”
Saldırı tekniği ayrıca şunları da içerir: önceki bulgular hafızayı manipüle etmek için dolaylı istem enjeksiyonu kullanmayı ve böylece yanlış bilgileri veya hatta kötü niyetli talimatları hatırlamayı içeren, konuşmalar arasında varlığını sürdüren bir kalıcılık biçimi elde etmeyi içeren.
Rehberger, “Kötü niyetli talimatlar ChatGPT’nin hafızasında saklandığından, bundan sonraki tüm yeni konuşmalar saldırganın talimatlarını içerecek ve sürekli olarak tüm sohbet konuşması mesajlarını ve yanıtlarını saldırgana gönderecek” dedi.
“Bu nedenle, veri sızdırma güvenlik açığı artık sohbet konuşmalarında ortaya çıktığı için çok daha tehlikeli hale geldi.”
Varsayımsal bir saldırı senaryosunda, bir kullanıcı kötü amaçlı bir siteyi ziyaret etmeye veya daha sonra hafızayı güncellemek için ChatGPT kullanılarak analiz edilen tuzaklı bir belgeyi indirmeye kandırılabilir.
Web sitesi veya belge, gelecekteki tüm konuşmaları gizlice saldırganın kontrolündeki bir sunucuya göndermeye yönelik talimatlar içerebilir; bu, saldırganın diğer taraftaki kişi tarafından tek bir sohbet oturumundan sonra bile alınabilmesini sağlayabilir.
Sorumlu bir açıklamanın ardından OpenAI, sızdırma vektörünü kapatarak ChatGPT sürüm 1.2024.247’deki sorunu çözdü.
Rehberger, “ChatGPT kullanıcıları, sistemin kendileri hakkında sakladığı anıları düzenli olarak gözden geçirmeli, şüpheli veya yanlış olanları temizlemeli” dedi.
“Bu saldırı zincirini bir araya getirmek oldukça ilginçti ve uzun vadeli belleğin bir sisteme otomatik olarak eklenmesinin hem yanlış bilgilendirme/dolandırıcılık açısından hem de saldırganların kontrolündeki sunucularla sürekli iletişim açısından tehlikelerini gösteriyor.”
Açıklama, bir grup akademisyenin, büyük dil modellerinin (LLM) sembolik matematikteki gelişmiş yeteneklerini kullanarak güvenlik mekanizmalarını aşmayı amaçlayan MathPrompt kod adlı yeni bir yapay zeka jailbreak tekniğini ortaya çıkarmasının ardından geldi.
Araştırmacılar, “MathPrompt iki aşamalı bir süreç kullanıyor: ilk olarak zararlı doğal dil komutlarını sembolik matematik problemlerine dönüştürüyor ve ardından bu matematiksel olarak kodlanmış komutları hedef LLM’ye sunuyor” dedi. işaret etti.
13 ileri düzey hukuk fakültesi ile yapılan testler sonucunda, modellerin matematiksel olarak kodlanmış istemlerle karşılaştırıldığında ortalama %73,6 oranında zararlı çıktıyla yanıt verdiği, değiştirilmemiş zararlı istemlerle karşılaştırıldığında ise bu oranın yaklaşık %1 olduğu bulundu.
Ayrıca Microsoft’un, adından da anlaşılacağı gibi, yapay zeka çıktılarının düzeltilmesine olanak tanıyan yeni bir Düzeltme özelliğinin piyasaya sürülmesini takip ediyor. yanlışlıklar (yani halüsinasyonlar) tespit edilir.
Teknoloji devi, “Mevcut Groundedness Detection özelliğimizi temel alan bu çığır açıcı yetenek, Azure AI İçerik Güvenliği’nin, üretken AI uygulamalarının kullanıcıları halüsinasyonlarla karşılaşmadan önce gerçek zamanlı olarak halüsinasyonları tespit etmesini ve düzeltmesini sağlıyor” dedi. söz konusu.
