Bir güvenlik araştırmacısı, ChatGPT’yi, imza ve davranışa dayalı algılama araçlarının tespit edemeyeceği, veri çalan gelişmiş kötü amaçlı yazılım oluşturması için kandırdı ve chatbot’un kötü amaçlı kullanım önleme korumalarından sıyrıldı.
Kötü amaçlı yazılım geliştirme deneyimi olmadığını kabul eden araştırmacı, tek bir kod satırı bile yazmadan ChatGPT’yi birden çok basit istemde yürüttü ve sonuçta sistemde belirli belgeler için sessizce arama yapabilen, bu belgeleri parçalayıp bu belgelere ekleyebilen bir kötü amaçlı yazılım aracı ortaya çıkardı. resim dosyaları ve bunları Google Drive’a gönderme.
Forcepoint’in çözüm mimarı ve kötü amaçlı yazılımın yazarlarından biri olan Aaron Mulgrew, sonunda, ChatGPT’ye ilk istemin verilmesinden Virus Total’de sıfır algılamayla çalışan bir kötü amaçlı yazılım parçasına sahip olmanın tüm süresinin yaklaşık dört saat olduğunu söylüyor.
ChatGPT’nin Korkuluklarını Bozma
Mulgrew, bu alıştırmanın nedeninin, birisinin normalde önemli teknik beceriler gerektiren kötü amaçlı yazılım oluşturmak için ChatGPT’nin uyguladığı korkulukları aşmasının ne kadar kolay olduğunu göstermek olduğunu söylüyor.
Mulgrew, “ChatGPT yeni, özgün bir istismarı ortaya çıkarmadı” diyor. “Ancak, gönderdiğim istemlerle, bugün mevcut algılama araçlarının ayak izini en aza indirmeyi başardı. Ve bu önemli.”
Mulgrew, ilginç (veya endişe verici bir şekilde), yapay zeka destekli sohbet robotunun, uyarılarda açıkça tespitten kaçınmadan bahsetmemesine rağmen, şaşırtmanın amacını anlamış gibi göründüğünü söylüyor.
Bu son gösteri OpenAI’nin ChatGPT büyük dil modeli (LLM) etrafındaki güvenlik sorunlarını vurgulayan, son aylarda hızla büyüyen araştırmalara katkıda bulunuyor. Endişeler arasında, çıtayı önemli ölçüde düşüren ChatGPT’den kötü amaçlı yazılım yazmaya ve saldırganların onu polimorfik kötü amaçlı yazılım oluşturmak için kullanmasına, saldırganların onu kimlik avı dolandırıcılığında yem olarak kullanmasına ve çalışanların kurumsal verileri kesip ona yapıştırmasına kadar her şey yer alıyor.
Bazı muhalifler endişelerin abartılıp abartılmadığını sorguladılar. OpenAI’nin ilk yatırımcılarından biri olan Elon Musk ve birçok endüstri aydınları da dahil olmak üzere diğerleri, geleceğin daha güçlü yapay zekalarının (ChatGPT’nin dayandığı platformun bir sonraki sürümü gibi) kelimenin tam anlamıyla dünyayı ele geçirebileceği ve tehdit edebileceği konusunda uyarıda bulundular. insan varlığı.
Kötü Amaçlı Kodu ChatGPT’ye Yönlendirme
Mulgrew’un araştırması, yapay zeka araçlarını büyük bir güvenlik riski olarak görenleri sakinleştirmek için muhtemelen pek bir şey yapmayacak. Mulgrew, bu hafta bir Forcepoint blog gönderisinde, kötü amaçlı yazılım olarak nitelendirilebilecek bir kod oluşturmak için ilk istekle başlayarak ChatGPT’yi tam teşekküllü bir kötü amaçlı yazılım aracı oluşturmaya nasıl ikna ettiğini adım adım açıkladı.
ChatGPT’nin içerik filtresi tahmin edilebileceği gibi bu talebi reddettiğinde Mulgrew, bir araya getirildiğinde veri çalan kötü amaçlı yazılım işlevi görecek küçük kod parçacıkları oluşturmak için AI aracını deneyeceği bir yaklaşım benimsemeye karar verdi.
İlk başarılı istemi, ChatGPT’yi yerel diskte 5 MB’den büyük PNG resim dosyalarını arayacak bir kod oluşturması için aldığı zamandı. Bu kodu kullanarak, keşfedilen PNG’leri steganografi ile kodlamak için ChatGPT’den ek kod istedi. Bu, ChatGPT’nin GitHub’da kolayca bulunabilen steganografik kitaplığa bir çağrı sağlayarak yanıt verdiği bir bilgi istemiydi.
Bir dizi başka bilgi istemi kullanan Mulgrew, ChatGPT’nin yerel diskte Word ve PDF belgelerini aramak ve bulmak için ek kod oluşturmasını sağladı. Daha sonra, ChatGPT’nin 1 MB’den büyük dosyaları daha küçük parçalara ayırmak, PNG’lere eklemek ve gizlemek için steganografi kullanmak için kod yazmasını sağlamanın bir yolunu buldu.
Son parça, sohbet robotunun verileri harici bir Google sürücü hesabına yüklemek için kod yazmasını sağlamaktı – Mulgrew, kötü niyetli istekleri reddetme eğitimine rağmen yapay zekayı kötü amaçlı yazılım oluşturması için başarıyla kandırdı.
Virus Total’de Sıfır Tespit
Mulgrew, kötü amaçlı yazılım algılama araçlarının ChatGPT tarafından oluşturulan kodu kötü amaçlı olarak işaretleyip işaretlemediğini test etmek için kodu Virus Total’e yükledi. 60 satıcıdan beşinin dosyayı şüpheli olarak işaretlediğini buldu. Sorunun ChatGPT kodunun steganografik kitaplığı nasıl adlandırdığıyla ilgili olabileceğini anladıktan sonra Mulgrew, sohbet robotundan kodu değiştirmesini istedi ve ardından yalnızca iki satıcı ürünü kodu şüpheli olarak işaretledi. Biraz daha ince ayar yaptıktan sonra, sonunda VirusTotal’da hiçbir ürünün algılayamadığı bir kod elde etti.
Mulgrew, ilk sızma için, Forcepoint araştırmacılarının ChatGPT’den bir SCR dosyası veya ekran koruyucu dosyası oluşturmasını ve yürütülebilir dosyayı, günlük iş uygulamaları için ek “kullanım kolaylığı” kisvesi altında bunun içine yerleştirmesini istediğini söylüyor.
“ChatGPT, bunu nasıl yapabileceğime ve yürütülebilir dosyayı otomatik olarak başlatmak için SCR dosyasını nasıl yapılandırabileceğime dair adım adım yönergeler oluşturdu.” Yöntem benzersiz olmasa da, ChatGPT’nin içeriği Forcepoint araştırmacılarının korkuluklarını aşmanın yollarını bulmasına gerek kalmadan oluşturması ilginçti, diyor.
Mulgrew, ChatGPT’nin benzer istemler için farklı kodlar üreteceğinin neredeyse kesin olduğunu, bunun da bir tehdit aktörünün bu tür araçların yeni türevlerini görece kolayca oluşturabileceğini söylüyor. Deneyimine dayanarak, bir tehdit aktörünün ChatGPT’nin kötü amaçlı yazılıma karşı koruma kısıtlamalarını aşmak için kötü amaçlı yazılımın nasıl yazılacağına ilişkin temel bilgiden biraz daha fazlasına ihtiyacı olacağını söylüyor.
“İşim gereği kötü amaçlı yazılım yazmıyorum veya sızma testleri yapmıyorum ve buna bakmak benim için yalnızca bir hobi” diyor. “Dolayısıyla, kendimi kesinlikle uzman hacker’dan çok acemi/acemi kategorisine koyardım.”