Bir dizi deney, popüler büyük dil modeli (LLM) ChatGPT’nin, yapay zeka (AI) modeli bu tür etkinlikler için özel olarak eğitilmemiş olsa da, savunucuların olası güvenlik olaylarını önceliklendirmesine ve koddaki güvenlik açıklarını bulmasına yardımcı olmak için yararlı olabileceğini gösteriyor. , bu hafta açıklanan sonuçlara göre.
Kaspersky’de olay müdahale ekibi lideri Victor Sergeev, ChatGPT’nin bir olay yanıt aracı olarak kullanımına ilişkin 15 Şubat’ta yaptığı bir analizde, ChatGPT’nin güvenliği ihlal edilmiş sistemlerde çalışan kötü amaçlı işlemleri tanımlayabildiğini buldu. Sergeev, bir sisteme Meterpreter ve PowerShell Empire aracılarını bulaştırdı, düşman rolünde ortak adımlar attı ve ardından sisteme karşı ChatGPT destekli bir tarayıcı çalıştırdı.
LLM, sistemde çalışan iki kötü amaçlı işlemi belirledi ve 137 zararsız işlemi doğru bir şekilde göz ardı ederek, potansiyel olarak ek yükü önemli bir dereceye kadar düşürdü, diye yazdı deneyi açıklayan bir blog yazısında.
“ChatGPT, şüpheli hizmet kurulumlarını yanlış pozitifler olmadan başarıyla tespit etti” Sergeev yazdı. “İkinci hizmet için, hizmetin neden uzlaşma göstergesi olarak sınıflandırılması gerektiğine dair bir sonuç sağladı.”
Güvenlik araştırmacıları ve yapay zeka bilgisayar korsanlarının tümü ChatGPT’ye ilgi duyarak LLM’deki zayıflıkları araştırırken, diğer araştırmacılar ve siber suçlular LLM’yi karanlık tarafa çekmeye çalışarak onu daha iyi kimlik avı e-postaları mesajları üretmeye veya kötü amaçlı yazılım oluşturmaya ayarladı. .
Yine de güvenlik araştırmacıları, genelleştirilmiş dil modelinin savunmayla ilgili belirli görevlerde nasıl performans gösterdiğine de bakıyor. Aralık ayında adli bilişim firması Cado Security, ChatGPT’yi kullanarak bir uzlaşma zaman çizelgesi oluşturmak iyi ancak tamamen doğru olmayan bir rapor oluşturan bir olaydan elde edilen JSON verilerini kullanmak. Güvenlik danışmanı NCC Group, ChatGPT’yi şu şekilde denedi: koddaki güvenlik açıklarını bulmanın bir yoluki yaptı, ancak her zaman doğru değil.
Güvenlik danışmanlığı şirketi NCC Group’un baş bilim adamı Chris Anley, sonuç olarak, güvenlik analistlerinin, geliştiricilerin ve tersine mühendislerin, özellikle yeteneklerinin kapsamı dışındaki görevler için LLM’leri kullanırken dikkatli olmaları gerektiğidir.
“Profesyonel geliştiricilerin ve kodla çalışan diğer kişilerin kesinlikle ChatGPT ve benzer modelleri keşfetmesi gerektiğini düşünüyorum, ancak kesinlikle doğru, olgusal sonuçlardan çok ilham için,” diyor ve ekliyor: “Güvenlik kodu incelemesi, yapmamız gereken bir şey değil. ChatGPT’yi şunun için kullanıyorum, bu yüzden ilk seferde mükemmel olmasını beklemek haksızlık olur.”
AI ile IoC Analizi
Kaspersky deneyi, ChatGPT’ye bilgisayar korsanlarının Mimikatz ve Fast Reverse Proxy gibi birkaç aracı hakkında soru sorarak başladı. AI modeli bu araçları başarıyla tanımladı, ancak iyi bilinen hash’leri ve etki alanlarını tanımlaması istendiğinde başarısız oldu. LLM, örneğin, WannaCry kötü amaçlı yazılımının iyi bilinen bir karmasını tanımlayamadı.
Bununla birlikte, ana bilgisayardaki kötü amaçlı kodu tanımlamanın göreli başarısı, Kasperky’den Sergeev’in ChatGPT’den bir sistemden meta verileri ve güvenlik ihlali göstergelerini toplayıp bunları LLM’ye göndermek için bir PowerShell betiği oluşturmasını istemesine yol açtı. Kodu manuel olarak iyileştirdikten sonra, Sergeev komut dosyasını virüslü test sisteminde kullandı.
Genel olarak Kaspersky analisti, test sistemindeki 3.500’den fazla olayın meta verilerini analiz etmek için ChatGPT’yi kullandı ve 17’si yanlış pozitif olan 74 potansiyel uzlaşma göstergesi buldu. Deney, ChatGPT’nin bir uç nokta algılama ve yanıt (EDR) sistemi çalıştırmayan, kod gizlemeyi veya tersine mühendislik kodu ikili dosyalarını tespit etmeyen şirketler için adli tıp bilgileri toplamak için yararlı olabileceğini öne sürüyor.
Sergeev ayrıca yanlışlıkların çok gerçek bir sorun olduğu konusunda uyardı. “Bunun üretebileceği yanlış pozitiflere ve yanlış negatiflere dikkat edin” diye yazdı. “Günün sonunda, bu, beklenmedik sonuçlar üretmeye eğilimli başka bir istatistiksel sinir ağı.”
Cado Security, analizinde, ChatGPT’nin genellikle sonuçlarının güvenilirliğini sağlamadığı konusunda uyardı. “Bu, OpenAI’nin ChatGPT ile ilgili yaygın bir endişesidir. [has] Cado’nun analizi, kendilerini büyüttü – halüsinasyon görebilir ve halüsinasyon gördüğünde bunu güvenle yapar” dedi.
Adil Kullanım ve Gizlilik Kurallarının Açıklığa kavuşturulması Gerekiyor
Deneyler, OpenAI’nin ChatGPT sistemine gönderilen verilerle ilgili bazı kritik sorunları da gündeme getiriyor. Şirketler şimdiden, İnternet’teki bilgileri kullanarak veri kümelerinin oluşturulmasına istisna uygulamaya başladılar; Clearview AI Ve Kararlılık AI makine öğrenimi modellerini kullanımlarını kısıtlamaya çalışan davalarla karşı karşıya.
Gizlilik başka bir konudur. NCC Group’tan Anley, güvenlik uzmanlarının sunulan güvenlik ihlali göstergelerinin hassas verileri açığa çıkarıp çıkarmadığını veya analiz için yazılım kodu göndermenin bir şirketin fikri mülkiyetini ihlal edip etmediğini belirlemesi gerektiğini söylüyor.
“ChatGPT’ye kod göndermenin iyi bir fikir olup olmadığı büyük ölçüde koşullara bağlıdır” diyor. “Pek çok kod özeldir ve çeşitli yasal korumalar altındadır, bu nedenle insanların, izinleri olmadıkça üçüncü taraflara kod göndermelerini önermem.”
Sergeev benzer bir uyarıda bulundu: Gizliliği tespit etmek için ChatGPT’yi kullanmak, zorunlu olarak sisteme hassas veriler gönderir, bu da şirket politikasını ihlal edebilir ve iş riski oluşturabilir.
“Bu betikleri kullanarak, hassas veriler de dahil olmak üzere verileri OpenAI’ye gönderiyorsunuz, bu yüzden dikkatli olun ve önceden sistem sahibine danışın.”