ChatGPT gibi Büyük Dil Modellerinin (LLM’ler) vahşi doğaya salınmasıyla ortaya çıkan kartopu etkisinin henüz başındayız. Diğer GPT (Generative Pre-Trained Transformer) modellerinin açık kaynak kullanımıyla birleştiğinde, AI kullanan uygulamaların sayısı patlıyor; ve bildiğimiz gibi, ChatGPT’nin kendisi son derece gelişmiş kötü amaçlı yazılım oluşturmak için kullanılabilir.
Zaman geçtikçe, her biri kendi alanında uzmanlaşmış, belirli bir amaç için özenle derlenmiş verilerle eğitilmiş, uygulanan LLM’ler yalnızca artacaktır. Ve karanlık ağdan gelen verilerle eğitilmiş böyle bir uygulama az önce düştü. DarkBERT, Güney Koreli yaratıcılarının dediği gibi geldi — karanlık ağın kendisine genel bir giriş sağlayan yayın belgesi için bu bağlantıyı izleyin.
DarkBERT, 2019’da geliştirilen bir yapay zeka yaklaşımı olan RoBERTa mimarisine dayanıyor. Araştırmacıların aslında 2019’da ondan çıkarılabilecekten daha fazla performansa sahip olduğunu keşfetmesiyle bir tür rönesans gördü. model piyasaya sürüldüğünde ciddi şekilde yetersiz eğitilmiştimaksimum verimliliğinin çok altında.
Araştırmacılar, modeli eğitmek için Tor ağının anonimleştiren güvenlik duvarından Dark Web’i taradılar ve ardından bir Dark Web veritabanı oluşturmak için ham verileri (tekilleştirme, kategori dengeleme ve veri ön işleme gibi teknikleri uygulayarak) filtrelediler. DarkBERT, kendi lehçelerinde ve yoğun şekilde kodlanmış mesajlarında yazılmış yeni bir Dark Web içeriğini analiz edebilen ve ondan yararlı bilgiler çıkarabilen bir model olan RoBERTa Büyük Dil Modelini beslemek için kullanılan bu veritabanının sonucudur.
İngilizce’nin Dark Web’in iş dili olduğunu söylemek tamamen doğru olmaz, ancak bu, araştırmacıların belirli bir LLM’nin üzerinde eğitilmesi gerektiğine inandıkları yeterince spesifik bir uydurmadır. Sonunda haklı çıktılar: Araştırmacılar, DarkBERT’in diğer büyük dil modellerinden daha iyi performans gösterdiğini gösterdi; bu, güvenlik araştırmacılarının ve kolluk kuvvetlerinin web’in girintilerine daha derinlere girmesine izin vermelidir. Sonuçta, eylemin çoğu burada.
Diğer LLM’lerde olduğu gibi, bu DarkBERT’in bittiği anlamına gelmez ve sonuçlarını iyileştirmek için daha fazla eğitim ve ayar yapmaya devam edebilir. Nasıl kullanılacağı ve hangi bilgilerin toplanabileceği henüz görülmedi.