Web Scraping Yoluyla Tehdit İstihbaratı

Tehdit istihbaratı, herhangi bir kuruluşun çevrimiçi etkinliğinin emniyet ve güvenliğinde kilit bir rol oynar ve iç altyapılarının bütünlüğünü korumada belirleyici bir faktördür.

Ancak siber güvenlik ortamındaki olası tehditleri geniş ölçekte değerlendirebilmek için verilere ve daha da önemlisi halka açık Web verilerine ihtiyaçları var.

Bunun nedeni, Web verilerinin güvenlik operatörlerinin sistemlerinde bulunabilecek güvenlik açıklarını, dış kuruluşların ağlarından kaynaklanabilecek tehditleri ve World Wide Web’de kuruluşlarını hedef alabilecek potansiyel riskleri daha iyi anlamalarına yardımcı olmasıdır.

Güvenlik Araştırması, İstihbarat ve Test Alanlarında Genel Web Verileri

Uygulamada, bu genel Web verileri koleksiyonu, olası kötü amaçlı yazılımların, kimlik avı bağlantılarının, farklı dolandırıcılık biçimlerinin, bilgi sızıntılarının ve sahtecilik planlarının varlığını keşfedebilecek kontrolleri otomatikleştirmek için kullanılır.

Esasen, güvenlik operatörlerine, çeşitli Web tabanlı sistemleri hedef alabilecek potansiyel güvenlik açıklarının haritasını çıkararak, gerçek canlı tehditleri veya izinsiz girişlerin kurumsal güvenliklerini etkilemesini yetkin bir şekilde algılamak, ele almak ve önlemek için ihtiyaç duydukları görünürlüğü sağlar.

Web Veri Toplama Ağları

Bu artan görünürlüğü elde etmek için güvenlik firmaları ve operatörler, büyük miktarda bilgi toplamak için halka açık Web veri toplama ağlarını veya daha sonra tehditleri gerçek zamanlı olarak tanımlamak, izlemek ve değerlendirmek için kullandıkları Web verilerini kullanır.

Web veri toplama ağları (IP proxy ağları dahil), dijital risklerin iç altyapılarının bütünlüğünden ödün vermeden kuruluşlarına ulaşmasını nasıl önleyeceklerini keşfetmek için risksiz bir ortam sağlar.

Bunu başarmak için güvenlik operatörleri, potansiyel olarak kötü amaçlı web siteleri veya URL’ler riskini değerlendirmek için istekleri Web veri toplama ağları aracılığıyla yönlendirir.

İstekler daha sonra bilgileri veya Web verilerini döndürür. Bu Web verileri, etki alanının isteğe nasıl tepki verdiğine dair ayrıntılar sağlar ve bu da güvenlik ekiplerinin tehdidi (veya eksikliğini) değerlendirmesine ve Web tabanlı sistemlerine ulaşmadan önce hafifletmek için uygun önlemleri almasına olanak tanır.

Uygulamalar içinde, bu yöntem, isteklerin yönlendirilme şeklini göz önünde bulundurarak, bilgilere tek yönlü erişim sağlayan bir güvenlik duvarı sağlar: kendi iç sistemlerinden uzağa – kuruluşlarının dahili ağını korur.

Güvenlik Kullanım Örnekleri:

ABD Bankalarını Hedefleyen Olası Kötü Amaçlı Yazılımlar ve Kimlik Avı Dolandırıcılık Planları için Kazıma

Bazı önde gelen ABD bankalarının güvenlik departmanları, olası çevrimiçi tehdit aktörleri hakkında bilgi toplamak ve kötü amaçlı yazılımları incelemek için halka açık Web veri toplama ağlarını kullanır.

Ek olarak, potansiyel olarak kötü amaçlı web siteleri veya bağlantılar için kamu alanını sürekli ve otomatik olarak taramak için Web kazıma tekniklerini kullanırlar. Örneğin, güvenlik ekipleri, kullanıcı adları, parolalar veya kredi kartı bilgileri gibi hassas müşteri veya şirket bilgilerini çalmaya çalışan farklı kimlik avı sitelerini otomatik olarak belirleyebilir.

Buradan, kuruluşun ağına bir e-posta geldiğinde veya bir web sitesine yaklaşıldığında, güvenlik ekibi buna bağlı risk parametrelerini zaten biliyor.

Siber Güvenlik Firmaları için Web Scraping

Bir dizi siber güvenlik firması, farklı etki alanlarının kötü amaçlı yazılım ve dolandırıcılık riskini değerlendirmek için Web veri toplamayı kullanır.

Potansiyel olarak kötü amaçlı etki alanlarının listelerini oluşturur veya satın alırlar ve ardından isteğe nasıl tepki vereceklerini görmek için DNS isteklerini bu bağlantıların, sunucuların veya web sitelerinin her birine yönlendirirler.

Bu, siber güvenlik firmalarına, kötü amaçlı olabilecek web sitelerine bir “kurban” veya gerçek bir kullanıcı olarak yaklaşma ve web sitesinin riski doğru bir şekilde değerlendirmek için şüphelenmeyen bir ziyaretçiyi nasıl hedefleyeceğini görme yeteneği sağlar.

Tehdit Araştırması ve Azaltma

Tehdit istihbaratı firmaları, çeşitli potansiyel tehditlere ilişkin yeni ipuçlarını belirlemek için bilgisayar korsanı veya uygulama forumları, halka açık sosyal medya kanalları, bloglar vb. gibi çeşitli bilgi kaynaklarından yararlanmak için halka açık Web veri toplama ağlarını kullanır.

Bu Web verileri koleksiyonu, daha sonra kendi güvenlik operasyonlarını desteklemek isteyen geniş bir müşteri yelpazesiyle paylaştıkları istihbarat içgörülerinin temelidir.

Temel Çıkarımlar

Genel olarak, Web veri toplama ağlarıyla entegrasyon, bir kuruluşun görünürlüğünü ve geniş çevrimiçi ortamdaki dijital tehditlerle gerçek zamanlı olarak başa çıkma becerisini geliştirir.

Bu, uzaktan çalışmada yapılan son değişiklikler ve koronavirüsün başlamasının ardından her yerde yaygınlaşan çevrimiçi operasyonlar, stratejiler ve hizmetler göz önüne alındığında özellikle önemlidir; kurumsal güvenlik.

Bu nedenle, güvenlik ekiplerinin önündeki görev giderek daha zor hale gelirken, Web veri toplama ağları, bir zamanlar karmaşık olan bu çileyi, otomasyon için seçenekler sunarak çok daha yönetilebilir bir çabaya dönüştürdü — daha fazla bilgi kaynağını hedeflemelerine yardımcı olarak, sırayla tanımlama büyük planda kendi iç sistemlerinin bütünlüğünü korurken daha fazla risk.

yazar hakkında

Veya Lenchner, Temmuz 2018’den beri Bright Data’nın CEO’sudur. Son birkaç yılda, onun liderliğinde şirket, ürün tekliflerini türünün ilk örneği otomatik çözümleri içerecek şekilde geliştirerek 15.000’den fazla kullanıcıya olanak sağlamıştır. müşterilerin kamuya açık verileri birkaç dakika içinde toplaması ve alması. Bright Data’daki kariyerinden önce Lenchner, dijital varlıklar ve çevrimiçi pazarlama programları geliştirerek birkaç Web tabanlı işletme kurdu ve yönetti.