Cloudflare personeli bir blog yazısında, “Üretken yapay zekanın popülaritesi, modelleri eğitmek veya çıkarımlar çalıştırmak için kullanılan içeriklere olan talebi hızla artırdı ve bazı yapay zeka şirketleri web kazıma botlarını açıkça tanımlasa da, tüm yapay zeka şirketleri şeffaf davranmıyor” diye yazdı.
Gönderinin yazarlarına göre, “Google’ın Reddit’in kullanıcı tarafından oluşturulan içeriklerini lisanslamak için yılda 60 milyon dolar ödediği bildirildi, Scarlett Johansson, OpenAI’nin kendi sesini izni olmadan yeni kişisel asistanları için kullandığını iddia etti ve en son olarak Perplexity, web sitelerinden içerik toplamak için meşru ziyaretçileri taklit etmekle suçlandı. Toplu halde orijinal içeriğin değeri hiç bu kadar yüksek olmamıştı.”
Geçtiğimiz yıl, Cloudflare, müşterilerinden herhangi birinin, herhangi bir planda, belirli AI tarayıcıları da dahil olmak üzere belirli bot kategorilerini engellemesinin bir yolunu tanıttı. Cloudflare, bu botların sitelerin robots.txt dosyalarındaki istekleri gözlemlediğini ve modellerini eğitmek için lisanssız içerik kullanmadığını veya beslemek için toplanmadığını söyledi. geri alma-artırılmış nesil (RAG) Uygulamalar.