Bulut parlaması duyurulan planlar Pazartesi günü, web sitesi sahiplerinin AI model sağlayıcılarına sitelerinin içeriğini tarama erişimi satabilecekleri bir pazar yeri başlatmak için gelecek yıl. Pazar yeri, Cloudflare CEO’su Matthew Prince’in yayıncılara AI botlarının web sitelerini nasıl ve ne zaman tarayacağı konusunda daha fazla kontrol sağlama planının son adımıdır.
Prince, TechCrunch’a verdiği röportajda, “Eğer yaratıcılara bir şekilde tazminat ödemezseniz, yaratıcılığı bırakırlar ve çözülmesi gereken konu da budur” dedi.
Oraya ulaşmanın bir yolu olarak Cloudflare, Pazartesi günü AI Audit adlı müşteriler için ücretsiz gözlem araçları başlattı. Web sitesi sahipleri, AI modellerinin sitelerini bilgi için neden, ne zaman ve ne sıklıkla taradığına dair analizleri görüntülemek için bir panoya sahip olacak. Cloudflare ayrıca müşterilerin bir düğmeye tıklayarak AI botlarını sitelerinden engellemesine izin verecek. Web sitesi sahipleri, AI Audit kullanarak tüm web kazıyıcılarını engelleyebilir veya anlaşmaları varsa veya kazımalarını faydalı buluyorlarsa belirli web kazıyıcılarının geçmesine izin verebilir.
TechCrunch ile paylaşılan bir AI Audit demosu, web sitesi sahiplerinin AI modellerinin sitelerini nasıl kazıdığını görmek için aracı nasıl kullanabileceklerini gösterdi. Cloudflare’in aracı, sitenizi ziyaret eden her kazıyıcının nereden geldiğini görebilir ve OpenAI, Meta, Amazon ve diğer AI modeli sağlayıcılarından kazıyıcıların sitenizi kaç kez ziyaret ettiğini görmek için seçici pencereler sunar.
Cloudflare, AI endüstrisinin üzerinde beliren bir sorunu ele almaya çalışıyor: İnsanlar web siteleri yerine ChatGPT’ye giderse, daha küçük yayıncılar AI çağında nasıl ayakta kalacak? Günümüzde, AI modeli sağlayıcıları LLM’lerine güç veren bilgiler için binlerce küçük web sitesini tarıyor. Bazı büyük yayıncılar içerik lisansı için OpenAI ile anlaşmalar yapmış olsa da, çoğu web sitesi hiçbir şey almıyor, ancak içerikleri hala günlük olarak popüler AI modellerine aktarılıyor. Bu, birçok web sitesinin iş modellerini bozabilir ve acilen ihtiyaç duydukları trafiği azaltabilir.
Bu yazın başlarında, AI destekli arama girişimi Perplexity, Robots Exclusion Protocol’ü kullanarak taranmak istemediklerini kasten belirten web sitelerini kazımakla suçlandı. Kısa bir süre sonra Cloudflare, müşterilerin tüm AI botlarını tek tıklamayla engelleyebilmelerini sağlamak için bir düğme yayınladı.
Prince, “İnsanların içeriklerinin çalındığı hissine kapılmasından dolayı duyduğumuz hayal kırıklığından kaynaklanıyordu” dedi.
Bazı web sitesi sahipleri, Business Insider’a yapay zeka botlarının web sitelerini o kadar çok kazıdığını söyledi ki, DDoS saldırısına benziyordu sunucularını çökertiyordu. Web sitenizin kazınması sadece can sıkıcı olmakla kalmayıp, bulut faturanızı kelimenin tam anlamıyla artırabilir ve hizmetinizi etkileyebilir.
Peki ya Perplexity’nin botlarını engellemek isterseniz ama OpenAI’ninkini istemezseniz? Prince, TechCrunch’a Cloudflare müşterilerinin sitelerine hangi AI modellerinin erişebileceğini seçmelerine izin veren araçlar istediklerini söyledi. Cloudflare’in bugün piyasaya sürülen yeni araçları, müşterilerin bazı AI tarayıcılarını engellemesine izin verirken diğerlerinin geçmesine izin verecek.
Prince’e göre, OpenAI ile lisans anlaşmaları yapan büyük yayıncılar bile (TIME, Condé Nast ve The Atlantic gibi) ChatGPT’nin web sitelerini ne kadar kazıdığına dair nispeten az bilgiye sahip. Birçoğu OpenAI’nin onlara söylediklerini kabul etmek zorunda, ancak cevap yayıncıların iyi bir lisans anlaşması alıp almadıklarını belirliyor.
Ancak Cloudflare’in önümüzdeki yıl içerisinde faaliyete geçmesi planlanan pazaryeri, küçük yayıncıların da yapay zeka modeli sağlayıcılarıyla anlaşmalar yapmasını sağlamayı amaçlıyor.
“Hepinize daha önce yalnızca Reddit, Quora ve dünyanın büyük yayıncılarının yaptığı şeyi yapma yeteneği verelim,” dedi Prince. “Ya içeriğinize erişim ve bu sistemlere alınması için etkili bir fiyat belirlemenize izin verirsek?”
Bu cesur bir fikir olsa da, Cloudflare pazarının nasıl görüneceğine dair tam olarak ayrıntılı bir fikir paylaşmıyor. Prince, web sitelerinin AI modeli sağlayıcılarından, tek tek web sitelerini kazıdıkları oranlara göre ücret alabileceğini, ancak gerçekte ne kadar ödeyeceklerinin belirsiz olduğunu söylüyor. Dahası, web sitelerinin kazınmak için parasal bir ücret talep edebileceğini veya AI laboratuvarlarından kendilerine kredi vermelerini isteyebileceğini söylüyor. Ayrıntılar belirsiz.
AI şirketleri başlangıçta şu anda ücretsiz olarak aldıkları içerik için ödeme yapmaktan heyecan duymasa da, Cloudflare CEO’su bunun nihayetinde AI ekosistemi için iyi olduğunu düşünüyor. Prince, bazı AI şirketlerinin içerik için hiçbir zaman ödeme yapmadığı mevcut durumun sürdürülebilir olmadığını söylüyor.
