Reddit duyuruldu Salı günü, otomatik web botlarına bir siteyi taramalarına izin verilip verilmediğini bildiren Robot Hariç Tutma Protokolünü (robots.txt dosyası) güncelleyeceğini duyurdu.
Geçmişte robots.txt dosyası, arama motorlarının bir siteden çıkıp insanları içeriğe yönlendirmesine olanak sağlamak için kullanılıyordu. Ancak yapay zekanın yükselişiyle birlikte web siteleri, içeriğin gerçek kaynağı belirtilmeden kaldırılıyor ve modelleri eğitmek için kullanılıyor.
Güncellenen robots.txt dosyasıyla birlikte Reddit, hızı sınırlamaya ve bilinmeyen botların ve tarayıcıların platformuna erişmesini engellemeye devam edecek. Şirket TechCrunch’a, Reddit’in Kamu İçerik Politikasına uymamaları ve platformla bir anlaşmaları olmaması durumunda botların ve tarayıcıların hızının sınırlandırılacağını veya engelleneceğini söyledi.
Reddit, güncellemenin kullanıcıların çoğunluğunu veya araştırmacılar ve İnternet Arşivi gibi kuruluşlar gibi iyi niyetli aktörleri etkilememesi gerektiğini söylüyor. Bunun yerine güncelleme, AI şirketlerini büyük dil modellerini Reddit içeriği üzerinde eğitmekten caydırmak için tasarlandı. Yapay zeka tarayıcıları elbette Reddit’in robots.txt dosyasını göz ardı edebilir.
Duyuru bir kaç gün sonra gelir Kablolu soruşturma Yapay zeka destekli arama girişimi Perplexity’nin içerik çaldığını ve kazıdığını tespit etti. Wired, Perplexity’nin robots.txt dosyasında başlatmayı engellemiş olmasına rağmen web sitesini kazımama yönündeki istekleri görmezden geldiğini tespit etti. Şaşkınlık CEO’su Aravind Srinivas yanıtladı iddialara yanıt vererek robots.txt dosyasının yasal bir çerçeve olmadığını söyledi.
Reddit’in yaklaşan değişiklikleri anlaşmalı olduğu şirketleri etkilemeyecek. Örneğin, Reddit’te bir Google ile 60 milyon dolarlık anlaşma Bu, arama devinin yapay zeka modellerini sosyal platformun içeriğine göre eğitmesine olanak tanıyor. Bu değişikliklerle Reddit, Reddit’in verilerini AI eğitimi için kullanmak isteyen diğer şirketlere ödeme yapmak zorunda kalacaklarının sinyalini veriyor.
Reddit, “Reddit içeriğine erişen herkes, redditçileri korumaya yönelik olanlar da dahil olmak üzere politikalarımıza uymak zorundadır” dedi. blog yazısında. “Reddit içeriğine geniş ölçekli erişim konusunda kiminle çalışacağımız ve güveneceğimiz konusunda seçici davranıyoruz.”
Reddit’in birkaç hafta önce ticari kuruluşlar ve diğer ortaklar tarafından Reddit verilerine nasıl erişilip kullanıldığına rehberlik etmek üzere tasarlanan yeni bir politika yayınlaması nedeniyle duyuru sürpriz olmadı.
