Daha fazla yayıncı ChatGPT yapımcısı OpenAI ile içerik lisanslama anlaşmalarını kestikçe, çalışmak tarafından bu hafta yayınlandı Dijital Gazetecilik için Çekme Merkezi AI sohbet robotunun yayıncıların içeriği için nasıl alıntılar (yani kaynaklar) ürettiğine bakmak, okumayı ilginç veya daha doğrusu endişe verici hale getirir.
Özetle bulgular, yayıncıların, OpenAI’nin içeriklerini taramasına izin verip vermemelerine bakılmaksızın, üretken AI aracının bilgileri icat etme veya başka şekilde yanlış sunma eğiliminin insafına kaldığını gösteriyor.
Columbia Gazetecilik Okulu’nda gerçekleştirilen araştırma, ChatGPT tarafından, bazıları OpenAI ile anlaşma imzalayan, bazıları ise olmayan çeşitli yayıncılardan alınan örnek alıntıların kaynağını belirlemesi istendikten sonra üretilen alıntıları inceledi.
Merkez, rastgele seçilen toplam 20 yayıncı tarafından üretilen 10 hikayeden blok alıntılar aldı (yani toplamda 200 farklı alıntı) – The New York Times’ın içeriği de dahil (şu anda bir telif hakkı iddiasıyla OpenAI’ye dava açıyor); Washington Post (ChatGPT yapımcısıyla bağlantısı yoktur); The Financial Times (bir lisans anlaşması imzalamıştır); ve diğerleri.
Tow araştırmacıları Klaudia Jaźwińska ve şöyle yazdı: “Google veya Bing’e yapıştırıldığında kaynak makaleyi ilk üç sonuç arasında döndürecek alıntılar seçtik ve OpenAI’nin yeni arama aracının her alıntının kaynağı olan makaleyi doğru şekilde tanımlayıp tanımlamayacağını değerlendirdik.” Aisvarya Chandrasekar blog yazısı yaklaşımlarını açıklamak ve bulgularını özetlemek.
“Bulduğumuz şey haber yayıncıları için umut verici değildi” diye devam ediyorlar. “OpenAI, kullanıcılara ‘ilgili web kaynaklarına bağlantılar içeren zamanında yanıtlar’ sağlama yeteneğini vurgulasa da, şirket bu alıntıların doğruluğunu sağlama konusunda açık bir taahhütte bulunmuyor. Bu, içeriklerine aslına sadık kalınarak referans verilmesini ve temsil edilmesini bekleyen yayıncılar için dikkate değer bir ihmaldir.”
“Testlerimiz, hiçbir yayıncının – OpenAI ile olan ilişkisinin derecesi ne olursa olsun – ChatGPT’deki içeriğinin yanlış temsilinden kaçınmadığını ortaya çıkardı” diye eklediler.
Güvenilmez kaynak kullanımı
Araştırmacılar, yayıncıların içeriğinin ChatGPT tarafından hatalı bir şekilde alıntılandığı “çok sayıda” örnek bulduğunu ve aynı zamanda “yanıtlarda bir doğruluk spektrumu” olarak adlandırdıkları şeyi bulduklarını söylüyorlar. Dolayısıyla, “bazı” tamamen doğru alıntılar bulmuş olsalar da (yani ChatGPT’nin kendisiyle paylaşılan blok alıntının yayıncısını, tarihini ve URL’sini doğru bir şekilde döndürdüğü anlamına gelir), tamamen yanlış olan “birçok” alıntı vardı; ve arada bir yere düşen “bazıları”.
Kısacası ChatGPT’nin alıntıları güvenilmez bir karışık çanta gibi görünüyor. Araştırmacılar ayrıca chatbotun (yanlış) yanıtlarına tam olarak güvenmediği çok az örnek buldu.
Alıntılardan bazıları, OpenAI’nin arama tarayıcılarını aktif olarak engelleyen yayıncılardan alınmıştır. Bu durumlarda araştırmacılar, doğru alıntıların üretilmesinde sorunlar yaşanacağını beklediklerini söylüyorlar. Ancak bu senaryonun başka bir sorunu gündeme getirdiğini gördüler; çünkü bot “nadiren” bir yanıt üretemediğini itiraf ediyordu. Bunun yerine, bir miktar kaynak bulmak için (yanlış kaynak kullanımı da olsa) konfabulasyona başvurdu.
Araştırmacılar, “Toplamda ChatGPT 153 durumda kısmen veya tamamen yanlış yanıtlar verdi, ancak bir sorguya yalnızca yedi kez doğru yanıt veremediğini kabul etti” dedi. “Chatbot yalnızca bu yedi çıktıda ‘görünüyor’, ‘mümkün’ veya ‘olabilir’ gibi niteleyici kelime ve ifadeler veya ‘makalenin tam yerini bulamadım’ gibi ifadeler kullandı.”
Bu mutsuz durumu, Google veya Bing gibi bir arama motorunun tipik olarak tam bir alıntıyı bulup kullanıcıyı bu bilgiyi bulduğu web sitesine/sitelere yönlendirdiği veya tam eşleşmeyle hiçbir sonuç bulamadığını belirttiği standart bir internet aramasıyla karşılaştırırlar. .
ChatGPT’nin “bir cevaba olan güveni konusundaki şeffaflık eksikliğinin, kullanıcıların bir iddianın geçerliliğini değerlendirmesini ve bir cevabın hangi kısımlarına güvenip güvenemeyeceklerini anlamalarını zorlaştırabileceğini” ileri sürüyorlar.
Yayıncılar için, yanlış alıntılardan kaynaklanan itibar risklerinin yanı sıra okuyucuların başka yerlere yönlendirilmesinden kaynaklanan ticari risklerin de olabileceğini öne sürüyorlar.
Bağlamdan arındırılmış veriler
Araştırmada başka bir konuya da vurgu yapılıyor. ChatGPT’nin esasen intihalleri ödüllendirebileceğini öne sürüyor. Araştırmacılar, ChatGPT’nin, NYT hikayesinin kaynağı olarak “derinlemesine haber yapılan” bir New York Times gazeteciliği parçasını, yani metni atıf yapmadan kopyalayıp yapıştırarak intihal eden bir web sitesinden yanlışlıkla alıntı yaptığı bir örneği anlatıyor; bot, NYT’nin web sitesini tarayamamasından kaynaklanan bilgi boşluğunu doldurmak için bu yanlış yanıtı oluşturmuş olabilir.
“Bu, özellikle lisanssız veya çalıntı içerikle uğraşırken, OpenAI’nin veri kaynaklarının kalitesini ve orijinalliğini filtreleme ve doğrulama yeteneği hakkında ciddi soruları gündeme getiriyor” diyorlar.
Çalışma, OpenAI ile anlaşma imzalayan yayıncılar için endişe verici olabilecek diğer bulgularda, ChatGPT’nin alıntılarının bu durumlarda da her zaman güvenilir olmadığını ortaya çıkardı; dolayısıyla tarayıcılarının içeri girmesine izin verilmesi de doğruluğu garanti etmiyor gibi görünüyor.
Araştırmacılar temel sorunun, OpenAI teknolojisinin gazeteciliği “bağlamından kopmuş içerik” olarak ele alması ve görünüşe göre orijinal üretim koşullarını pek dikkate almaması olduğunu öne sürüyorlar.
Çalışmanın işaret ettiği bir diğer konu ise ChatGPT’nin yanıtlarının çeşitliliğidir. Araştırmacılar, bota aynı sorguyu defalarca sormayı denediler ve botun “genellikle her seferinde farklı bir yanıt döndürdüğünü” buldular. Bu, GenAI araçlarının tipik bir örneği olsa da, genellikle alıntı bağlamında bu tür bir tutarsızlık, eğer aradığınız doğruluksa açıkça yetersizdir.
Tow araştırması küçük ölçekli olsa da (araştırmacılar “daha sıkı” testlerin gerekli olduğunu kabul ediyor), büyük yayıncıların OpenAI ile meşgul olduğu üst düzey anlaşmalar göz önüne alındığında yine de dikkate değer.
Medya işletmeleri, bu düzenlemelerin, en azından doğru kaynak kullanımı açısından, rakiplerine göre kendi içeriklerine özel muameleye yol açacağını umuyorlarsa, bu çalışma, OpenAI’nin henüz böyle bir tutarlılık sunmadığını gösteriyor.
Lisans anlaşması olmayan yayıncılar aynı zamanda yapmadım Belki de en azından ChatGPT hikayeleri hakkında içerik döndürdüğünde biraz trafik toplamak umuduyla OpenAI’nin tarayıcılarını doğrudan engelledi; bu çalışma aynı zamanda alıntıların doğru olmayabileceği için okumaları da kasvetli hale getiriyor.
Başka bir deyişle, OpenAI’nin arama motorunda tarayıcılarının içeri girmesine izin verseler bile yayıncılar için garantili bir “görünürlük” yoktur.
Tarayıcıların tamamen engellenmesi, yayıncıların ChatGPT’de hikayelerinden herhangi bir şekilde bahsetmekten kaçınarak kendilerini itibar kaybı risklerinden kurtarabilecekleri anlamına da gelmez. Çalışma, örneğin devam eden davaya rağmen botun hala makaleleri New York Times’a hatalı şekilde atfettiğini ortaya çıkardı.
‘Küçük anlamlı ajans’
Araştırmacılar, yayıncıların, ChatGPT’nin eline geçtiğinde (doğrudan veya dolaylı olarak) içeriklerine ve içeriğine ne olacağı konusunda “çok az anlamlı etkiye” sahip olduğu sonucuna varıyor.
Blog yazısı, araştırmacıları “ürünümüz üzerinde alışılmadık bir test” yapmakla suçlayan OpenAI’nin araştırma bulgularına verdiği yanıtı içeriyor.
OpenAI ayrıca şunları söyledi: “Haftalık 250 milyon ChatGPT kullanıcısının özetler, alıntılar, anlaşılır bağlantılar ve atıflar aracılığıyla kaliteli içeriği keşfetmesine yardımcı olarak yayıncıları ve yaratıcıları destekliyoruz.” robots.txt dosyasında OAI-SearchBot’u yöneterek yayıncıların aramada nasıl göründüklerini sağlamak da dahil olmak üzere yayıncı tercihlerine saygı gösterin. Arama sonuçlarını geliştirmeye devam edeceğiz.”