Görünüşe göre insanlar, AI dil modelleri tarafından yazıldığında tweet’leri daha inandırıcı buluyor. En azından yeni dizide durum böyleydi. çalışmak insanlar tarafından oluşturulan içeriğin, OpenAI’nin GPT-3 modeli tarafından oluşturulan dille karşılaştırılması.
Yeni araştırmanın yazarları, bir tweet’in başka bir kişi tarafından mı yoksa Chat-GPT tarafından mı yazıldığını ayırt edip edemeyeceklerini görmek için insanlarla anket yaptı. Sonuç? İnsanlar gerçekten yapamadı. Ankette ayrıca her tweet’teki bilgilerin doğru olup olmadığına karar vermeleri istendi. Özellikle içerik, çevrimiçi olarak pek çok yanlış bilgilendirme kampanyasına konu olan aşılar ve iklim değişikliği gibi bilim konularına odaklandığından, işlerin daha da zorlaştığı yer burasıdır.
Çalışmaya katılanların, başka bir kişi tarafından yazılmasına göre dil modeliyle yazılmışsa dezenformasyonu fark etmekte daha zorlandıkları ortaya çıktı. Aynı şekilde, bir insan yerine GPT-3 tarafından yazılmışsa, doğru bilgileri daha doğru bir şekilde tanımlayabildiler.
Çalışmaya katılanlar, başka bir kişi tarafından yazıldığına göre dil modeli tarafından yazılmışsa dezenformasyonu fark etmekte daha zorlandılar.
Başka bir deyişle, yapay zeka tarafından üretilen bilgiler ne kadar doğru olursa olsun, çalışmadaki kişilerin GPT-3’e güvenme olasılığı diğer insanlara göre daha yüksekti. Ve bu, AI dil modellerinin bilgi verme söz konusu olduğunda ne kadar güçlü olabileceğini gösteriyor. veya kamuoyunu yanıltmak.
Araştırmanın baş yazarı ve Biyomedikal Etik Enstitüsü’nde doktora sonrası araştırmacı ve araştırma veri yöneticisi Giovanni Spitale, “Bu tür harika teknolojiler, seçtiğiniz herhangi bir konuda dezenformasyon fırtınaları oluşturmak için kolayca silah haline getirilebilir” diyor. ve Zürih Üniversitesi’nde Tıp Tarihi.
Ama durum böyle olmak zorunda değil, diyor Spitale. Teknolojiyi yanlış bilgilendirmeyi teşvik etmek için kullanmayı zorlaştıracak şekilde geliştirmenin yolları var. “Doğası gereği kötü ya da iyi değil. Bu sadece insan niyetinin bir yükselticisi” diyor.
Spitale ve meslektaşları, Twitter’dan aşılar ve covid-19’dan iklim değişikliği ve evrime kadar uzanan 11 farklı bilim konusunu tartışan gönderiler topladılar. Daha sonra GPT-3’ten doğru veya yanlış bilgilerle yeni tweet’ler yazmasını istediler. Ekip daha sonra 2022’de Facebook reklamları aracılığıyla çevrimiçi olarak 697 katılımcıdan yanıt topladı. Hepsi İngilizce konuşuyordu ve çoğunlukla Birleşik Krallık, Avustralya, Kanada, Amerika Birleşik Devletleri ve İrlanda’dandı. Sonuçları bugün dergide yayınlandı Bilim Gelişmeleri.
GPT-3’ün yazdığı şeyler organik içerikten “ayırt edilemezdi”
Çalışma, GPT-3’ün yazdığı şeylerin organik içerikten “ayırt edilemez” olduğu sonucuna vardı. Ankete katılan insanlar farkı anlayamadı. Aslında çalışma, sınırlamalarından birinin, araştırmacıların sosyal medyadan topladıkları tweet’lerin ChatGPT gibi uygulamaların yardımıyla yazılmadığından yüzde 100 emin olamayacakları olduğunu belirtiyor.
Bu çalışmada akılda tutulması gereken başka sınırlamalar da var, buna katılımcıların tweet’leri bağlam dışında yargılamak zorunda kalması da dahil. Örneğin, içeriği kimin yazdığına dair bir Twitter profilini kontrol edemediler, bu da bunun bir bot olup olmadığını anlamalarına yardımcı olabilir. Bir hesabın geçmiş tweet’lerini ve profil resmini görmek bile, o hesapla ilişkili içeriğin yanıltıcı olup olmadığını belirlemeyi kolaylaştırabilir.
Katılımcılar, gerçek Twitter kullanıcıları tarafından yazılan dezenformasyonları ortaya çıkarmada en başarılı olanlar oldu. Yanlış bilgi içeren GPT-3 tarafından oluşturulan tweet’ler, anket katılımcılarını aldatmada biraz daha etkiliydi. Ve şimdiye kadar, GPT-3’ten bile daha ikna edici olabilecek daha gelişmiş büyük dil modelleri var. ChatGPT, GPT-3.5 modeli tarafından desteklenmektedir ve popüler uygulama, daha yeni GPT-4 modeline erişmek isteyen kullanıcılar için bir abonelik sunar.
Elbette, dil modellerinin yanlış olduğuna dair birçok gerçek dünya örneği zaten var. Ne de olsa, “Bu AI araçları, herhangi bir cümlede hangi kelimenin ardından geldiğini tahmin etmek için eğitilmiş, geniş otomatik tamamlama sistemleridir. Bu nedenle, yararlanabilecekleri sabit kodlanmış bir ‘gerçekler’ veri tabanına sahip değiller – yalnızca akla yatkın görünen ifadeler yazma yetenekleri var. Sınır‘ James Vincent, büyük bir makine öğrenimi konferansının yazarların akademik makaleler yazmak için AI araçlarını kullanmasını yasaklama kararı almasının ardından yazdı.
Bu yeni çalışma aynı zamanda, ankete katılanların bazı durumlarda GPT-3’ten daha güçlü doğruluk yargılarına sahip olduğunu da ortaya çıkardı. Araştırmacılar benzer şekilde dil modelinden tweet’leri analiz etmesini ve doğru olup olmadığına karar vermesini istedi. Konu doğru tweet’leri belirlemeye geldiğinde GPT-3, insanlardan daha kötü puan aldı. Dezenformasyonu tespit etmeye gelince, insanlar ve GPT-3 benzer şekilde performans gösterdi.
En önemlisi, dil modelleri geliştirmek için kullanılan eğitim veri setlerinin iyileştirilmesi, kötü niyetli kişilerin dezenformasyon kampanyaları düzenlemek için bu araçları kullanmasını zorlaştırabilir. GPT-3, özellikle aşılar ve otizm hakkında yanlış bilgiler söz konusu olduğunda, araştırmacıların yanlış içerik üretme yönündeki bazı uyarılarına “itaat etmedi”. Bunun nedeni, eğitim veri kümelerindeki diğer konulara göre bu konulardaki komplo teorilerini çürüten daha fazla bilgi olması olabilir.
Ancak Spitale’e göre dezenformasyona karşı koymak için en iyi uzun vadeli strateji oldukça düşük teknolojili: insanların gerçeklerle kurguyu ayırt etme konusunda daha donanımlı olmaları için eleştirel düşünme becerilerini teşvik etmektir. Ve anketteki sıradan insanlar zaten GPT-3 kadar iyi veya daha iyi doğruluk yargıçları gibi göründüğünden, biraz eğitim onları bu konuda daha da yetenekli hale getirebilir. Araştırmaya göre, gerçekleri kontrol etme konusunda yetenekli kişiler, meşru kamu bilgilendirme kampanyalarını geliştirmek için GPT-3 gibi dil modelleriyle birlikte çalışabilir.
Spitale, “Beni yanlış anlamayın, bu teknolojinin büyük bir hayranıyım” diyor. “Bence anlatı yapay zekaları dünyayı değiştirecek… ve bunun daha iyi olup olmayacağına karar vermek bize bağlı.”