Chatbot metnini insan yazısından ayırmayı amaçlayan programların birden fazla özelliği vardır. birkaç problem. Listeye ekleyeceğiniz bir yenisi daha var: Yapay zeka dedektörleri, anadili İngilizce olmayanların yazılarını genellikle yanlış bir şekilde bot yapımı olarak sınıflandırır. Zamanın yarısından fazlasında, yapay zeka dedektörleri yanlış bir şekilde anadili İngilizce olmayan kişiler tarafından yazılanların yanlış olduğunu varsaydı. Yapay zeka tarafından üretilen, göre bir çalışma Pazartesi günü Patterns dergisinde yayınlandı.
Üretken yapay zekanın her yerde (ve her yerde demek istiyorum), yapay zeka tarafından üretilen slop’u gerçek bir insan tarafından yazılan kelimelerden ayırma yeteneği giderek daha önemli hale geliyor. Yazma becerilerine göre rutin olarak değerlendirilen işe başvuranlar, öğrenciler ve diğerleri, bir bilgisayar programına yanlış atfedilme korkusu olmadan çalışmalarını sunabilmelidir. Eşzamanlı olarak, öğretmenler, profesörler ve işe alma müdürleri ideal olarak birisinin çabalarını ve kendilerini dürüstçe ortaya koyduğunu bilebilir.
Ama sayesinde her zamankinden daha büyük dil modelleriMuazzam veri kümeleriyle eğitilmiş bir kişinin işini bir sohbet robotunun otomatikleştirilmiş, algoritmik olarak belirlenmiş çıktısından ayırmak giderek daha zor hale geliyor (en azından gerçeği kontrol edene kadar). Aynı şekilde görüntü, ses ve video deepfake’leri fark edilmesi rahatsız edici derecede zorlaşıyorAI metni tespit etmek zorlaşıyor.
Birden fazla şirket, yapay zeka algılama yazılımı geliştirerek sorunu çözmeye çalıştı. bilgisayardan kişi Üretken yapay zekadaki mevcut patlamadan büyük ölçüde sorumlu olan şirket Open AI bileelini denedi bir yapay zeka algılama aracı oluşturma. Ancak spoiler uyarısı: Bu AI tespit araçlarının çoğu çok iyi çalışmıyor veya sınırlı kullanım durumlarıgeliştiricilerin “%99 doğru” gibi doğrulanamayan ölçümlere ilişkin iddialarına rağmen.”
Genel anlamda, o kadar da harika olmamalarına ek olarak, araçlar aynı zamandainsan önyargıları üretmek—üretken yapay zekanın kendisinin yaptığı gibi.
Yeni çalışmada araştırmacılar, yedi “yaygın olarak kullanılan” GPT detektörü kullanarak ana dili İngilizce olmayan kişiler tarafından yazılmış 91 TOEFL (Yabancı Dil Olarak İngilizce Testi) makalesini değerlendirdi. Karşılaştırma için, aynı AI tespit araçları setiyle 99 ABD’li sekizinci sınıf öğrencisinin makalesini de çalıştırdılar. Dedektörler, sekiz sınıf makalelerinin %90’ından fazlasını insanlar tarafından yazılmış olarak doğru bir şekilde sınıflandırmış olsa da, kategorizasyon araçları TOEFL çalışmasında neredeyse aynı derecede başarılı değildi.
Yedi GPT dedektörünün tamamında, anadili İngilizce olmayan kişiler tarafından yazılan makaleler için ortalama yanlış tespit oranı %61,3 idi. Dedektörlerden en az biri yanlışlıkla TOEFL makalelerinin yaklaşık %98’ini yapay zeka tarafından oluşturulmuş olarak etiketledi. Tüm algılayıcılar, insan tarafından yazılmış olmasına rağmen, TOEFL çalışmasının aynı ~%20’lik bölümünün yapay zeka tarafından üretildiğini oybirliğiyle belirledi.
Çoğu yapay zeka dedektörü, metni “şaşkınlık” adı verilen bir ölçüye göre değerlendirerek çalışır. çalışma yazarları expyattı. Şaşkınlık, temelde bir kelimenin bir metin dizisi bağlamında ne kadar beklenmedik olduğunun bir ölçüsüdür. Önceki kelimeler göz önüne alındığında bir kelimeyi tahmin etmek kolaysa, o zaman şans teorik olarak AI’dan daha yüksektir. sorumlu Cümle, çünkü bu büyük dil modelleri olasılıksal algoritmaları kullanır. ikna edici bir şekilde organize edilmiş kelime salatası. Onun steroidlerde otomatik tamamlama.
Yine de herhangi bir dili anadili olmayan kişiler o dilde nispeten sınırlı bir kelime dağarcığı ve tahmin edilebilirlik ile yazma eğilimindedir. gramer aralığı. bu da daha öngörülebilir cümlelere ve paragraflara yol açabilir. Araştırmacılar, TOEFL örnek makalelerindeki kelime tekrarını basitçe azaltarak, AI tespitinde ortaya çıkan yanlış pozitiflerin sayısını önemli ölçüde azaltabildiklerini keşfettiler. yazılım. Tersine, sekizinci sınıfta dili basitleştirmek denemeler, çoğunun AI kreasyonlarıyla karıştırılmasına yol açtı.
Yeni araştırmanın işaret ettiği gibi, bu, iş piyasasında ve akademik ortamlarda zaten ayrımcılığa maruz kalan anadili İngilizce olmayanlar için önemli bir sorun anlamına gelebilir. Daha geniş internette de, bu tür tutarlı yapay zeka dedektörü hataları mevcut eşitsizlikleri büyütebilir.
Yazarlar, “Sosyal medyada, GPT dedektörleri, yerel olmayan yazarların içeriğini sahte bir şekilde yapay zeka intihali olarak işaretleyebilir ve yerel olmayan belirli toplulukların gereksiz tacizinin yolunu açabilir” diye yazıyor. “Yapay zeka tarafından üretilen içeriğin değerini düşürmek için mekanizmalar uygulayan Google gibi internet arama motorları, istemeden yerel olmayan toplulukların görünürlüğünü kısıtlayabilir ve potansiyel olarak farklı bakış açılarını susturabilir.”
AI tespitine kadar “Özellikle anadili İngilizce olmayan kişilerin çalışmalarını değerlendirirken, değerlendirme veya eğitim ortamlarında GPT dedektörlerinin kullanımına karşı şiddetle uyarıda bulunuyoruz.” Yine de AI tespitinin nasıl olduğunu görmek zor (genellikle karşılaştırılabilir bir yapay zeka modeli üzerinde çalışır) kendini zekasıyla alt etmeyi gerçekten öğrenebilir.