Taşınmayı telgrafla bildirdikten sonra medya görünümleriOpenAI’nin sahip olduğu başlattı şirketin kendi ChatGPT ve GPT-3 modelleri tarafından üretilen metinler gibi, insan tarafından yazılan ve yapay zeka tarafından oluşturulan metin arasında ayrım yapmaya çalışan bir araç. Sınıflandırıcı özellikle doğru değil – başarı oranı %26 civarında, OpenAI belirtiyor – ancak OpenAI, diğer yöntemlerle birlikte kullanıldığında, AI metin oluşturucularının kötüye kullanılmasını önlemeye yardımcı olabileceğini savunuyor.
“Sınıflandırıcı, AI tarafından oluşturulan metnin bir insan tarafından yazıldığına dair yanlış iddiaları hafifletmeyi amaçlıyor. Bununla birlikte, yine de bazı sınırlamaları var – bu nedenle, birincil karar verme aracı olmak yerine metnin kaynağını belirlemenin diğer yöntemlerini tamamlayıcı olarak kullanılmalıdır, “dedi bir OpenAI sözcüsü TechCrunch’a e-posta yoluyla. “Bunun gibi araçların yararlı olup olmadığı konusunda geri bildirim almak için bu ilk sınıflandırıcıyı kullanıma sunuyoruz ve gelecekte iyileştirilmiş yöntemleri paylaşmayı umuyoruz.”
Üretici AI – özellikle metin üreten AI – etrafındaki coşku arttıkça, eleştirmenler bu araçların yaratıcılarını potansiyel olarak zararlı etkilerini azaltmak için adımlar atmaya çağırdı. ABD’nin en büyük okul bölgelerinden bazıları, öğrencilerin öğrenimi üzerindeki etkilerinden ve aracın ürettiği içeriğin doğruluğundan korkarak ChatGPT’yi ağlarında ve cihazlarında yasakladı. Ve dahil siteler Yığın Taşması kullanıcıları yasakladı ChatGPT tarafından oluşturulan içeriği paylaşmaktan, yapay zekanın kullanıcıların tartışma başlıklarını şüpheli yanıtlarla doldurmasını çok kolaylaştırdığını söyleyerek.
OpenAI’nin uygun bir şekilde OpenAI AI Metin Sınıflandırıcısı olarak adlandırılan sınıflandırıcısı, mimari açıdan ilgi çekicidir. ChatGPT gibi, web’den herkese açık birçok metin örneği üzerinde eğitilmiş bir AI dil modelidir. Ancak ChatGPT’den farklı olarak, bir metin parçasının yalnızca ChatGPT’den değil, herhangi bir metin üreten AI modelinden yapay zeka tarafından oluşturulma olasılığını tahmin etmek için ince ayar yapılmıştır.
Daha spesifik olarak, OpenAI, OpenAI AI Metin Sınıflandırıcısını, OpenAI’nin kendisi de dahil olmak üzere beş farklı kuruluştan 34 metin üreten sistemden metin üzerinde eğitti. Bu metin, Wikipedia’daki benzer (ancak tam olarak aynı olmayan) insan yazısı metinle, Reddit’te paylaşılan bağlantılardan çıkarılan web siteleriyle ve önceki bir OpenAI metin oluşturma sistemi için toplanan bir dizi “insan gösterimi” ile eşleştirildi. (OpenAI bir itirafta destek belgesiAncak, “İnternette yapay zeka tarafından oluşturulan içeriğin çoğalması göz önüne alındığında”, yanlışlıkla yapay zeka tarafından yazılmış bazı metinleri insan tarafından yazılmış olarak yanlış sınıflandırmış olabilir.)
OpenAI Metin Sınıflandırıcı, daha da önemlisi, herhangi bir metin üzerinde çalışmaz. En az 1.000 karakter veya yaklaşık 150 ila 250 kelime gerektirir. İntihal tespit etmez – metin üreten AI’nın gösterildiği düşünüldüğünde özellikle talihsiz bir sınırlama kusturmak üzerinde eğitildiği metin. Ve OpenAI, İngilizce ileri veri kümesi sayesinde, çocuklar tarafından yazılan metinlerde veya İngilizce dışında bir dilde yanlış anlama olasılığının daha yüksek olduğunu söylüyor.
Dedektör, belirli bir metin parçasının yapay zeka tarafından üretilip üretilmediğini değerlendirirken cevabını biraz korur. Güven düzeyine bağlı olarak, metni “çok olası değil” yapay zeka tarafından üretilmiş (%10’dan az bir şans), “olası değil” yapay zeka tarafından oluşturulmuş (%10 ile %45 arasında bir şans), “belirsiz olup olmadığı belirsiz” olarak etiketler. Yapay zeka tarafından üretilen (%45 ila %90 şans), “muhtemelen” yapay zeka tarafından oluşturulan (%90 ila %98 şans) veya “muhtemel” yapay zeka tarafından oluşturulan (%98’in üzerinde bir şans).
Merakımdan, nasıl idare edebileceğini görmek için sınıflandırıcıya bazı metinler verdim. Meta’nın Horizon Worlds’ü hakkındaki bir TechCrunch makalesinden birkaç paragrafın ve bir OpenAI destek sayfasından bir parçacığın yapay zeka tarafından oluşturulmadığını kendinden emin ve doğru bir şekilde tahmin etse de, sınıflandırıcı ChatGPT’den gelen makale uzunluğundaki metinle daha zor zamanlar geçirdi ve sonunda onu sınıflandırmayı başaramadı. tamamen. Ancak, bir Gizmodo’dan ChatGPT çıktısını başarıyla tespit etti. parça hakkında – başka ne var? — ChatGPT.
OpenAI’ye göre, sınıflandırıcı insan tarafından yazılmış metni yanlış bir şekilde zamanın %9’unda yapay zeka tarafından yazılmış olarak etiketliyor. Testlerimde bu hata olmadı, ancak bunu küçük örneklem boyutuna bağlıyorum.
Görsel Kaynakları: OpenAI
Pratik düzeyde, sınıflandırıcıyı daha kısa yazı parçalarını değerlendirmek için özellikle yararlı bulmadım. Aslında 1.000 karakter, örneğin e-postalar (en azından benim düzenli olarak aldıklarım) için mesajlar alanında ulaşılması zor bir eşik. Ve sınırlamalar duraklama sağlar – OpenAI, oluşturulan metindeki bazı sözcükleri veya yan tümceleri değiştirerek sınıflandırıcıdan kaçınılabileceğini vurgular.
Bu, sınıflandırıcının yararsız olduğu anlamına gelmez – ondan çok uzaktır. Ancak, kararlı dolandırıcıları (veya bu nedenle öğrencileri) mevcut haliyle kesinlikle durdurmayacaktır.
Soru şu ki, diğer araçlar olacak mı? Yapay zeka tarafından üretilen metin dedektörlerine olan talebi karşılamak için küçük bir ev endüstrisi ortaya çıktı. Bir Princeton Üniversitesi öğrencisi tarafından geliştirilen ChatZero, metnin AI ile yazılmış olup olmadığını tespit etmek için “şaşkınlık” (metnin karmaşıklığı) ve “burstiness” (cümlelerin varyasyonları) gibi kriterleri kullanır. İntihal dedektörü Turnitin AI tarafından üretilen kendi metin dedektörünü geliştiriyor. Bunların ötesinde, bir Google araması, metafora eziyet etmek için yapay zeka tarafından üretilen buğdayı insan tarafından üretilen samandan ayırabileceğini iddia eden en az yarım düzine başka uygulama sağlar.
Muhtemelen bir kedi-fare oyununa dönüşecek. Metin üreten yapay zeka geliştikçe, algılayıcılar da gelişecek — siber suçlular ve güvenlik araştırmacıları arasındakine benzer, hiç bitmeyen bir ileri geri. Ve OpenAI’nin yazdığı gibi, sınıflandırıcılar belirli durumlarda yardımcı olabilirken, metnin yapay zeka tarafından üretilip üretilmediğine karar vermede asla güvenilir tek kanıt olmayacaklar.
Yapay zeka tarafından üretilen metinlerin ortaya çıkardığı sorunları çözecek sihirli bir değnek olmadığını söylemek için hepsi bu kadar. Büyük ihtimalle hiç olmayacak.