OpenAI, bir metin pasajının başka bir AI tarafından yazılma olasılığını belirlediğini iddia eden bir araç olan AI sınıflandırıcısını kapattı. Pek çoğu düşük çaba gerektiren hileleri yakalamak için kullanmış ve belki de akılsızca ona güvenmiş olsa da, OpenAI geniş çapta eleştirilen “düşük doğruluk oranı” nedeniyle onu emekliye ayırdı.
AI tarafından üretilen metnin, güvenilir bir şekilde tespit edilebilecek bazı tanımlayıcı özelliklere veya modele sahip olduğu teorisi sezgisel görünüyor, ancak şu ana kadar pratikte gerçekten doğrulanmadı. Oluşturulan bazı metinlerin bariz bir anlatımı olsa da, büyük dil modelleri arasındaki farklar ve geliştirilme hızları, bu anlatımlara güvenmeyi neredeyse imkansız hale getirdi.
TechCrunch’ın bir dizi yapay zeka yazma algılama araçlarına yönelik kendi testi, bunların en iyi ihtimalle isabetsiz ve en kötü ihtimalle tamamen değersiz oldukları sonucuna vardı. Çeşitli algılayıcılara verilen oluşturulan yedi metin parçacığından GPTZero beşini ve OpenAI’nin sınıflandırıcısı yalnızca birini doğru olarak tanımladı. Ve bu, o zamanlar bile son teknoloji olmayan bir dil modeliyle oldu.
Ancak bazıları, algılama iddialarını göründüğü gibi veya daha doğrusu bunun çok üzerinde aldı, çünkü OpenAI, sınıflandırma aracını, bu şeyi neden ortaya koyduklarını merak edecek kadar önemli bir sınırlamalar listesiyle birlikte gönderdi. İnsanlar, öğrencilerinin, iş başvurusunda bulunanların veya serbest çalışanların oluşturulan metni test etmek için sınıflandırıcıya koyacağından endişe ediyorlardı ve sonuçlara güvenilmemesi gerekirken bazen güvenilmekteydi.
Dil modellerinin yalnızca geliştiği ve çoğaldığı göz önüne alındığında, görünüşe göre şirketten biri bu kararsız aracı çevrimdışına alma zamanının geldiğine karar verdi. “Geri bildirimleri dahil etmek için çalışıyoruz ve şu anda metin için daha etkili kaynak teknikleri araştırıyoruz.” sınıflandırıcı duyuru gönderisine 20 Temmuz ekini okur. (Şifre çözme olmuş gibi görünüyor değişikliği ilk fark eden.)
Sınıflandırıcıyı kapatmanın ardındaki zamanlamayı ve mantığı sordum ve yanıt alırsam güncelleyeceğim. Ancak, OpenAI’nin AI’yı etik ve şeffaf bir şekilde geliştirmek için Beyaz Saray liderliğindeki bir “gönüllü taahhüt” ile diğer birkaç şirkete katıldığı sıralarda gerçekleşmesi ilginçtir.
Şirketlerin taahhütleri arasında sağlam damgalama ve/veya tespit yöntemleri geliştirmek yer alıyor. Ya da her halükarda bunu yapmaya çalışmak: Son 6 aydır her şirket bu yönde ses çıkarsa da, henüz önemsiz bir şekilde atlatılmamış herhangi bir filigran veya tespit yöntemi görmedik.
Hiç şüphe yok ki, bu başarıyı ilk başaran zengin bir şekilde ödüllendirilecek (bu tür herhangi bir araç, eğer gerçekten güvenilirse, sayısız durumda paha biçilmez olacaktır), bu nedenle onu herhangi bir AI anlaşmasının parçası haline getirmek muhtemelen gereksiz olacaktır.