Bunu kaçınılmaz ama komik altına dosyalayın. Mechanical Turk, ilk günlerinden beri maskaralıklara davetiye çıkarıyormuş gibi görünen bir hizmettir ve gerçekten de araştırmacılar, “turkerlerinin” neredeyse yarısının, yapay zekanın yapamadığı için özellikle insanlar tarafından yapılması amaçlanan görevleri yapmak için yapay zeka kullandığını gösteriyor. Bu konuda döngüyü kapattık; herkese iyi iş çıkardınız!
Amazon’un Mechanical Turk’ü, kullanıcıların basit görevleri, yapılması yalnızca birkaç saniye süren ve kuruş ödeyen herhangi bir sayıda küçük alt göreve ayırmasına izin verir – ancak kendini adamış parça parça işçiler binlerce iş yapar ve böylece mütevazı ama güvenilir bir ücret kazanır. Jeff Bezos’un o zamanlar unutulmaz bir şekilde ifade ettiği gibi, “yapay yapay zeka” idi.
Bunlar genellikle o zamanlar otomatikleştirilmesi zor olan görevlerdi – bir CAPTCHA veya bir cümlenin duygusunu belirleme veya basit bir “bu görüntüdeki kedinin etrafına bir daire çizme” gibi, insanların hızlı ve güvenilir bir şekilde yapabileceği şeyler. Nispeten karmaşık verileri etiketleyen insanlar ve geniş ölçekte insan değerlendirmeleri veya kararları almayı amaçlayan araştırmacılar tarafından özgürce kullanıldı.
Adını, oyunlarını yapmak için üssünde saklanan bir insanı gerçekten kullanan ünlü satranç oynayan “otomattan” almıştır — Poe onun harika bir çağdaş yayından kaldırılmasını yazdı.. Bazen otomasyon zor veya imkansızdır, ancak bu gibi durumlarda insanlıktan bir tür makine yapabilirsiniz. Bu konuda dikkatli olunması gerekir, ancak yıllar içinde yararlı olduğu kanıtlanmıştır.
Ancak İsviçre’deki EPFL’deki araştırmacılar tarafından yapılan bir araştırma, Mechanical Turk çalışanlarının işlerini ChatGPT gibi büyük dil modelleri kullanarak otomatikleştirdiğini gösteriyor: Kendi kuyruğunu ısıran veya belki de kendini tamamen yutan bir yılan.
Temelde güvenilmez olan LLM yanıtlarını iyileştirmek veya doğrulamak için MTurk gibi bir hizmeti “döngüdeki insan” olarak kullanmayı düşündüklerinde şu soru ortaya çıktı:
LLM çıktılarını doğrulamak veya karşılaştırma için altın standartlı insan verileri oluşturmak için kitle kaynak kullanımına güvenmek cazip gelebilir. Peki ya kalabalık işçilerin kendileri, örneğin kitle kaynaklı platformlarda üretkenliklerini ve dolayısıyla gelirlerini artırmak için LLM’leri kullanıyorsa?
Problem hakkında genel bir fikir edinmek için, Türkerlere tamamlamaları için bir “soyut özetleme” görevi verdiler. Açıklanan çeşitli analizlerle gazetede (hala yayınlanmadı veya hakemli değil) “kalabalık çalışanlarının %33-%46’sının görevi tamamlarken LLM kullandığını tahmin ediyorlar.”
Bazıları için bu sürpriz olmayacak. Platform başladığından beri muhtemelen Türking’te bir miktar otomasyon var olmuştur. Hız ve güvenilirlik teşvik edilir ve belirli istekleri %90 doğrulukla işleyen bir komut dosyası yazabilirseniz, makul miktarda para kazanırsınız. Katkıda bulunanların süreçlerinin çok az denetlenmesi nedeniyle, bu görevlerden bazılarının reklamı yapıldığı gibi insanlar tarafından yerine getirilmemesi kaçınılmazdı. Dürüstlük hiçbir zaman Amazon’un güçlü yönü olmadı, bu yüzden onlara güvenmenin bir anlamı yoktu.
Ancak bu şekilde düzenlendiğini görmek ve yakın zamana kadar yalnızca bir insanın yapabileceği bir iş gibi görünen bir görev için – bir makalenin özetini yeterince özetlemek – sadece Mechanical Turk’ün değerini sorgulamakla kalmıyor, aynı zamanda yaklaşan “” krizinde başka bir cepheyi açığa çıkarıyor. Yine Ouroboros benzeri bir çıkmazda yapay zeka tarafından üretilen veriler üzerinde yapay zeka eğitimi.
Araştırmacılar (Veniamin Veselovsky, Manoel Horta Ribeiro ve Robert West), modern LLM’lerin ortaya çıkmasıyla birlikte, bu görevin özellikle gizli otomasyona uygun olduğu ve dolayısıyla bu yöntemlerin kurbanı olma ihtimalinin özellikle yüksek olduğu konusunda uyarıyorlar. Ancak teknolojinin durumu istikrarlı bir şekilde ilerliyor:
LLM’ler gün geçtikçe daha popüler hale geliyor ve sadece metin değil, aynı zamanda görüntü ve video giriş ve çıkışını da destekleyen multimodal modeller artıyor. Bununla birlikte, sonuçlarımız, platformlara, araştırmacılara ve kalabalık çalışanlara insan verilerinin insan olarak kalmasını sağlamak için yeni yollar bulmalarını hatırlatması gereken ‘kömür madenindeki kanarya’ olarak görülmelidir.
Yapay zekanın kendisini yeme tehdidi uzun yıllardır kuramlaştırıldı ve LLM’lerin yaygın olarak kullanılmasıyla neredeyse anında gerçeğe dönüştü: Bing’in gözdesi ChatGPT, bir COVID komplosu hakkındaki yeni yanlış bilgilere destek olarak kendi yanlış bilgilerini aktardı.
Bir şeyin bir insan tarafından yapıldığından %100 emin olamıyorsanız, yapılmadığını varsaymanız muhtemelen daha iyidir. Bu, uyulması gereken iç karartıcı bir ilke, ama işte buradayız.