Arxiv.org’da ön baskı olarak yayınlanan bir makalede belirtildiği gibi GPT-4 dil modeli Turing testini geçti.
Testin özü basittir: Test katılımcıları, muhatabın bir kişi mi yoksa bir makine mi olduğunu önceden bilmeden, bir PC aracılığıyla muhatapla iletişim kurar.
Bu durumda çalışmaya 500 kişi katılmıştır. Her biri, dört muhatapla beş dakika boyunca konuştu ve ardından muhatabın bir insan mı yoksa bir makine mi olduğuna dair görüşlerini ifade etmek zorunda kaldı.
Testte GPT-4’ün yanı sıra GPT-3.5 modeli, 60’lardan kalma eski ELIZA programı ve yaşayan bir kişi de yer aldı. Sonuç olarak, katılımcıların yalnızca %22’si ELIZA’yı bir insan olarak değerlendirdi; GPT-3.5 durumunda bu oran zaten %50 idi ve test katılımcılarının %54’ü GPT-4’ü bir insan olarak değerlendirdi; bu da çalışmanın yazarlarının şu sonuca varmasına olanak tanıyor: bu dil modeli Turing testini geçer. Bu arada katılımcıların %67’si gerçek bir kişinin kişi olduğunu düşünüyor.
Katılımcılar ayrıca karar verme konusundaki güvenlerini 0’dan 100’e kadar bir ölçekte derecelendirdiler. Her vaka için ortalama güven şu şekildeydi:
GPT-4: Ortalama güven %70’ti. GPT-3.5: Ortalama güven %65 idi ELIZA: Ortalama güven %90 Yaşayan kişi: Ortalama güven %80
