Araştırmacılar, öğrencilerin muhasebe sınavlarında OpenAI’nin chatbot ürünü ChatGPT’den daha başarılı olduğunu buldu.
Buna rağmen, ChatGPT’nin performansının “etkileyici” olduğunu ve “herkesin öğretme ve öğrenme şeklini daha iyiye doğru değiştirecek bir oyun değiştirici” olduğunu söylediler. ABD’deki Brigham Young Üniversitesi’nden (BYU) ve diğer 186 üniversiteden araştırmacılar, OpenAI teknolojisinin muhasebe sınavlarında nasıl başarılı olacağını öğrenmek istedi. Bulgularını Accounting Education dergisinde yayınladılar.
Araştırmacıların muhasebe sınavında öğrenciler, ChatGPT’nin yüzde 47,4’lük puanına kıyasla genel ortalama yüzde 76,7 puan aldı.
Soruların yüzde 11,3’ünde ChatGPT’nin öğrenci ortalamasından daha yüksek puan aldığı, özellikle muhasebe bilgi sistemleri (AIS) ve denetimde başarılı olduğu bulunurken, AI botunun vergi, mali ve yönetimsel değerlendirmelerde daha kötü performans gösterdiği bulundu. Araştırmacılar, bunun muhtemelen ChatGPT’nin ikinci tür için gerekli matematiksel işlemlerle mücadele etmesinden kaynaklanabileceğini düşünüyor.
Doğal dil metni oluşturmak için makine öğrenimini kullanan yapay zeka botunun ayrıca doğru/yanlış sorularda (yüzde 68,7 doğru) ve çoktan seçmeli sorularda (yüzde 59,5) daha iyi performans gösterdiği, ancak kısa yanıtlı sorularda (28,7 arasında) zorlandığı bulundu. ve yüzde 39,1).
Genel olarak, araştırmacılar ChatGPT’nin üst düzey soruları yanıtlamasının daha zor olduğunu söylediler. Hatta bazen ChatGPT’nin yanlış cevaplar için yetkili yazılı açıklamalar sağladığı veya aynı soruyu farklı şekillerde yanıtladığı görülmüştür.
Ayrıca, ChatGPT’nin yanlış olsalar bile yanıtları için genellikle açıklamalar sağladığını da buldular. Diğer zamanlarda, doğru açıklamalar sağlamasına rağmen yanlış çoktan seçmeli yanıtı seçmeye devam etti.
Araştırmacılar, ChatGPT’nin bazen gerçekleri uydurduğunu önemli bir şekilde not ettiler. Örneğin, bir referans sağlarken, tamamen uydurma, gerçek görünümlü bir referans oluşturdu. Eser ve bazen yazarlar bile yoktu.
Botun ayrıca bir çıkarma probleminde iki sayıyı toplama veya sayıları yanlış bölme gibi anlamsız matematiksel hatalar yaptığı görüldü.
ChatGPT gibi modellerin eğitimi nasıl etkilemesi gerektiği konusunda süregelen yoğun tartışmaya bir şeyler eklemek isteyen baş çalışma yazarı, bir BYU muhasebe profesörü olan David Wood, yapay zekanın gerçek üniversite muhasebe öğrencilerine karşı ne durumda olduğunu görmek için mümkün olduğunca çok profesörü işe almaya karar verdi. .
Sosyal medyadaki ortak yazar alım konuşması patladı: 14 ülkedeki 186 eğitim kurumundan 327 ortak yazar araştırmaya katıldı ve 25.181 sınıf muhasebe sınavı sorusuyla katkıda bulundu.
Ayrıca ChatGPT’ye 2.268 ders kitabı test bankası sorusu daha göndermeleri için lisans BYU öğrencilerini işe aldılar. Sorular AIS, denetim, finansal muhasebe, yönetim muhasebesi ve vergiyi kapsıyordu ve zorluk ve tür bakımından farklılık gösteriyordu (doğru/yanlış, çoktan seçmeli, kısa cevap).