Yeni bir araştırma makalesine göre GPT-4, mali tablo analizi temelinde geleceği tahmin etme konusunda insan analistlerden daha iyi performans gösterebilir. Bir ön baskı dergisinde yayınlanan makale, testlerinde GPT-4’ün kısa vadede (bir aydan altı aya kadar) insan muadillerine kıyasla üstün sonuçlar verdiğini buldu. İnsan analistlerin yüzde 56,7’sine kıyasla tahminlerinde yüzde 60,31 doğruluk elde etti. Ancak makale yapay zeka modelinin insanların yerini alabileceğini öne sürmüyordu.
Araştırma makalesinin amacı
Önbaskı dergisi Social Science Research Network’te (SSRN) yayınlandı, 54 sayfalık kağıt “Büyük Dil Modelleriyle Mali Tablo Analizi” başlıklı araştırmada, geleneksel yapay zeka (AI) modellerinin bir kuruluşun mali tablolarını analiz etmede ve yakın gelecekte borsadaki performansını tahmin etmede oynayabileceği rolü ortaya çıkarmaya çalıştı.
Çok çeşitli faktörler şirketlerin performansını etkileyebileceğinden, bu tür analizlerin her zaman çok karmaşık olduğu anlaşılmıştır. Bazı finansal firmalar, bireylere analizlerinde yardımcı olmak için yapay sinir ağlarını (ANN) kullansa da, bunun için büyük dil modelleri (LLM) kullanılmamıştır. Araştırmacılar, GPT-4 gibi son teknolojiye sahip (SOTA) bir LLM’nin buna değerli bir katkı olup olamayacağını görmek istediler.
GPT-4 araştırma makalesi ne buldu?
Araştırmacılar, GPT-4 anonimleştirilmiş ve standartlaştırılmış kurumsal mali tablolarla beslendi (şirketin adının anılmasından kaynaklanan önyargıları önlemek için). Daha sonra araştırmacılar LLM’nin yeteneklerini test etmek için iki yöntem kullandılar. Bunlardan ilki, chatbot’u ifadeleri analiz etmeye ve gelecekteki kazançları tahmin etmeye yönlendiren basit bir komut istemi tasarlamaktı. İkincisi, yapay zeka modeline finansal analistleri taklit etmeyi öğreten bir “düşünce zinciri” (CoT) istemi kullanmaktı.
CoT yöntemi, GPT-4’ten dikkate değer eğilimleri belirlemesini, temel finansal oranları hesaplamasını ve gelecekteki kazançlara ilişkin beklentiler oluşturmasını istedi. Basit yönlendirme kayda değer sonuçlar getirmese de CoT yönlendirmeleri ortalama insan analistin performansından daha yüksek olan yüzde 60,31’e ulaştı.
GPT-4 ve insan analisti
Fotoğraf Kredisi: Araştırma makalesi: Büyük Dil Modelleriyle Mali Tablo Analizi
“LLM’nin sezgi ve insan benzeri akıl yürütme gerektiren niceliksel bir görevde üstün olduğunu görüyoruz. Makalede, farklı alanlardaki görevleri yerine getirebilme yeteneğinin Yapay Genel Zekanın ortaya çıkışına işaret ettiği belirtildi.
Ancak araştırmacılar, GPT ve insan analistlerinin, ilkinin ikincisinin yerini almak yerine tamamlayıcı olduğunu hemen belirttiler. Makale özellikle, insanların önyargı ve anlaşmazlık gösterme eğiliminde olduğu alanlarda Yüksek Lisans’ların bir avantaja sahip olduğunu iddia etti. Benzer şekilde, analiz finansal verilerde bulunması muhtemel olmayan ek bağlamsal bilgiler gerektirdiğinde insanlar da değer katar.