Yeni bir araştırmaya göre ChatGPT, ABD Tıbbi Lisanslama Sınavı’nda (USMLE) yaklaşık yüzde 60’lık bir geçiş eşiğinde veya buna yakın bir puan alabildi ve tutarlı, içsel anlamda mantıklı ve sık içgörüler içeren yanıtlar verdi.
Araştırmaya göre AnsibleHealth, California, ABD’deki Tiffany Kung ve meslektaşları, ChatGPT’nin performansını, ABD’de tıbbi lisans için gerekli olan Adım 1, 2CK ve 3’ü içeren, oldukça standartlaştırılmış ve düzenlenmiş üç sınavdan oluşan USMLE’de test etti.
Tıp öğrencileri ve eğitimdeki doktorlar tarafından alınan USMLE, biyokimyadan teşhis muhakemesine ve biyoetiğe kadar çoğu tıbbi disiplini kapsayan bilgileri değerlendirir.
Çalışmaya göre, USMLE’den görüntü tabanlı soruları kaldırmak için yapılan taramadan sonra, yazarlar yazılımı Haziran 2022 USMLE sürümünde bulunan 376 genel sorudan 350’sinde test etti.
PLOS Digital Health dergisinde yayınlanan araştırmaya göre, yazarlar, belirsiz yanıtlar kaldırıldıktan sonra, ChatGPT’nin üç USMLE sınavında yüzde 52,4 ile yüzde 75 arasında puan aldığını buldu.
Geçme eşiği her yıl yaklaşık yüzde 60’tır.
ChatGPT, büyük dil modeli (LLM) olarak bilinen yeni bir yapay zeka (AI) sistemidir ve yaklaşmakta olan kelime dizilerini tahmin ederek insan benzeri yazılar oluşturmak için tasarlanmıştır.
Çalışma, çoğu sohbet robotunun aksine, ChatGPT’nin internette arama yapamayacağını söyledi.
Çalışma, bunun yerine, dahili süreçleri tarafından tahmin edilen kelime ilişkilerini kullanarak metin ürettiğini söyledi.
Araştırmaya göre, ChatGPT ayrıca tüm yanıtlarında yüzde 94,6 uyum gösterdi ve yanıtlarının yüzde 88,9’u için yeni, açık olmayan ve klinik olarak geçerli en az bir önemli içgörü üretti.
Çalışma, ChatGPT’nin ayrıca, yalnızca biyomedikal alan literatürü üzerine eğitilmiş ve USMLE tarzı sorulardan oluşan eski bir veri kümesinde yüzde 50,8 puan alan muadili bir model olan PubMedGPT’nin performansını da aştığını söyledi.
Nispeten küçük girdi boyutu, analizlerin derinliğini ve aralığını kısıtlarken, yazarlar bulgularının ChatGPT’nin tıp eğitimini ve nihayetinde klinik uygulamayı geliştirme potansiyeline bir bakış sağladığını belirttiler.
Örneğin, AnsibleHealth’teki klinisyenlerin hastaların daha kolay anlaması için jargon ağırlıklı raporları yeniden yazmak için zaten ChatGPT kullandığını eklediler.
Yazarlar, “Zorluğuyla ünlü bu uzman sınavı için geçme puanına ulaşmak ve bunu herhangi bir insan takviyesi olmadan yapmak, klinik AI olgunlaşmasında dikkate değer bir kilometre taşını işaret ediyor” dedi.
Kung, ChatGPT’nin bu araştırmadaki rolünün çalışma konusu olmanın ötesine geçtiğini sözlerine ekledi.
“ChatGPT, [our] el yazması… ChatGPT ile tıpkı bir meslektaşımız gibi etkileşim kurduk ve ondan devam eden taslakları sentezlemesini, basitleştirmesini ve kontrpuanlar sunmasını istedik… Ortak yazarların tümü ChatGPT’nin katkılarına değer verdi.”