ChatGPT, antrenmanlarınız konusunda tavsiyelerde bulunmak için iyi olabilir. ancak bir doktorun yerini alması için daha katetmesi gereken uzun bir yol var. Son zamanlarda yapılan bir deney, popüler yapay zeka sohbet robotunun çoğunlukla yanlış tıbbi çağrılar yaptığını buldu.
“ChatGPT, mevcut haliyle bir teşhis aracı olarak doğru değil” diyor araştırmacılar. çalışmakbugün PLOS ONE dergisinde yayımlandı, şöyle yazdı. “ChatGPT, üzerinde eğitim aldığı muazzam miktardaki bilgiye rağmen, mutlaka gerçek doğruluk sağlamıyor.”
Şubat 2023’te ChatGPT zar zor geçebildi ABD Tıbbi Lisanslama Sınavı’nda insan eğitmenlerden ekstra özel girdiler olmadan. Programın testte başarılı olmaya yaklaşmamasına rağmen, deneyin arkasındaki araştırmacılar sonucu AI için “dikkat çekici bir dönüm noktası” olarak selamladı.
Ancak yeni araştırmanın arkasındaki bilim insanları, lisans sınavını geçmenin ChatGPT’nin özlü tıbbi soruları yanıtlama yeteneğini göstermesine rağmen, “karmaşık tıbbi vakalara verdiği yanıtların kalitesinin hala belirsiz olduğunu” belirtti.
ChatGPT 3.5’in bu daha karmaşık vakalarda ne kadar iyi performans gösterdiğini belirlemek için araştırmacılar, programa sağlık uzmanlarının teşhis yeteneklerini zorlamak üzere tasarlanmış 150 vaka sundular. ChatGPT’ye sağlanan bilgiler arasında hasta geçmişi, fiziksel muayene bulguları ve bazı laboratuvar veya görüntüleme sonuçları yer aldı. Daha sonra ChatGPT’den bir teşhis koyması veya uygun bir tedavi planı hazırlaması istendi. Araştırmacılar, botun yanıtlarını doğru yanıtı verip vermediğine göre derecelendirdiler. Ayrıca ChatGPT’yi işini ne kadar iyi gösterdiğine göre derecelendirdiler, bir teşhisin veya reçete edilen tedavinin arkasındaki gerekçenin netliğini ve alıntılanan tıbbi bilgilerin alakalılığını puanladılar.
ChatGPT, eğitilmiş İnternet genelindeki yüzlerce terabayt veride, yalnızca %49 oranında doğru cevabı buldu. Açıklamalarının alakalılığı konusunda biraz daha iyi puan aldı ve %52 oranında eksiksiz ve alakalı açıklamalar sundu. Araştırmacılar, yapay zekanın yanlış cevapları ortadan kaldırmada oldukça iyi olmasına rağmen, bunun klinik bir ortamda doğru kararı vermekle aynı şey olmadığını gözlemlediler. “Tanı aracı için hassasiyet ve doğruluk çok önemlidir çünkü yanlış tanılar hastalar için önemli sonuçlara yol açabilir, örneğin gerekli tedavilerin veya daha fazla tanı testinin olmaması, daha kötü sağlık sonuçlarına yol açabilir,” diye yazdılar.
Genel olarak, chatbot’un “doğru ve yanlış teşhisler arasında orta düzeyde ayrım yapma yeteneğine sahip” olduğu ve testte genel performansının “vasat” olduğu belirtildi. ChatGPT’nin hastalara doğru teşhis koymada güvenilir bir araç olmadığı belirtilirken, araştırmacılar, büyük miktarda tıbbi veriye erişim sağlaması nedeniyle, hevesli hekimler için hala önemli kullanımlara sahip olabileceğini söylüyor.
“Geleneksel öğretim yöntemleriyle birlikte ChatGPT, öğrencilerin bilgi boşluklarını kapatmalarına ve klinik sorulara anında ve kişiselleştirilmiş yanıtlar sunarak karmaşık kavramları basitleştirmelerine yardımcı olabilir” diye yazdılar.
Tüm bunlar söylendiğinde, yapay zekanın bir alanda insan doktorları geride bırakabileceği ortaya çıktı: Nisan 2023’te yapılan bir araştırma, ChatGPT’nin hastalara gerçek doktorlardan daha fazla empati içeren e-postalar yazabildiğini buldu.