Shegewi, “Yapay zekanın çıktılarına aşırı güvenmenin eleştirel düşünmeyi azaltması nedeniyle klinisyenlerin de vasıfsız hale gelebileceğini” söyledi. “Büyük ölçekli dağıtımlar büyük olasılıkla hasta verilerinin gizliliği ve mevzuata uygunlukla ilgili sorunları ortaya çıkaracaktır. Herhangi bir yapay zeka modelinin doğasında bulunan önyargı riski de çok büyüktür ve yeterince temsil edilmeyen nüfuslara zarar verebilir.”
Ek olarak, yapay zekanın sağlık sigortası şirketleri tarafından artan kullanımı, genellikle hasta için en iyinin ne olduğu anlamına gelmiyor. Sigorta şirketlerinin AI kaynaklı hasta bakım reddi saldırısıyla karşı karşıya kalan doktorlar buna karşı çıkıyor ve itirazlarını otomatikleştirmek için aynı teknolojiyi kullanıyorlar.
Rodman, “Yapay zekanın insanlardan daha iyi performans göstermesinin bir nedeni, neden yanlış olabileceğini düşünmede çok iyi olmasıdır” dedi. “Yani hipoteze uymayan şeylerde iyi, ki bu da insanların pek iyi olmadığı bir beceri. Kendimizle aynı fikirde olma konusunda iyi değiliz. Bilişsel önyargılarımız var.”
Rodman, elbette yapay zekanın da kendi önyargıları olduğunu belirtti. Cinsiyet ve ırksal önyargıların daha yüksek oranı Yüksek Lisans’larda iyi bir şekilde belgelenmiştir, ancak önyargılara muhtemelen insanlardan daha az eğilimli olduğunu söyledi.
Öyle olsa bile, klasik yapay zekadaki önyargı uzun süredir devam eden bir sorun ve Gartner’s Walk’a göre genAI, sorunu daha da kötüleştirme potansiyeline sahip. “Bence en büyük risklerden biri, teknolojinin, endüstrinin klinisyenleri bu önyargıları tespit etme, bunlara yanıt verme ve raporlama konusunda eğitme ve hazırlama becerisini geride bırakmasıdır” dedi.
GenAI modelleri, belirli popülasyonları veya senaryoları orantısız bir şekilde temsil edebilecek veri kümeleri üzerindeki eğitimleri nedeniyle doğası gereği önyargıya eğilimlidir. IDC’nin Dünya Sağlık Hizmeti Sağlayıcısı Dijital Stratejiler grubunun kıdemli araştırma direktörü Mutaz Shegewi, örneğin, öncelikle baskın demografik gruplardan elde edilen verilerle eğitilen modellerin, yeterince temsil edilmeyen gruplar için düşük performans gösterebileceğini söyledi.
“Kötü hazırlanmış yönlendirmeler eşitsizlikleri güçlendirebileceğinden, hızlı tasarım önyargıyı daha da güçlendirebilir” dedi. “Ayrıca, genAI’nin ortak kalıplara odaklanması, nadir fakat önemli vakaların gözden kaçırılması riskini taşıyor.”
Mutaz, örneğin, yüksek lisans öğrencileri tarafından benimsenen araştırma literatürünün genellikle beyaz erkeklere yönelik olduğunu ve bu durumun diğer popülasyonlara ilişkin kritik veri boşlukları yarattığını söyledi. “Bundan dolayı yapay zeka modelleri farklı gruplardaki atipik hastalık sunumlarını tanımayabilir. Örneğin belirli hastalıkların semptomları gruplar arasında keskin farklılıklar gösterebilir ve bu farklılıkların kabul edilmemesi tedavinin gecikmesine veya yanlış yönlendirilmesine yol açabilir” dedi.
Mevcut düzenleyici yapılarla, LLM’ler ve onların genAI arayüzleri, bir insan klinisyenin yapabileceği gibi sorumluluk ve sorumluluk kabul edemez. Dolayısıyla, “resmi amaçlar” açısından, sorumluluk, muhakeme, ince ayrıntılar ve hastaların ihtiyaç duyduğu değerlendirme ve desteğin diğer birçok katmanı için döngüde hâlâ bir insana ihtiyaç duyulacak gibi görünüyor.
Chen, doktorların yüksek lisans eğitimlerini halihazırda tıbbi çizelgeleri açıklamak veya daha hafif semptomlar için tedavi seçenekleri oluşturmak gibi düşük riskli amaçlarla kullanıyor olmalarının kendisini şaşırtmayacağını söyledi.
Chen, “İyi ya da kötü, hazır ya da değil, Pandora’nın kutusu zaten açıldı ve bu araçları nasıl etkili bir şekilde kullanacağımızı bulmamız ve hastalara ve klinisyenlere bunu yapmanın uygun şekilde güvenli ve güvenilir yolları konusunda danışmanlık yapmamız gerekiyor” dedi.