Birkaç ay önce doktorum, hasta toplantılarını kaydetmek ve özetlemek için kullandığı bir yapay zeka transkripsiyon aracını gösterdi. Benim durumumda özet iyiydi, ancak alıntı yapılan araştırmacılar ABC Haberleri Birçok hastanenin kullandığı bir araca güç sağlayan OpenAI’nin Whisper’ında durumun her zaman böyle olmadığını gördük; bazen her şeyi tamamen uyduruyor.
Whisper bir şirket tarafından kullanılıyor Nabla denir göre, 7 milyon tıbbi konuşmanın yazıya geçirildiğini tahmin eden bir tıbbi transkripsiyon aracı için ABC Haberleri. Çıkışta, 30.000’den fazla klinisyen ve 40 sağlık sisteminin kullandığı yazıyor. Nabla’nın Whisper’ın halüsinasyon görebileceğinin farkında olduğu ve “sorunu çözmeye çalıştığı” bildiriliyor.
Cornell Üniversitesi, Washington Üniversitesi ve diğerlerinden bir grup araştırmacı bir çalışmada bulundu Whisper, transkripsiyonların yaklaşık yüzde 1’inde halüsinasyon gördü ve kayıtlardaki sessizlikler sırasında bazen şiddetli duygular veya anlamsız ifadelerle tüm cümleleri oluşturdu. Çalışmanın bir parçası olarak TalkBank’ın AphasiaBank’ından ses örnekleri toplayan araştırmacılar, sessizliğin özellikle afazi adı verilen dil bozukluğuna sahip biri konuşurken yaygın olduğunu belirtiyor.
Araştırmacılardan biri olan Cornel Üniversitesi’nden Allison Koenecke, aşağıdakine benzer örnekleri bir çalışmayla ilgili konu.
Araştırmacılar halüsinasyonların aynı zamanda icat edilmiş tıbbi durumları veya bir YouTube videosundan bekleyebileceğiniz “İzlediğiniz için teşekkür ederiz!” gibi ifadeleri de içerdiğini buldu. (OpenAI’nin GPT-4’ü eğitmek için bir milyon saatten fazla YouTube videosunu yazıya döktüğü bildirildi.)
Çalışma şuydu: haziran ayında sunuldu Brezilya’daki Bilgisayar Makineleri Derneği FAccT konferansında. Hakem incelemesinden geçip geçmediği belli değil.
OpenAI sözcüsü Taya Christianson bir e-posta gönderdi. Sınır:
Bu konuyu ciddiye alıyoruz ve halüsinasyonları azaltmak da dahil olmak üzere sürekli olarak iyileştirmeye çalışıyoruz. API platformumuzda Whisper kullanımı için, kullanım politikalarımız belirli yüksek riskli karar alma bağlamlarında kullanımı yasaklamaktadır ve açık kaynak kullanımına yönelik model kartımız, yüksek riskli alanlarda kullanıma karşı öneriler içermektedir. Bulgularını paylaşan araştırmacılara teşekkür ederiz.
