OpenAI’nin Whisper ses transkripsiyon aracını kullanan araştırmacılar ve mühendisler, çıktısında genellikle halüsinasyonlar bulunduğunu ve genellikle orijinal kaydı tam olarak yansıtmayan metin parçaları olarak ortaya çıktığını söyledi. göre Associated PressMichigan Üniversitesi’nden bir araştırmacı, incelenen AI aracının transkripsiyonlarının %80’inde uydurma metin bulduğunu ve bunun onu iyileştirmeye çalışmasına yol açtığını söyledi.
Yapay zeka halüsinasyonu yeni bir olgu değil ve araştırmacılar semantik entropi gibi farklı araçları kullanarak bunu düzeltmeye çalışıyorlar. Ancak endişe verici olan, Whisper AI ses transkripsiyon aracının, hataların ölümcül sonuçlara yol açabileceği tıbbi ortamlarda yaygın olarak kullanılmasıdır.
Örneğin, konuşmacılardan biri şöyle dedi: “O çocuk şemsiyeyi alacaktı, tam olarak emin değilim” ama Whisper şunu aktardı: “O da haçın büyük bir parçası, ufacık, küçük bir parça… Ben Eminim terör bıçağı yoktu bu yüzden birçok insanı öldürdü.” Başka bir kayıtta “iki kız daha ve bir bayan” yazıyordu ve yapay zeka aracı bunu “diğer iki kız ve bir bayan, ımm, siyahiydi” olarak aktardı. Son olarak, tıpla ilgili bir örnek, Whisper’ın çıktısında var olmayan “hiperaktif antibiyotikler” yazdığını gösterdi.
Nabla, 45.000’den fazla klinisyen tarafından kullanılan bir yapay zeka asistanı
Yukarıdaki haberlere rağmen, klinisyenlerin hasta-doktor etkileşimini yazıya dökmesine ve ziyaret sonrasında notlar veya raporlar oluşturmasına yardımcı olan ortam yapay zeka asistanı Nabla, hala Whisper’ı kullanıyor. Şirket, Los Angeles Çocuk Hastanesi ve Minnesota’daki Mankato Kliniği de dahil olmak üzere 85’ten fazla sağlık kuruluşunda 45.000’den fazla klinisyenin bu aracı kullandığını iddia ediyor.
Nabla, OpenAI’nin Whisper’ını temel alsa da şirketin Baş Teknoloji Sorumlusu Martin Raison, aracının etkileşimi yazıya dökmek ve özetlemek için tıp dilinde ince ayar yaptığını söylüyor. Ancak OpenAI, Whisper’ın önemli transkripsiyonlar için kullanılmamasını tavsiye ediyor, hatta “doğruluktaki kusurların sonuçlarda belirgin kusurlara yol açabileceği karar verme bağlamlarında” kullanılmasına karşı uyarıda bulunuyor.
Nabla’nın arkasındaki şirket, Whisper’ın halüsinasyon görme eğiliminin farkında olduğunu ve soruna şimdiden çözüm bulmaya çalıştığını söylüyor. Ancak Raison, yapay zeka tarafından oluşturulan transkripti orijinal ses kaydıyla karşılaştıramayacağını, çünkü aracının veri gizliliği ve güvenliği için orijinal sesi otomatik olarak sildiğini söyledi. Neyse ki, yapay zeka not alma araçlarının neden olduğu halüsinasyon nedeniyle bir sağlık hizmeti sağlayıcısına karşı henüz kayıtlı bir şikayet yok.
Eski bir OpenAI mühendisi olan William Saunders, durum böyle olsa bile, sağlık hizmeti sağlayıcısının metnin doğru olup olmadığını doğrulayamayacağı için orijinal kaydın kaldırılmasının sorunlu olabileceğini söyledi. Associated Press’e “Temel gerçeği ortadan kaldırırsanız hataları yakalayamazsınız” dedi.
Bununla birlikte Nabla, kullanıcılarının yazıya dökülmüş notları düzenlemesini ve onaylamasını gerektirir. Dolayısıyla, raporu hasta hâlâ doktorla aynı odadayken iletebilirse, sağlık hizmeti sağlayıcısına, yakın zamandaki hafızasına dayanarak sonuçların doğruluğunu doğrulama şansı verecek ve hatta veriler doğrulanmışsa hastayla bilgileri teyit etme şansına sahip olacak. AI transkripsiyonu tarafından iletilen bilgiler hatalı kabul edilir.
Bu, yapay zekanın her şeyi doğru yapan hatasız bir makine olmadığını gösteriyor; bunun yerine onu hızlı düşünebilen bir kişi olarak düşünebiliriz ancak çıktısının her seferinde iki kez kontrol edilmesi gerekiyor. Yapay zeka pek çok durumda kesinlikle faydalı bir araç, ancak en azından şimdilik onun bizim yerimize düşünmesine izin veremeyiz.