Yazılım mühendisleri, geliştiriciler ve akademik araştırmacıların OpenAI’nin Whisper’ındaki transkripsiyonlar konusunda ciddi endişeleri var. Associated Press’te yer alan bir rapor.
Üretken yapay zekanın halüsinasyon görme (temel olarak bir şeyler uydurma) eğilimi hakkında çok fazla tartışma olmasına rağmen, bunun transkripsiyonda bir sorun olması biraz şaşırtıcı, burada transkripsiyonun, transkripsiyona tabi tutulan sesi yakından takip etmesini bekleyeceksiniz.
Bunun yerine araştırmacılar AP’ye Whisper’ın ırkçı yorumlardan hayali tıbbi tedavilere kadar her şeyi transkriptlere aktardığını söyledi. Ve Whisper’ın hastanelerde ve diğer tıbbi ortamlarda benimsenmesi nedeniyle bu özellikle felaket olabilir.
Michigan Üniversitesi’nden halka açık toplantıları inceleyen bir araştırmacı, her 10 ses kaydından sekizinde halüsinasyonlar buldu. Bir makine öğrenimi mühendisi, 100 saatten fazla Whisper transkripsiyonunu inceledi ve bunların yarısından fazlasında halüsinasyonlar buldu. Ve bir geliştirici, Whisper ile oluşturduğu 26.000 transkripsiyonun neredeyse tamamında halüsinasyonlar bulduğunu bildirdi.
Bir OpenAI sözcüsü, şirketin “halüsinasyonları azaltmak da dahil olmak üzere modellerimizin doğruluğunu iyileştirmek için sürekli çalıştığını” söyledi ve kullanım politikalarının Whisper’ın “bazı yüksek riskli karar verme bağlamlarında” kullanılmasını yasakladığını belirtti.
“Araştırmacılara bulgularını paylaştıkları için teşekkür ediyoruz” dediler.