Uluslararası bağımsız değerlendirme kuruluşu DiBiMT tarafından yapılan bir araştırmaya göre, Yandex Translator, metni İngilizce’den Rusça’ya diğer dil modellerinden ve çevrimiçi çevirmenlerden daha iyi çevirdi. DiBiMT kıyaslaması, makine çevirisinde hata oranlarını ölçmek için kullanılan bir kıyaslamadır. Yandex Translator ile birlikte Google Translate ve DeepL’in yanı sıra açık büyük dil modelleri de test edildi: mBART-50, M2M100 ve OPUS projesi.
Araştırmacılar, yazılışları aynı olan ancak anlamları farklı olan eşsesli sözcükler içeren birkaç bin İngilizce cümleden oluşan bir veri tabanı derlediler. Modeller ve hizmetler bu cümleleri çevirdi ve kıyaslama algoritmaları, doğru çevrilen kelimelerin yüzdesini belirledi. Ayrıca profesyonel çevirmenler tarafından doğru seçenekler seçilerek kontrol edildi ve ardından bu göstergelere göre bir kamu derecelendirmesi oluşturuldu.
Yandex Tercüman ayrıca İngilizce’den Çince, Almanca, İtalyanca ve İspanyolcaya çeviri kalitesi açısından üçüncü sırada yer aldı. Test, hizmetin cümlelerdeki belirli İngilizce kelimelerin anlamını belirlemede diğerlerinden daha iyi olduğunu ve daha az anlam hatası yaptığını gösterdi.