Yanxgpt’li Yandex çevirmen, uluslararası bağımsız kıyaslama Dibimt’in bir sonucu olarak İngilizce’den Rusya’ya çeviri kalitesinde dünya lideri oldu. Bu, Yandex’in basın hizmeti tarafından anlatıldı.
Şirket belirtildi:
Büyük bir dil modelinin hizmete girmesi, yıl boyunca çevirinin doğruluğunu iki katına çıkarmayı, daha doğal hale getirmeyi mümkün kıldı, stilistik özellikleri, istikrarlı ifadelerin anlamını ve Google Translate gibi liderleri geçmek daha iyidir. , Chatpt ve derin. Derecelendirme, Makine Öğrenmesinde Önde gelen Dünya Dil Öğrenimi Merkezleri – İtalyan Enstitüleri Sapienza ve SSML Carlo Bo tarafından yayınlandı.
Dibimt Benchmark, çeviride hataların yüzdesini (yani, kelimenin anlamının veya anlamının yanlış tanımını) ölçmek için bir referans testidir. Yandexgpt’e ek olarak, YanExgpt, 22 çeviri sistemi testte yer aldı. Yani, Yandex’in büyük dil modeli, örneğin GPT-4, Gemma 2 9b, Lama-3 8b ve diğer sinir ağları etrafında dolaştı.
Araştırmacılar, farklı anlamları olan kelimeler yazarken aynı şekilde homonmms ile birkaç bin cümle veritabanı topladılar. Modeller ve hizmetler bu cümleleri tercüme etti ve kıyaslama algoritmaları doğru tercüme edilen kelimelerin yüzdesini belirledi. Ayrıca, doğru seçenekler yüksek kaliteli ölçümler sağlayan profesyonel çevirmenler tarafından seçici olarak kontrol edildi. Bu göstergelere dayanarak, halka açık bir derecelendirme oluşturuldu.
