GPT-4 ile karşılaştırıldığında Gemini Ultra kriterlerinin listesi

Google, Gemini Ultra ve GPT-4’ün çeşitli testlerdeki performansını yan yana karşılaştıran bir tablo yayınladı. Hemen hemen her kategoride Google zirvede.
Grafik: Google

Google, rakiplerine karşı saldırırken genellikle çekingen davrandı, ancak şirket lafı esirgemedi. Google’a göre Gemini neredeyse her açıdan OpenAI’yi geride bırakıyor.

Bir basın toplantısında konuşan Google DeepMind Üründen Sorumlu Başkan Yardımcısı Eli Collins, “%90’ın üzerinde bir puanla Gemini, endüstri standardı karşılaştırmalı değerlendirme MMLU’da insan uzmanlarından daha iyi performans gösteren ilk yapay zeka modelidir” dedi. “Bu bizim en büyük ve en yetenekli yapay zeka modelimiz.” Massive Multitask Language Understanding’in kısaltması olan MMLU, matematik, fizik, tarih, hukuk, tıp ve etik gibi 57 konunun birleşimindeki standart testleri kullanarak yapay zeka yeteneklerini ölçer.

Collins, “Gemini’nin performansı aynı zamanda yaygın olarak kullanılan 32 endüstri kriterinin 30’unda mevcut son teknoloji sonuçları da aşıyor” dedi.



genel-7