Karşılaştırmalı değerlendirme öncüleri Primat Laboratuvarları Perşembe günü Geekbench AI 1.0 yayınlandı. Şu anda Android, Linux, MacOS ve Windows için mevcut olan uygulama, platformlar arasında performans derecelendirmelerini standartlaştırmak amacıyla Geekbench’in ilkelerini makine öğrenimi, derin öğrenme ve diğer AI iş yüklerine uygular. 2021’de duyurulan ve şu anda 0.6 sürümünde olan Geekbench ML’nin (makine öğrenimi) halefidir.
“[I]Son yıllarda şirketler bu tür iş yüklerinde (ve ilgili pazarlamalarında) ‘AI’ terimini kullanma konusunda birleştiler” diyor Primate Labs isim değişikliği hakkında. “Mühendislerden performans meraklılarına kadar herkesin bu kıyaslamanın ne yaptığını ve nasıl çalıştığını anlamasını sağlamak için bir güncelleme yapmanın zamanının geldiğini düşündük.”
Bu haftanın başlarında, ChatGPT üreticisi OpenAI yeni bir sürüm duyuruldu kendi AI modeli kıyaslamasının. SWE-bench Verified, modellerin “gerçek dünya sorunlarını” çözmedeki etkinliğini belirlemek için insan doğrulamasını kullanan “insan tarafından doğrulanmış” bir tekliftir.