Geekbench yapay zeka kıyaslamasını ana zamana taşıyor. Geliştirici Primate Labs, yeni adı Geekbench AI’yı (ön izlemede daha önce ‘Geekbench ML’ olarak adlandırılıyordu) 1.0 sürümüne taşıyor. Kıyaslama Windows, Linux ve macOS için, ayrıca Android için Google Play Store’da ve iPhone’lar ve iPad’ler için Apple’ın App Store’unda mevcuttur.
CPU için iki puan sağlayan normal Geekbench gibi, Geekbench AI birden fazla puan kullanacaktır. Bu durumda, yazılım hassasiyette değişen üç puan kullanacaktır: tek hassasiyetli veriler, yarı hassasiyetli veriler ve niceliksel veriler. Primate Labs, bunun “AI performansının çok boyutluluğunu ve farklı donanım tasarımlarının etkisini daha iyi tanımlamak” olduğunu iddia ediyor.
Ancak başka bir bileşen daha var: doğruluk. Her test için başka bir ölçüm, iş yükünün bekleneni ne kadar yakın bir şekilde sağladığını görür. Primate Labs, bir sosisli sandviçin varlığını tespit eden bir model örneği kullanarak açıkladı:
“Sosisli sandviç nesnesi algılama modeliniz çok, çok hızlı çalışabilir, ancak bir sosisli sandviçin gerçekten mevcut olduğu zamanın yalnızca %0,2’sinde doğru bir şekilde algılayabiliyorsa, çok iyi değildir,” diye açıkladı. “Bu doğruluk ölçümü ayrıca geliştiricilerin daha küçük veri türlerinin avantajlarını ve dezavantajlarını görmelerine yardımcı olabilir — bu da (potansiyel olarak!) daha düşük doğruluk pahasına performansı ve verimliliği artırabilir. Veri tabanımızı kullanarak doğruluğu performansın bir parçası olarak karşılaştırmak da geliştiricilerin göreceli verimliliği tahmin etmelerine yardımcı olabilir.”
AI 1.0 lansmanıyla birlikte bir sürü yeni framework kullanıma sunuldu. Artık Windows’ta OpenVINO, ONNX ve Qualcomm QNN, Linux’ta OpenVINO ve Android’de Samsung ENN, ArmNN ve Qualcomm QNN dahil “satıcıya özel TensorFlow Lite Delegeleri”ni destekliyor. Şirket, bu sürümün daha fazla veri kümesi de ekleyeceğini söylüyor.
Puanlama ve karşılaştırma
Primate Labs, sistemin herhangi bir şekilde oynanmasını veya daha nazik bir ifadeyle “skorlarda satıcı ve üreticiye özgü performans ayarlaması” yapılmasını engellemek istiyor[.]”Tüm iş yükleri en az bir saniye sürer ve bu sayede cihazların test sırasında en yüksek performans seviyelerine ulaşmaları için zamana sahip olmaları gerekir.
Primate Labs bunun ayrıca telefonlar ve masaüstü bilgisayarlar veya AI GPU’ları arasındaki farkı göstermeye yardımcı olacağını öne sürüyor. Bir test tamamlanırsa fazla Şirket, cihazın performansının kısa sürede düşük olacağını söylüyor.
Normal Geekbench gibi, Geekbench AI da Geekbench tarayıcısına rapor verecek (ve potansiyel olarak yaklaşan donanım sızıntıları için malzeme sağlayacak – kim bilir). En yüksek performans gösteren cihazlar Buradaen son sonuçlar ise Burada.
Şu anda, büyük donanım üreticilerinden olmayan AI performansını ölçmenin birkaç yolu var, bu yüzden bu hoş bir ekleme. Primate Labs bir blog yazısında Samsung ve Nvidia’nın da aralarında bulunduğu diğerlerinin yazılımı kullandığını ve şirketin yazılımın hızla gelişeceğini ve birçok gelecek sürümle birlikte geleceğini öne sürdüğünü söyledi.
Ancak gerçek dünyadaki AI performansını değerlendirmek şu anda zor, çünkü sınırlı kullanım durumları var. Bu yüzden bize neyin ne olduğunu söylemek için sadece birkaç kıyaslamaya çok fazla ağırlık biniyor.