AI görevlerinin Nvidia tarafından grafiksel gösterimi. Nvidia.
Geçen Salı, tahmin yapmak için bir sinir ağının ne kadar hızlı çalıştırılabileceğine dair en son kıyaslama testi tarafından sunuldu. MLCommonsMLPerf testlerini yöneten konsorsiyum. Nvidia, Dell, Qualcomm ve Supermicro gibi büyük satıcılar, hangi sistemlerin en yüksek puanı alacağını belirlemek için farklı çip yapılandırmalarına sahip bilgisayar sistemleri sundu.
Test, en kısa yanıt süresini, yani gecikmeyi veya en düşük güç tüketimini, yani enerji verimliliğini sağlamak için saniyede cevaplanabilecek en yüksek soru sayısını sağlamaktır.
Neural Magic, xFusion dahil olmak üzere bir grup start-up da katıldı. cTuningNettrix, Neuchips, Moffett ve Krai.
MLPerf Çıkarımı 3.0
“MLPerf Inference 3.0” olarak adlandırılan test, eğitimli bir sinir ağı yeni veriler aldığında ve sonuçların çıktısını alması gerektiğinde ortaya çıkan hesaplama işlemlerini taklit eder. Kıyaslama testi, bir bilgisayarın bir dizi görev için ne kadar hızlı yanıt üretebileceğini ölçer. ImageNet dahilsinir ağının, fotoğraftaki kedi veya köpek gibi nesneyi tanımlayan bir fotoğrafa etiketlerden birini uygulamasıdır.
Test sonuçları çıkarımı takip eder MLPerf 2.1 Eylül 2022’de sunuldu.
Bir basın bülteninde MLCommons, birden çok satıcı tarafından sunulan sonuçların “bazı kıyaslama testlerinde %60’ın üzerinde önemli performans artışı” gösterdiğini belirtiyor.
Daha fazla kuruluş kıyaslama testini benimsiyor
Sonuçlar, veri merkezlerinde veya artık geleneksel veri merkezi makineleri dışındaki çeşitli bilgisayar sistemlerini kapsayan bir terim olan uç bilgi işlem bağlamında çalışan bilgisayar sistemleriyle ilgilidir. elektronik tablo sonuçları listeler.
Sonuçlar, kıyaslama testlerine giderek daha fazla kuruluşun bağlı kaldığını gösteriyor. MLCommons’a göre, “rekor sayıda 25 kuruluş”, “6.700’den fazla performans sonucu ve 2.400’den fazla performans ve enerji verimliliği ölçümü” sundu. Bu rakam, Eylül ayında 5.300 performans ölçümü ve 2.400 enerji verimliliği tedbirinden daha yüksektir.
Gönderimler iki kategoriye ayrılır: “kapalı” gönderimler ve “açık” gönderimler.
- Birinci kategoride, farklı teklif sahipleri, sistemlerin eşit düzeyde en doğrudan karşılaştırılmasına olanak tanıyan AI yazılımının kullanımına ilişkin katı kurallara uyar.
- İkincisinde, başvuru sahiplerinin kıyaslamaların standart kurallarına uymayan özgün yazılım yaklaşımlarını kullanmalarına izin verilerek yenilikler üretilmesine olanak sağlanır.
Nvidia her zaman ilgi odağında
Çoğu zaman olduğu gibi, AI için kullanılan GPU’ların ana tedarikçisi olan Nvidia, çoğu testteki performansı nedeniyle sayısız ödül kazandı. Nvidia’nın iki Intel Xeon işlemci ve sekiz “Hopper” GPU yongası çalıştıran sistemi, ChatGPT’nin öncüsü olan Google BERT dil modelini çalıştırmak da dahil olmak üzere altı farklı kıyaslama görevinin beşinde birinci oldu. Altı görevden birinde, Intel ve Nvidia yongalarının neredeyse aynı yapılandırmasını kullanan bir Dell sistemi en iyi noktayı kazandı.
Nvidia’nın sonuçları hakkında daha fazla bilgi için, şirket bloguna göz atın.
Şirket, Qualcomm’un Döngü 2.1’deki sonuçlara kıyasla BERT dil programı için sorgu veriminde üç kat artış elde edebildiğini söyledi. Qualcomm tarafından iki AMD EPYC sunucu yongası ve 18 “AI100” AI hızlandırıcı yongası kullanılarak sunulan bir sistem, BERT görevinde açık veri merkezi bilgisayarları kategorisi için en yüksek puanı aldı. Sonuç, yani BERT ağında saniyede 53.024 istek çıktısı, Nvidia’nın kapalı kategoride elde ettiği birincilikten yalnızca biraz daha düşük.
cTuning en düşük gecikme için birinci oldu
Yeni katılımcılar arasında Paris merkezli kar amacı gütmeyen bir kuruluş olan cTuning yapay zeka programcılarının farklı donanım platformlarında kıyaslama testi sonuçlarını yeniden oluşturması için açık kaynak araçları geliştiren.
cTuning, uç bilgi işlem için kıyaslama testinde kapalı kategoride beş görevden dördü için en düşük gecikme, yani bir istek gönderme ile yanıt verme arasındaki en kısa süre için birinci oldu.
NeuralMagicMIT araştırmacısı Nir Shavit’in kurucu ortağı olduğu girişim, bir sinir ağının hangi “sinir ağırlıklarının” bilgisayar çipi tarafından işlenmemesi için kullanılmadan bırakılabileceğini belirleyebilen yazılımını bir kez daha devreye soktu. bilgisayar gücünden tasarruf sağlar.
x86, GPU’lar üzerindeki gücünü artırıyor
Şirketin DeepSparse yazılımı, Nvidia’nın GPU’larından herhangi bir yardım almadan yalnızca ana işlemciyi, Intel, AMD’den bir x86 yongasını veya gelecekte ARM tabanlı yongaları kullanabilir.
Uç bilgi işlem için açık kategorideki BERT dil testinde Neural Magic’in DeepSparse yazılımı, Google BERT sinir ağından saniyede 5.578 yanıt almak için iki AMD EPYC sunucu işlemcisi kullandı. Bu sonuç, iki Xeon işlemci ve bir Nvidia Hopper GPU’dan oluşan Supermicro’nun bilgisayarının kapalı kategoride elde ettiği ikincilikten yalnızca biraz daha düşük.
Şirket, daha pahalı GPU’lar yerine x86 yongalarına güvenmenin, yürütme programlarının toplam maliyetini azaltarak yapay zekanın daha fazla işletmeye ve kuruma yayılmasına yardımcı olacağını söylüyor.
Neural Magic’in ürün mühendisliği müdürü Michael Goin, ZDNET ile yaptığı bir röportajda, “Bu tüketici donanımından çok daha fazlasını elde edebilirsiniz,” dedi. “Bunlar, şirketlerin satış, envanter ve lojistiği yönetmek için halihazırda mağazalarında veya perakende satış sitelerinde kullandıkları AMD yongalarının aynısı. »
Neural Magic’in yaklaşımı hakkında daha fazla bilgi edinin şirketin blog gönderisine bakın.
ML Perf’te daha ileri gitmek için
AI: Google ve Nvidia, makine öğrenimi pazarının üzerinden uçuyor
Kaynak : ZDNet.com