NVIDIA’nın sahip olduğu piyasaya sürülmüş Hopper H100, GH200 ve L4 gibi dünyanın en hızlı AI GPU’larında çalışan resmi MLPerf Inference v3.1 performans kriterleri.
NVIDIA, Hopper ve Ada Lovelace GPU’ları ve MLPerf v3.1’de Sergilenen Güçlü Performansıyla Yapay Zeka Ortamına Hakim Oluyor
Bugün NVIDIA, yapay zeka kullanım durumları için çok çeşitli endüstri standardı kriterleri kapsayan MLPerf Inference v3.1 kıyaslama paketi içindeki ilk performans kıyaslamalarını yayınlıyor. Bu iş yükleri Önerici, Doğal Dil İşleme, Büyük Dil Modeli, Konuşma Tanıma, Görüntü Sınıflandırma, Tıbbi Görüntüleme ve Nesne Algılama arasında değişir.
İki yeni kıyaslama seti DLRM-DCNv2 ve GPT-J 6B’yi içeriyor. Bunlardan ilki, daha iyi öneriler sunmak için yeni bir katmanlar arası algoritma kullanan ve önceki sürüme göre iki kat daha fazla parametre sayısına sahip olan, gerçek önericilerin daha büyük, çoklu sıcak veri kümesi temsilidir. Diğer yandan GPT-J, açık kaynaklı ve 2021’de piyasaya sürülen temel modele sahip küçük ölçekli bir LLM’dir. Bu iş yükü, özetleme görevleri için tasarlanmıştır.
NVIDIA ayrıca gerekli bir sorgu veya görevi gerçekleştirmek için çeşitli yapay zeka modellerini kullanan bir uygulamanın kavramsal gerçek hayattaki iş yükü hattını da sergiliyor. Tüm modeller NGC platformunda mevcut olacak.
Performans kıyaslamaları açısından NVIDIA H100, tüm MLPerf v3.1 Çıkarım setinde (Çevrimdışı) Intel (HabanaLabs), Qualcomm (Cloud AI 100) ve Google (TPUv5e) rakiplerine karşı test edildi. NVIDIA tüm iş yüklerinde liderlik performansı sergiledi.
İşleri biraz daha ilginç hale getirmek için şirket, MLPerf’in nihai sonuçların yayınlanması için gönderim süresi arasında en az 1 ay olmasını gerektirdiğinden bu kriterlerin yaklaşık bir ay önce elde edildiğini belirtiyor. O zamandan bu yana NVIDIA, burada ayrıntılarıyla anlattığımız gibi performansı 8 kata kadar daha da artıran, TensorRT-LLM olarak bilinen yeni bir teknoloji geliştirdi. NVIDIA’nın da yakında TensorRT-LLM ile MLPerf kıyaslamalarını sunmasını bekleyebiliriz.
Ancak kriterlere geri dönecek olursak, NVIDIA’nın GH200 Grace Hopper Superchip’i de MLPerf’e ilk sunumunu yaparak H100 GPU’ya göre %17’lik bir iyileşme sağladı. Bu performans artışı esas olarak daha yüksek VRAM kapasitelerinden (96 GB HBM3’e karşı 80 GB HBM3) ve 4 TB/s bant genişliğinden kaynaklanmaktadır.
Hopper GH200 GPU, H100 ile aynı çekirdek konfigürasyonunu kullanır ancak artırılmış performansa yardımcı olan temel alanlardan biri, Grace CPU ile Hopper GPU arasındaki otomatik hidrolik direksiyondur. Superchip platformu aynı kart üzerinde hem CPU hem de GPU için güç dağıtımını içerdiğinden, müşteriler herhangi bir iş yükünde esas olarak gücü CPU’dan GPU’ya (veya tam tersi) değiştirebilirler. GPU’daki bu ekstra etki, çip saatinin daha hızlı olmasını ve daha hızlı çalışmasını sağlayabilir. NVIDIA ayrıca buradaki Superchip’in 1000W konfigürasyonunu çalıştırdığını da belirtti.
NVIDIA GH200 Grace Hopper Superchip, MLPerf sektör değerlendirmelerinde ilk kez tüm veri merkezi çıkarım testlerini gerçekleştirerek NVIDIA H100 Tensor Core GPU’ların lider performansını artırdı. Genel sonuçlar, NVIDIA AI platformunun buluttan ağın ucuna kadar olağanüstü performansını ve çok yönlülüğünü gösterdi.
GH200, Hopper GPU’yu Grace CPU’ya tek bir süper çipte bağlar. Bu kombinasyon, performansı optimize etmek için daha fazla bellek, bant genişliği ve gücü CPU ile GPU arasında otomatik olarak değiştirme yeteneği sağlar. Ayrı olarak, sekiz H100 GPU’yu bir araya getiren H100 sistemleri, bu turdaki tüm MLPerf çıkarım testlerinde en yüksek verimi sağladı.
Grace Hopper Superchips ve H100 GPU’lar, öneri sistemleri ve üretken yapay zekada kullanılan büyük dil modellerinin (LLM’ler) daha zorlu kullanım durumlarına ek olarak bilgisayar görüşü, konuşma tanıma ve tıbbi görüntülemeye yönelik çıkarımlar da dahil olmak üzere MLPerf’in tüm veri merkezi testlerinde liderlik yaptı. Genel olarak sonuçlar, NVIDIA’nın 2018’de MLPerf kriterlerinin piyasaya sürülmesinden bu yana her turda yapay zeka eğitimi ve çıkarımda performans liderliği gösterme rekorunu sürdürüyor.
NVIDIA aracılığıyla
Ada Lovelace GPU mimarisini temel alan NVIDIA L4 GPU da MLPerf v3.1’e güçlü bir giriş yaptı. Yalnızca tüm iş yüklerini çalıştırmakla kalmadı, aynı zamanda FHFL form faktöründe 72 W TDP’de modern x86 CPU’lardan (Intel 8380 Çift Soket) 6 kata kadar daha hızlı çalışarak bunu çok verimli bir şekilde gerçekleştirdi. L4 GPU ayrıca Kod Çözme, Çıkarım Yapma, Kodlama gibi Video/Yapay Zeka görevlerinde 120 kat artış sundu. Son olarak, NVIDIA Jetson Orion, yazılım güncellemeleri sayesinde %84’e kadar performans artışı elde etti ve NVIDIA’nın yazılım yığınını bir sonraki seviyeye geliştirme konusundaki kararlılığını gösteriyor.