NVIDIA’nın 120 GB’a kadar HBM2e bellek kapasitesine sahip yepyeni bir Hopper H100 GPU tabanlı grafik kartı üzerinde çalıştığı iddia ediliyor.
120 GB HBM2e Bellek Kapasiteli NVIDIA Hopper H100 GPU-Powered PCIe Grafik Kartı Tespit Edildi
NVIDIA şimdiye kadar resmi olarak Hopper H100 GPU’nun iki versiyonunu, bir SXM5 kartını ve bir PCIe çeşidini duyurdu. Her ikisi de farklı yapılandırılmış Hopper H100 GPU’lara sahiptir ve VRAM kapasiteleri 80 GB’de aynıyken, birincisi yepyeni HBM3 standardını kullanırken ikincisi HBM2e standardını kullanır.
Artık bilgiye dayalı s-ss.cc (aracılığıyla MEGAsizeGPU), NVIDIA, Hopper H100 GPU’nun yepyeni bir PCIe sürümü üzerinde çalışıyor olabilir. Yeni grafik kartı 80 GB HBM2e’ye sahip olmayacak, ancak 120 GB HBM2e bellek ile tamamen bitecek.
Mevcut bilgilere göre, Hopper H100 PCIe grafik kartı yalnızca 6144 bit veri yolu arabiriminde 120 GB bellek için etkinleştirilmiş altı HBM2e yığınının tamamıyla birlikte gelmiyor, aynı zamanda SXM5 varyantı ile aynı GH100 GPU yapılandırmasıyla birlikte geliyor. Bu, toplam 16.896 CUDA çekirdeği ve 3 TB/s’yi aşan bellek bant genişliğidir. Tek duyarlıklı işlem performansı, SXM5 varyantıyla aynı olan 30 TFLOP olarak derecelendirilmiştir.
Spesifikasyonlara gelince, NVIDIA Hopper GH100 GPU, toplam 8 GPC’de bulunan devasa bir 144 SM (Akış Çok İşlemcili) yonga düzeninden oluşur. Bu GPC’ler, her biri 2 SM biriminden oluşan toplam 9 TPC’yi sallar. Bu bize GPC başına 18 SM ve tam 8 GPC konfigürasyonunda 144 SM verir. Her SM, bize toplam 18.432 CUDA çekirdeği vermesi gereken 128 FP32 biriminden oluşur. H100 yongasından bekleyebileceğiniz yapılandırmalardan bazıları şunlardır:
GH100 GPU’nun tam uygulaması aşağıdaki birimleri içerir:
- 8 GPC, 72 TPC (9 TPC/GPC), 2 SM/TPC, tam GPU başına 144 SM
- SM başına 128 FP32 CUDA Çekirdeği, tam GPU başına 18432 FP32 CUDA Çekirdeği
- SM başına 4 Dördüncü Nesil Tensör Çekirdeği, tam GPU başına 576
- 6 HBM3 veya HBM2e yığını, 12 512 bit Bellek Denetleyicisi
- 60MB L2 Önbellek
SXM5 kart form faktörüne sahip NVIDIA H100 GPU, aşağıdaki birimleri içerir:
- 8 GPC, 66 TPC, 2 SM/TPC, GPU başına 132 SM
- SM başına 128 FP32 CUDA Çekirdeği, GPU başına 16896 FP32 CUDA Çekirdeği
- SM başına 4 Dördüncü Nesil Tensör Çekirdeği, GPU başına 528
- 80 GB HBM3, 5 HBM3 yığını, 10 512 bit Bellek Denetleyicisi
- 50MB L2 Önbellek
- Dördüncü Nesil NVLink ve PCIe Gen 5
Şimdi bunun bir test kartı mı yoksa test edilmekte olan Hopper H100 GPU’nun gelecekteki bir yinelemesi mi olduğu bilinmiyor. NVIDIA kısa süre önce GTC 22’de Hopper GPU’larının artık tam üretimde olduğunu ve ilk ürün dalgasının önümüzdeki ay piyasaya çıkacağını belirtti. Verimler arttıkça, piyasada 120 GB Hopper H100 PCIe grafik kartı ve SXM5 çeşitlerini kesinlikle görebiliriz, ancak şimdilik çoğu müşterinin alacağı 80 GB.
NVIDIA HPC / AI GPU’ları
NVIDIA Tesla Grafik Kartı | NVIDIA H100 (SMX5) | NVIDIA H100 (PCIe) | NVIDIA A100 (SXM4) | NVIDIA A100 (PCIe4) | Tesla V100S (PCIe) | Tesla V100 (SXM2) | Tesla P100 (SXM2) | Tesla P100 (PCI Ekspres) |
Tesla M40 (PCI Ekspres) |
Tesla K40 (PCI Ekspres) |
---|---|---|---|---|---|---|---|---|---|---|
GPU’lar | GH100 (Bunker) | GH100 (Bunker) | GA100 (Amper) | GA100 (Amper) | GV100 (Volta) | GV100 (Volta) | GP100 (Paskal) | GP100 (Paskal) | GM200 (Maxwell) | GK110 (Kepler) |
Süreç Düğümü | 4nm | 4nm | 7nm | 7nm | 12nm | 12nm | 16nm | 16nm | 28nm | 28nm |
transistörler | 80 Milyar | 80 Milyar | 54.2 trilyon | 54.2 trilyon | 21.1 Milyar | 21.1 Milyar | 15,3 Milyar | 15,3 Milyar | 8 Milyar | 7.1 Milyar |
Kalıp Boyutlu GPU’lar | 814mm2 | 814mm2 | 826mm2 | 826mm2 | 815mm2 | 815mm2 | 610mm2 | 610mm2 | 601mm2 | 551mm2 |
SMS’ler | 132 | 114 | 108 | 108 | 80 | 80 | 56 | 56 | 24 | 15 |
TPC’ler | 66 | 57 | 54 | 54 | 40 | 40 | 28 | 28 | 24 | 15 |
SM Başına FP32 CUDA Çekirdek Sayısı | 128 | 128 | 64 | 64 | 64 | 64 | 64 | 64 | 128 | 192 |
FP64 CUDA Çekirdekleri / SM | 128 | 128 | 32 | 32 | 32 | 32 | 32 | 32 | 4 | 64 |
FP32 CUDA Çekirdekleri | 16896 | 14592 | 6912 | 6912 | 5120 | 5120 | 3584 | 3584 | 3072 | 2880 |
FP64 CUDA Çekirdekleri | 16896 | 14592 | 3456 | 3456 | 2560 | 2560 | 1792 | 1792 | 96 | 960 |
Tensör Çekirdekleri | 528 | 456 | 432 | 432 | 640 | 640 | Yok | Yok | Yok | Yok |
Doku Birimleri | 528 | 456 | 432 | 432 | 320 | 320 | 224 | 224 | 192 | 240 |
Saati Yükselt | TBD | TBD | 1410MHz | 1410MHz | 1601MHz | 1530MHz | 1480MHz | 1329MHz | 1114MHz | 875MHz |
ÜSTLER (DNN/AI) | 2000 TOP 4000 TOP |
1600 TOP 3200 TOP |
1248 TOP Seyreklik ile 2496 TOP |
1248 TOP Seyreklik ile 2496 TOP |
130 TOP | 125 TOP | Yok | Yok | Yok | Yok |
FP16 Hesaplama | 2000 TFLOP | 1600 TFLOP | 312 TFLOP Seyreklik ile 624 TFLOP |
312 TFLOP Seyreklik ile 624 TFLOP |
32.8 TFLOP | 30.4 TFLOP | 21.2 TFLOP’lar | 18.7 TFLOP | Yok | Yok |
FP32 Hesaplama | 1000 TFLOP | 800 TFLOP | 156 TFLOP (19,5 tipik TFLOP) |
156 TFLOP (19,5 tipik TFLOP) |
16.4 TFLOP’lar | 15.7 TFLOP’lar | 10.6 TFLOP’lar | 10.0 TFLOP | 6.8 TFLOP’lar | 5.04 TFLOP |
FP64 Hesaplama | 60 TFLOP | 48 TFLOP | 19.5 TFLOP (9,7 standart TFLOP) |
19.5 TFLOP (9,7 standart TFLOP) |
8.2 TFLOP’lar | 7.80 TFLOP | 5.30 TFLOP | 4.7 TFLOP | 0,2 TFLOP | 1.68 TFLOP |
Bellek Arayüzü | 5120 bit HBM3 | 5120 bit HBM2e | 6144 bit HBM2e | 6144 bit HBM2e | 4096 bit HBM2 | 4096 bit HBM2 | 4096 bit HBM2 | 4096 bit HBM2 | 384 bit GDDR5 | 384 bit GDDR5 |
Hafıza boyutu | 80 GB’a kadar HBM3 @ 3.0 Gbps | 80 GB’a kadar HBM2e @ 2.0 Gbps | 40 GB’a kadar HBM2 @ 1,6 TB/sn 80 GB’a kadar HBM2 @ 1,6 TB/sn |
40 GB’a kadar HBM2 @ 1,6 TB/sn 80 GB’a kadar HBM2 @ 2,0 TB/sn |
16 GB HBM2 @ 1134 GB/sn | 16GB HBM2 @ 900GB/sn | 16 GB HBM2 @ 732 GB/sn | 16 GB HBM2 @ 732 GB/sn 12 GB HBM2 @ 549 GB/sn |
24 GB GDDR5 @ 288 GB/sn | 12GB GDDR5 @ 288GB/sn |
L2 Önbellek Boyutu | 51200 KB | 51200 KB | 40960 KB | 40960 KB | 6144 KB | 6144 KB | 4096 KB | 4096 KB | 3072 KB | 1536 KB |
Pasifik yaz saati | 700W | 350W | 400W | 250W | 250W | 300W | 300W | 250W | 250W | 235W |