NVIDIA, yeni nesil Hopper GPU’ları için ticari marka tescilinde bazı sorunlar yaşıyor olabilir, ancak bu, şirketin amiral gemisi GH100 die’nin geliştirilmesini engellemiyor. kopite7kimi çipin yaklaşık 1000 mm2 ölçeceğini iddia ediyor.
NVIDIA GH100 GPU, Yeni Nesil Amiral Gemisi Veri Merkezi Çipi, Yaklaşık 1000mm2 Ölçmek İçin
Şu anda üretimdeki en büyük GPU, 826 mm2 boyutundaki NVIDIA Ampere GA100’dür. Söylenti doğruysa, NVIDIA’nın Hopper GH100’ü, 1000 mm2 civarında ölçüm yaparak şimdiye kadar tasarlanmış en büyük GPU tasarımı olmaya devam edecek ve mevcut canavar GPU’ları en az 100 mm2 kolayca aşacaktır.
Ancak hepsi bu kadar değil, söz konusu kalıp boyutu tek bir GH100 GPU kalıbı içindir ve Hopper’ın NVIDIA’nın ilk MCM yonga tasarımı olacağına dair söylentiler duyduk, bu nedenle aynı aracı üzerinde en az iki Hopper GH100 GPU aldığımızı düşünürsek, yalnızca kalıplar 2000mm2 ölçecektir. Tüm bunlar, gemide birkaç HBM2e yığını ve diğer bağlantıları paketleyeceği düşünüldüğünde, aracının şimdiye kadar gördüğümüzden çok daha büyük olacağı anlamına geliyor. Ancak Greymon55, Hopper’ın yekpare bir tasarım olmaya devam edeceğini ve bu nedenle nihai çip tasarımının ne olacağının görülmesi gerektiğini belirtti.
GH100, 1000 mm²’den biraz daha küçük büyük bir tek kalıba sahiptir.
— kopite7kimi (@kopite7kimi) 29 Ocak 2022
GH100’ün MCM’si yoktur, yine de monolitiktir.
— Greymon55 (@greymon55) 29 Ocak 2022
NVIDIA GPU Hopper – Şimdiye Kadar Bildiğimiz Her Şey
Önceki bilgilerden, NVIDIA’nın H100 hızlandırıcısının bir MCM çözümüne dayalı olacağını ve TSMC’nin 5nm işlem düğümünü kullanacağını biliyoruz. Hopper’ın iki yeni nesil GPU modülüne sahip olması gerekiyor, bu nedenle toplamda 288 SM birimine bakıyoruz.
Her SM’de bulunan çekirdek sayısını bilmediğimiz için henüz çekirdek sayısı hakkında bir özet veremiyoruz, ancak SM başına 64 çekirdeğe bağlı kalacaksa, o zaman 2.25x’ten 2.25x daha fazla olan 18.432 çekirdek elde ediyoruz. tam GA100 GPU yapılandırması. NVIDIA ayrıca Hopper GPU’su içinde performansı büyük ölçüde artıracak daha fazla FP64, FP16 ve Tensor çekirdeğinden yararlanabilir. Ve bu, 1:1 FP64’e sahip olması beklenen Intel’in Ponte Vecchio’suna rakip olmak için bir gereklilik olacak.
Son konfigürasyonun, her bir GPU modülünde etkinleştirilmiş 144 SM biriminden 134’ü ile gelmesi muhtemeldir ve bu nedenle, muhtemelen tek bir GH100 kalıbını çalışırken görüyoruz. Ancak NVIDIA’nın GPU Sparsity kullanmadan MI200’ler ile aynı FP32 veya FP64 Flop’lara ulaşması pek olası değildir.
Ancak NVIDIA’nın muhtemelen kollarında gizli bir silahı olabilir ve bu, Hopper’ın COPA tabanlı GPU uygulaması olacaktır. NVIDIA, biri HPC diğeri DL segmenti için olmak üzere yeni nesil mimariye dayalı iki Etki Alanına Özel COPA-GPU’dan bahsediyor. HPC varyantı, bir MCM GPU tasarımı ve ilgili HBM/MC+HBM (IO) yongalarından oluşan çok standart bir yaklaşıma sahiptir, ancak DL varyantı, işlerin ilginçleşmeye başladığı yerdir. DL varyantı, GPU modülleriyle birbirine bağlı tamamen ayrı bir kalıp üzerinde büyük bir önbellek barındırır.
Mimari | LLC Kapasitesi | BW-DRAM’ler | DRAM Kapasitesi |
---|---|---|---|
Yapılandırma | (MB) | (TB/sn) | (GB) |
GPU-N | 60 | 2.7 | 100 |
COPA-GPU-1 | 960 | 2.7 | 100 |
COPA-GPU-2 | 960 | 4.5 | 167 |
COPA-GPU-3 | 1920 | 2.7 | 100 |
COPA-GPU-4 | 1920 | 4.5 | 167 |
COPA-GPU-5 | 1920 | 6.3 | 233 |
mükemmel L2 | sonsuzluk | sonsuzluk | sonsuzluk |
960 / 1920 MB’ye kadar LLC (Son Seviye Önbellek), 233 GB’a kadar HBM2e DRAM kapasiteleri ve 6,3 TB/s’ye kadar bant genişliği ile çeşitli varyantlar ana hatlarıyla belirtilmiştir. Bunların hepsi teorik, ancak NVIDIA’nın şimdi bunları tartıştığı göz önüne alındığında, tam tanıtım sırasında muhtemelen böyle bir tasarıma sahip bir Hopper varyantı görebiliriz. GTC 2022.
NVIDIA Hopper GH100 “Ön Özellikler”:
NVIDIA Tesla Grafik Kartı | Tesla K40 (PCI Ekspres) |
Tesla M40 (PCI Ekspres) |
Tesla P100 (PCI Ekspres) |
Tesla P100 (SXM2) | Tesla V100 (SXM2) | NVIDIA A100 (SXM4) | NVIDIA H100 (SMX4?) |
---|---|---|---|---|---|---|---|
GPU’lar | GK110 (Kepler) | GM200 (Maxwell) | GP100 (Paskal) | GP100 (Paskal) | GV100 (Volta) | GA100 (Amper) | GH100 (Bunker) |
Süreç Düğümleri | 28nm | 28nm | 16nm | 16nm | 12nm | 7nm | 5nm |
transistörler | 7.1 Milyar | 8 Milyar | 15,3 Milyar | 15,3 Milyar | 21.1 Milyar | 54.2 trilyon | TBD |
Kalıp Boyutlu GPU’lar | 551mm2 | 601mm2 | 610mm2 | 610mm2 | 815mm2 | 826mm2 | ~1000mm2? |
SMS’ler | 15 | 24 | 56 | 56 | 80 | 108 | 134 (Modül Başına) |
TPC’ler | 15 | 24 | 28 | 28 | 40 | 54 | TBD |
SM Başına FP32 CUDA Çekirdek Sayısı | 192 | 128 | 64 | 64 | 64 | 64 | 64? |
FP64 CUDA Çekirdekleri / SM | 64 | 4 | 32 | 32 | 32 | 32 | 32? |
FP32 CUDA Çekirdekleri | 2880 | 3072 | 3584 | 3584 | 5120 | 6912 | 8576 (Modül Başına) 17152 (Tamamlandı) |
FP64 CUDA Çekirdekleri | 960 | 96 | 1792 | 1792 | 2560 | 3456 | 4288 (PerModül)? 8576 (Tamamlandı)? |
Tensör Çekirdekleri | Yok | Yok | Yok | Yok | 640 | 432 | TBD |
Doku Birimleri | 240 | 192 | 224 | 224 | 320 | 432 | TBD |
Saati Yükselt | 875MHz | 1114MHz | 1329MHz | 1480MHz | 1530MHz | 1410MHz | ~1400MHz |
TOP’lar (DNN/AI) | Yok | Yok | Yok | Yok | 125 TOP | 1248 TOP Seyreklik ile 2496 TOP |
TBD |
FP16 Hesaplama | Yok | Yok | 18.7 TFLOP’lar | 21.2 TFLOP’lar | 30,4 TFLOP | 312 TFLOP Seyreklik ile 624 TFLOP |
779 TFLOP (Modül Başına)? Seyreklikli 1558 TFLOP (Modül Başına)? |
FP32 Hesaplama | 5.04 TFLOP | 6.8 TFLOP’lar | 10.0 TFLOP | 10.6 TFLOP’lar | 15.7 TFLOP’lar | 19.4 TFLOP’lar Seyreklik ile 156 TFLOP |
24.2 TFLOP (Modül Başına)? 193.6 Seyreklik Olan TFLOP’lar? |
FP64 Hesaplama | 1.68 TFLOP | 0,2 TFLOP | 4.7 TFLOP | 5.30 TFLOP | 7.80 TFLOP | 19.5 TFLOP (9,7 standart TFLOP’lar) |
24.2 TFLOP (Modül Başına)? (12.1 standart TFLOP’lar)? |
Bellek Arayüzü | 384 bit GDDR5 | 384 bit GDDR5 | 4096 bit HBM2 | 4096 bit HBM2 | 4096 bit HBM2 | 6144 bit HBM2e | 6144 bit HBM2e |
Hafıza boyutu | 12GB GDDR5 @ 288GB/sn | 24 GB GDDR5 @ 288 GB/sn | 16 GB HBM2 @ 732 GB/sn 12 GB HBM2 @ 549 GB/sn |
16 GB HBM2 @ 732 GB/sn | 16GB HBM2 @ 900GB/sn | 40 GB’a kadar HBM2 @ 1,6 TB/sn 80 GB’a kadar HBM2 @ 1,6 TB/sn |
100 GB’a kadar HBM2e @ 3,5 Gbps |
L2 Önbellek Boyutu | 1536 KB | 3072 KB | 4096 KB | 4096 KB | 6144 KB | 40960 KB | 81920 KB |
Pasifik yaz saati | 235W | 250W | 250W | 300W | 300W | 400W | ~450-500W |