Nvidia, GTC İlkbahar 2023 açılış konuşmasında yeni bir çift GPU ürünü olan H100 NVL’yi duyurdu. Bu, SLI veya çoklu GPU oyunlarını geri getirmeyecek ve oyun için en iyi grafik kartlarından biri olmayacak, bunun yerine büyüyen AI pazarını hedefliyor. Nvidia’nın yayınladığı bilgi ve görüntülere göre, H100 NVL (H100 NVLink), iki bitişik kart ayrı PCIe yuvalarına yerleştirilerek üstte üç NVLink konektörüne sahip olacak.
Görünüşe göre Nvidia’nın SXM seçeneğini desteklemeyen sunucuları barındırmak için eğitimden çok çıkarım performansına odaklanan ilginç bir hız değişikliği. NVLink bağlantıları, NVSwitch’in SXM çözümlerinde sağladığı eksik bant genişliğini sağlamaya yardımcı olmalıdır ve başka bazı önemli farklılıklar da vardır.
Spesifikasyonları alın. Önceki H100 çözümleri – hem SXM hem de PCIe – 80 GB HBM3 bellekle geldi, ancak asıl paket, her biri 16 GB belleğe sahip altı yığın içeriyor. Bir yığının tamamen devre dışı bırakılıp bırakılmadığı veya bunun ECC veya başka bir amaç için olup olmadığı net değil. Bildiğimiz şey, H100 NVL’nin GPU başına 94 GB ve toplam 188 GB HBM3 ile geleceğidir. GPU başına “eksik” 2 GB’ın artık ECC için olduğunu varsayıyoruz.
Güç, H100 PCIe’den biraz daha yüksektir, GPU başına 350–400 watt (yapılandırılabilir), 50 W’lık bir artış. Bu arada toplam performans, H100 SXM’nin etkin bir şekilde iki katına çıkıyor: 134 teraflop FP64, 1.979 teraflop TF32 ve 7.916 teraflop FP8 (ayrıca 7.916 teraops INT8).
Temel olarak bu, NVLink’i de destekleyen, ancak potansiyel olarak şimdi daha fazla GPU çekirdeğinin etkinleştirildiği ve %17,5 daha fazla belleğe sahip olan H100 PCIe’nin aynı çekirdek tasarımına benziyor. Bellek bant genişliği de GPU başına 3,9 TB/s ve birleşik 7,8 TB/s ile H100 PCIe’den biraz daha yüksektir (H100 PCIe için 2 TB/sn ve H100 SXM’de 3,35 TB/sn).
Bu çift kartlı bir çözüm olduğundan, her kart 2 yuvalı bir alanı kapladığından Nvidia, ortak ve sertifikalı sistemler için yalnızca 2 ila 4 çift H100 NVL kartını destekler. Tek bir çiftin maliyeti ne kadar olur ve ayrı olarak satın alınabilir mi? Bazen tek bir H100 PCIe bulunabilmesine rağmen, bu henüz görülmedi. yaklaşık 28.000 $ (yeni sekmede açılır). Yani bir çift H100 NVL için 80.000 $ söz konusu değil.
