Nvidia, veri merkezlerindeki AI iş yükleri için yeni mimarisi Hopper’ı tanıttı. Bu, Ampere’nin yerini alacak ve adını bilgisayar öncüsü Grace Hopper’dan alacak. Hopper tabanlı ilk ürün, 80 milyar transistör içeren, TSMC’nin 4N süreci üzerine inşa edilen ve üçe bir performans sunan H100 olacak. Amper tabanlı A100. GPU, dördüncü nesil NVLink HBM3 belleği olan PCIe Gen5’i destekleyecek ve 3 Tbps bellek bant genişliğine sahip olacak.
Hopper’ın sunumu sırasında Nvidia yönetimi, “Yirmi H100 GPU, küresel internet trafiğinin eşdeğerini destekleyerek, müşterilerin gelişmiş öneri sistemleri ve gerçek zamanlı veri çıkarımı gerçekleştiren büyük dil modelleri sunmasını sağlıyor” dedi. GPU ayrıca ikinci nesil çoklu örnek teknolojisine sahip olacak ve tek bir GPU üzerinde yedi çadırı destekleyebilecek. Şirket ayrıca, gizli bilgi işlem kullanımı sayesinde GPU’sunun bunu güvenli bir şekilde yapabileceğini iddia ediyor.
“Hopper, bir donanım ve yazılım kombinasyonu kullanarak Gizli Bilgi İşlem’i Hızlandırılmış Hesaplamaya getiriyor. Gizli Bilgi İşlem etkinleştirildiğinde veya Güvenilir Yürütme Ortamı, hem CPU’yu hem de GPU’yu, CPU ile GPU arasında ve GPU arasında veri aktarımlarını kapsayan bir Gizli Sanal Makine aracılığıyla oluşturulduğunda ve bir düğümdeki GPU, maksimum PCIe hat hızında şifrelenir ve şifresi çözülür,” diyor Nvidia’da Veri Merkezi Bilgi İşlem Kıdemli Direktörü Paresh Kharya.
Üçüncü çeyrekte bir GPU piyasaya sürüldü
“H100 ayrıca, H100 GPU’daki tüm iş yükünü koruyan ve aynı zamanda onu bellek ile bilgi işlem motorları arasında yalıtan bir donanım güvenlik duvarına sahiptir, böylece anahtara sahip güvenilir yürütme ortamının sahibi dışında hiç kimse içeride kodlanmış verilere dokunamaz. ” Bu tasarım, VM’nin tam izolasyonunu sağlar ve hipervizör, ana bilgisayar işletim sistemi ve hatta fiziksel erişimi olan herhangi biri dahil olmak üzere herhangi bir yetkisiz varlık tarafından erişimi veya değiştirilmesini önler.”
Nvidia, H100’ün 105 katmanlı, 530 milyar parametreli canavar modeli Megatron-Turing 530B’yi 30 kata kadar verimle işleyebileceğini iddia ediyor. Nvidia yönetimi, 8.000 GPU’da 395 milyar parametreli Mixture of Experts Transformer modelini eğitirken, A100’lerde gereken yedi güne kıyasla yalnızca 20 saat süreceğini belirtti. Bunu başarmak için şirket, FP8 iş yüklerinde 32 petaflop sunacak olan DGX H100 sistemi için sekiz H100 GPU’yu bir araya getirirken, yeni DGX Superpod, 900 GBps kapasiteli dördüncü nesil NVLink kullanan bir anahtarla 32 adede kadar DGX H100 düğümü bağlayacak.
Daha mütevazı bir bütçeye sahip olanlar için GPU, olağan bulut hizmeti sağlayıcılarından temin edilebilecek. H100, 2022’nin üçüncü çeyreğinden itibaren piyasaya sürülecek. Nvidia, H100’ün yanı sıra, yongalar arasındaki ara bağlantı için NVLink-C2C kullanılarak bağlanan bir çift Grace yongasına dayanan Grace Superchip’i de tanıttı. Süper çip, tek bir sokette 144 Kol çekirdeğine, ECC’li LPDDR5x belleğe sahiptir ve 500 watt çeker. Bu Grace süper çipi ve geçen yıl duyurulan Grace Hopper süper çip CPU-GPU çifti, 2023’ün ilk yarısında satışa sunulacak.
Kaynak: ZDNet.com