Nvidia, görünüşe göre özellikle eğitim dili modelleri için oluşturulmuş olan H100 NVL hızlandırıcısını tanıttı. Nvidia’nın web sitesine göre, H100 NVL GPU’larla donatılmış sunucular, DGX A100 sistemlerine göre GPT-175B’nin performansını 12 kata kadar artırırken, güç kısıtlaması olan veri merkezi ortamlarında düşük gecikmeyi koruyor.
Aslında, H100 NVL aynı kart üzerinde bir çift H100’dür. Bir NVLink arabirimiyle birbirine bağlanan iki GPU’dan bahsediyoruz, bu sayede Nvidia çift duyarlıklı hesaplamalarda (FP64), 143 TFLOPS (Tensor Core FP64), 7916 TOPS (IN8), 7.8 bant genişliğine sahip 188 GB bellek diyor. TB / İle. Tüm bunlar, gerçek zamanlı olarak 175 milyara kadar ChatGPT parametresini işlemenizi sağlar.
Nvidia ayrıca büyük dil modelleri ve üretken AI iş yükleri için çıkarım platformlarının lansmanını duyurdu. Üretken yapay zekanın hızla gelişen çeşitli uygulamaları için optimize edilmiş, aynı anda dört çıkarım platformundan bahsediyoruz.
Her platform, oyun Ada Lovelace’ten özel Hoppers’a ve Grace Hopper Superchip’e kadar şirketin en yeni GPU’ları olan eksiksiz bir çıkarım yazılımı yığınını birleştirir.
