Hot Chips 2024 fuarının başlamasından önce Nvidia, sunucuların kurulumu ve yapılandırılması da dahil olmak üzere Blackwell platformunun daha fazla öğesini gösterdi. Bu, Blackwell’in hala gelmekte olduğunu söylemenin pek de incelikli olmayan bir yolu – gecikmeleri boş verin. Ayrıca mevcut Hopper H200 çözümlerinden bahsetti, yeni Quasar Quantization System’ını kullanarak FP4 LLM optimizasyonlarını gösterdi, veri merkezleri için sıcak su sıvı soğutmayı tartıştı ve AI için daha iyi yongalar oluşturmaya yardımcı olmak için AI’nın kullanımından bahsetti. Blackwell’in sadece bir GPU’dan daha fazlası olduğunu, bütün bir platform ve ekosistem olduğunu yineledi.
Nvidia’nın Hot Chips 2024’te sunacağı şeylerin çoğu zaten biliniyor, örneğin gelecek yıl Blackwell Ultra’nın, 2026’da Vera CPU’lar ve Rubin GPU’ların ve ardından 2027’de Vera Ultra’nın geleceğini gösteren veri merkezi ve AI yol haritası. Nvidia bu detayları ilk olarak Haziran ayında Computex’te doğruladı. Ancak AI hala büyük bir konu ve Nvidia AI davulunu çalmaya devam etmekten fazlasıyla mutlu.
Resim 1 ile ilgili 9
Blackwell’in üç ay geciktiği bildirilirken, Nvidia bu bilgiyi ne doğruladı ne de yalanladı, bunun yerine Blackwell sistemlerinin kurulumunun görüntülerini göstermeyi ve Blackwell GB200 raflarındaki ve NVLink anahtarlarındaki dahili donanımın daha fazlasını gösteren fotoğraflar ve render’lar sağlamayı tercih etti. Donanımın çok fazla güç tüketebileceği ve oldukça sağlam bir soğutmaya sahip olduğu dışında söylenecek fazla bir şey yok. Ayrıca çok pahalı görünüyor.
Nvidia ayrıca, NVSwitch ile ve NVSwitch olmadan çalışan mevcut H200’ünden bazı performans sonuçları gösterdi. Performansın noktadan noktaya tasarımlar çalıştırmaya kıyasla çıkarım iş yüklerinde 1,5 kata kadar daha yüksek olabileceğini söylüyor — bu, Llama 3.1 70B parametre modeli kullanıyordu. Blackwell, NVLink bant genişliğini iki katına çıkararak daha fazla iyileştirme sunuyor ve NVLink Switch Tray toplam 14,4 TB/s bant genişliği sunuyor.
Veri merkezi güç gereksinimleri artmaya devam ettiği için Nvidia, performansı ve verimliliği artırmak için ortaklarla da çalışıyor. Daha umut verici sonuçlardan biri, ısıtılmış suyun ısıtma için yeniden dolaştırılabileceği ve maliyetleri daha da düşürebileceği sıcak su soğutmasının kullanılmasıdır. Nvidia, teknolojiyi kullanarak veri merkezi güç kullanımında %28’e kadar bir azalma gördüğünü ve bunun büyük bir kısmının ortam sıcaklığının altındaki soğutma donanımının kaldırılmasından kaynaklandığını iddia ediyor.
Resim 1 ile ilgili 12
Yukarıda Nvidia’nın sunumundan tam slayt destesini görebilirsiniz. Dikkat çekici birkaç başka öğe daha var.
Artık performansı daha da artırabilen yerel FP4 desteği ekleyen Blackwell’e hazırlanmak için Nvidia, en son yazılımının doğruluktan ödün vermeden yeni donanım özelliklerinden yararlanmasını sağlamak için çalıştı. İş yükü sonuçlarını ayarlamak için Quasar Quantization System’ını kullandıktan sonra Nvidia, FP16 ile temelde aynı kaliteyi, dörtte bir oranında daha fazla bant genişliği kullanarak sunabiliyor. Oluşturulan iki tavşan görüntüsü küçük şekillerde farklılık gösterebilir, ancak bu, Stable Diffusion gibi metinden görüntüye dönüştürme araçları için oldukça tipiktir.
Nvidia ayrıca daha iyi yongalar tasarlamak için AI araçlarını kullanmaktan bahsetti — AI, AI inşa ediyor, kaplumbağalar da dahil. Nvidia, tasarımı, hata ayıklamayı, analizi ve optimizasyonu hızlandırmaya yardımcı olan dahili kullanım için bir LLM oluşturdu. Devreleri tanımlamak için kullanılan Verilog diliyle çalışır ve 208 milyar transistörlü Blackwell B200 GPU’nun yaratılmasında önemli bir faktördü. Bu daha sonra Nvidia’nın bir sonraki nesil Rubin GPU’ları ve ötesinde çalışmasını sağlamak için daha da iyi modeller oluşturmak için kullanılacak. [Feel free to insert your own Skynet joke at this point.]
İşleri toparlayacak olursak, önümüzdeki birkaç yıl için Nvidia’nın AI yol haritasının daha kaliteli bir görüntüsüne sahibiz, bu da yine anahtarlar ve bağlantılar ile “Rubin platformunu” bütün bir paket olarak tanımlıyor. Nvidia, gelecek hafta Hot Chips konferansında Blackwell mimarisi, bilgisayar destekli mühendislik için üretken AI kullanımı ve sıvı soğutma hakkında daha fazla ayrıntı sunacak.