En iyi grafik kartları listesinde Nvidia’nın H100 (Hopper) GPU’sunu bulamazsınız. Bununla birlikte, H100’ün gücü yapay zekada (AI) yatmaktadır ve bu da onu AI endüstrisinde gıpta ile bakılan bir GPU yapmaktadır. Ve şimdi herkes AI çoğunluğuna atlıyor, Nvidia’nın H100’ü daha da popüler hale geldi.
Nvidia, H100’ün önceki A100’e (Ampere) göre 9 kata kadar daha hızlı AI eğitim performansı ve 30 kata kadar daha hızlı çıkarım performansı sağladığını iddia ediyor. Bu düzeyde bir performansla, herkesin neden bir H100’ü ele geçirmek istediğini anlamak kolaydır. Ek olarak, Reuters (yeni sekmede açılır) Nvidia’nın, çip üreticisinin değiştirilmiş H100’ü H800 olarak Çin’e satabilmesi için H100’ü ihracat kurallarına uyacak şekilde değiştirdiğini bildirdi.
Geçen yıl ABD’li yetkililer, Nvidia’nın A100 ve H100 GPU’larını Çinli müşterilere satmasını önlemek için çeşitli düzenlemeler yaptı. Kurallar, 600 GB/sn’nin altındaki yongadan yongaya veri aktarım hızlarıyla GPU ihracatını sınırladı. Sistemlerin, ChatGPT gibi yapay zeka modellerini eğitmek için muazzam miktarda veriyi hareket ettirmek zorunda olduğu yapay zeka dünyasında aktarım hızı çok önemlidir. Çipten çipe veri aktarım hızının engellenmesi, performansta önemli bir düşüşe neden olur, çünkü daha yavaş aktarım hızları, veri aktarımı için gereken süreyi artırır ve dolayısıyla eğitim süresini artırır.
A100 ile Nvidia, GPU’nun 600 GB/sn ara bağlantısını 400 GB/sn’ye düşürdü ve Çin pazarında ticarileştirmek için A800 olarak yeniden markaladı. Nvidia, H100’e benzer bir yaklaşım benimsiyor.
Reuters’in Çin çip endüstrisi kaynağına göre Nvidia, H800’deki çipten çipe veri aktarım hızını H100’ün yaklaşık yarısına düşürdü. Bu, H800’ü 300 GB/sn ile sınırlı bir ara bağlantıyla bırakır. Bu, A100 ve A800’e kıyasla %33 daha düşük çipten çipe veri aktarım hızından muzdarip olandan daha önemli bir performans artışı. Bununla birlikte, H100, A100’den önemli ölçüde daha hızlıdır, bu nedenle Nvidia, birincisine daha ciddi bir çipten çipe veri aktarım hızı sınırı koydu.
Reuters, H800’ü H100’den ayıran şeyin ne olduğunu sormak için bir Nvidia sözcüsüne başvurdu. Ancak Nvidia temsilcisi yalnızca “800 serisi ürünlerimizin ihracat kontrol düzenlemeleriyle tamamen uyumlu olduğunu” belirtti.
Nvidia’nın hâlihazırda H800 kullanan en önemli üç Çinli teknoloji şirketi var: Alibaba Group Holding, Baidu Inc ve Tencent Holdings. Çin, ChatGPT’yi yasakladı; bu nedenle teknoloji devleri, Çin pazarı için yerli ChatGPT benzeri bir model üretmek için birbirleriyle yarışıyor. Çipten çipe aktarım hızının yarısına sahip bir H800, şüphesiz tam yağlı H100’den daha yavaş olsa da, yine de olmayacak yavaş. Potansiyel olarak binlerce Hopper GPU kullanan şirketler söz konusu olduğunda, bunun aynı işi daha az H100 ile gerçekleştirmek için daha fazla H800 kullanmak anlamına gelip gelmeyeceğini merak etmeliyiz.