Deepseek, yaklaşık iki ay içinde 2.048 NVIDIA H800 GPU’lu bir küme kullanarak, Expperts karışımı (MOE) dil modelini 671 milyar parametreyle eğiterek AI endüstrisinde oldukça sıçrama yaptı ve Meta gibi AI endüstri liderlerinden 10 kat daha yüksek verimlilik gösterdi. Mirae Varlık Menkul Kıymetler Kore’nin bir analizine göre, atılım, tonlarca ince taneli optimizasyon ve Nvidia’nın montaj benzeri PTX (paralel iplik yürütme) programlamasının kullanımı ve Nvidia’nın cuda yerine kullanımı sağlandı. @Jukanlosreve.
Nvidia’nın PTX’i (Paralel İplik Yürütme), NVIDIA tarafından GPU’ları için tasarlanan bir ara talimat seti mimarisidir. PTX, üst düzey GPU programlama dilleri (CUDA C/C ++ veya diğer dil cepheleri gibi) ve düşük seviyeli makine kodu (akış montajı veya SASS) arasında yer alır. PTX, GPU’yu bir veri-paralel bilgi işlem cihazı olarak maruz bırakan ve bu nedenle, kayıt tahsisi ve iplik/çözgü düzeyinde ayarlamalar, CUDA C/C ++ ve diğer bir şey gibi ince taneli optimizasyonlara izin veren bir Metal’e yakın bir ISA’dır. Diller etkinleştiremez. PTX SASS’a girdikten sonra, belirli bir NVIDIA GPU nesli için optimize edilir.
Örneğin, V3 modelini eğitirken, Deepseek NVIDIA’nın H800 GPU’larını yeniden yapılandırırken: 132 akış çoklu işlemcisinden, muhtemelen işlemcinin bağlantı sınırlamalarının üstesinden gelmek ve işlemleri hızlandırmak için verilerin sıkıştırılması ve sıkıştırılması için 20 tahsis etti. Performansı en üst düzeye çıkarmak için Deepseek, muhtemelen ekstra ince iş parçacığı/çözgü seviyesi ayarlamaları yaparak gelişmiş boru hattı algoritmaları uyguladı.
Bu değişiklikler standart CUDA düzeyinde gelişimin çok ötesine geçer, ancak korunması çok zordur. Bu nedenle, bu optimizasyon seviyesi Deepseek mühendislerinin olağanüstü becerilerini yansıtır. ABD kısıtlamaları tarafından güçlendirilen küresel GPU kıtlığı, Deepseek gibi şirketleri yenilikçi çözümler benimsemeye zorladı ve Deepseek bir atılım yaptı. Ancak, Deepseek’in sonuçlarını elde etmek için geliştirmeye ne kadar para yatırdığı belirsizdir.
Bazı yatırımcılar, yeni AI modelleri için yüksek performanslı donanıma duyulan ihtiyacın azalacağına ve NVIDIA gibi şirketlerin satışlarına zarar vereceğine inandığı için atılım piyasayı bozdu. Intel’in eski genel yöneticisi Intel Pat Gelsinger gibi endüstri gazileri, AI gibi uygulamaların erişebilecekleri tüm bilgi işlem gücünden yararlanabileceğine inanıyor. Deepseek’in atılımına gelince, Gelsinger bunu kitle pazarındaki geniş bir dizi ucuz cihaza AI eklemenin bir yolu olarak görüyor.
