Ayda birkaç bin dolara, artık tek bir Nvidia HGX H100 GPU’nun kapasitesini adlı bir şirket aracılığıyla rezerve edebilirsiniz. CoreWeave. H100, LLM’de (Büyük Dil modelleri) ChatGPT eğitiminde etkili olan GPU olan A100’ün halefidir. Fiyatlar saatte 2,33 dolardan başlıyor, bu da günlük 56 dolardan veya yılda yaklaşık 20.000 dolardan başlıyor; Buna karşılık, tek bir HGX H100’ün maliyeti açık pazarda yaklaşık 28.000 ABD dolarıdır (NVH100TCGPU-KIT) ve daha az toptan satış.
Spot fiyatlar için fazladan ödeme yapacaksınız (saat başına 4,76 ABD doları) ve daha ucuz bir SKU mevcutken (NVLINK modelinin aksine HGX H100 PCIe), henüz sipariş edilemez. Geçerli bir GPU örneği yapılandırması en az bir GPU, en az bir vCPU ve en az 2 GB RAM içermelidir. Bir Sanal Özel Sunucu dağıtırken (VPS), GPU eşgörünüm yapılandırması ayrıca en az 40 GB kök disk NVMe katman depolaması içermelidir.
Haber, üretici yapay zekanın solda, sağda ve merkezde olduğu Nvidia’nın GTC 2023’teki bir dizi duyurunun ardından geldi. Teknoloji, akademik makalelerin yazılması, bir stand-up komedi rutini veya bir sone dahil olmak üzere yaratıcı çalışmayı mümkün kılan LLM eğitimini kullanır; bir metin bloğundan çizim tasarımı; ve CoreWeave’in literatür oluşturan ilk müşterilerinden biri olan NovelAI örneğinde.
Elbette Tomshardware’de emsallerimizin neler yaptığını kontrol edebilirsiniz ve yerel bilgisayarınızda bir ChatGPT alternatifi çalıştırın.
Nvidia Tekeli
NVIDIA’nın kurucusu ve CEO’su Jensen Huang, hızla genişleyen AI içerik pazarının belirli segmentlerini hedefleyen bir dizi GPU’nun piyasaya sürülmesini denetledi: AI video için L4, görüntü oluşturma için L40 ve H100 NVL (temelde bir arada iki H100). SLI benzeri kurulum). Nisan 2023’te 30 yaşına girecek olan Nvidia, kendi donanımını bir hizmet olarak dağıtmayı gözeterek donanım ve yazılım sunarak pazarın mümkün olduğunca çoğunu ele geçirmek istiyor.
Bir açıkladı DGX H100’ün bulut versiyonu sekiz H100 kartı içeren ve Oracle’dan Microsoft ve Google’ın gelmesiyle birlikte 37.000 doların biraz altında kiralanabilen bir sunucu. Kulağa pahalı gelse de, DGX H100’ün daha pahalı olduğunu unutmayın. Kurumsal satıcı Insight’tan 500.000 $ve bu, cihazı fiilen çalıştırma maliyetini (bakım, ortak yerleşim, yardımcı programlar vb.) içermez.
Nvidia’nın kendi başına bir hizmet sağlayıcı olma konusundaki ani ilgisi, ortaklarını biraz rahatsız edebilir. bu TIEA başkanı (Tayvan İnternet ve E-Ticaret Derneği), dün şirketin önde gelen bulut hizmeti sağlayıcıları (CSP) ile “işbirliğine gireceğini” ve muhtemelen hızlanacağını açıklayacak kadar aklı başındaydı. bir denge kurmak için Nvidia’ya bir alternatif arayışı.
Tüm gözler AMD’de (Instinct MI300 GPU ile) ve Intel’de ama gölgelerde pusuda bekleyen, büyüyen bir pastadan pay almak isteyecek bir rakipler listesi (Graphcore, Cerebras, Kneron, IBM ve diğerleri).