NVIDIA’nın en yeni Geforce RTX 5090, Deepseek R1’deki çıkarım performansını AMD’nin RX 7900 XTX’ten çok daha hızlı görüyor ve yeni beşinci nesil tensör çekirdeklerine yatırılıyor.
Deepseek’in akıl yürütme modellerine NVIDIA’nın yeni RTX GPU’ları ile erişmek artık oldukça kolay.
Görünüşe göre, tüketici GPU’lar hem NVIDIA hem de AMD bu yürütme için uygun svarmentler sağlamaya kararlı olduğu için yerel makinelerde üst düzey LLM modellerini çalıştırmanın en iyi yollarından biri olabilir. Son zamanlarda AMD’nin Deepseek R1 LLM modelinde RDNA 3 amiral gemisi GPU’nun kahramanlığını sergilediğini gördük ve şimdi Green Team var nefes En yeni RTX Blackwell GPU’larında çalışan çıkarım ölçütlerini sergileyerek ve sayı gerçekten Geforce RTX 5090’ın egemen olduğunu gösteriyor.
Birden fazla Deepseek R1 modelinde, GeForce RTX 5090, Radeon RX 7900 XTX ve hatta önceki nesil muadilden net bir kurşun gösterir. GPU, AMD’nin RX 7900 XTX’in elde ettiğinden neredeyse iki kat daha fazla işaret eden Qwen 7b ve Distill Llama 8B’de saniyede 200 jeton koşmayı başardı. Bu, NVIDIA’nın GPU’larındaki baskın AI performansının ne kadar baskın olacağını ve bir destek üzerinde “RTX” ile ne kadar geniş “destekle, tüketici PC’lerinde Edge AI’nın çok daha sık olduğunu göreceğiz.
NVIDIA’nın RTX GPU’larında Deepseek R1 çalıştırmaya istekli olanlar için, firma kullanıcılara ve ilgi alanlarına rehberlik etmek için özel bir blog yayınladı. İşte nasıl erişebilirsiniz:
Geliştiricilerin bu yetenekleri güvenli bir şekilde denemelerine ve kendi özel ajanlarını oluşturmalarına yardımcı olmak için, 671 milyar parametreli Deepseek-R1 modeli artık bir NVIDIA NIM Microservice önizlemesi olarak avarlanabilir Build.nvidia.com. Deepseek-R1 NIM Microservice, tek NVIDIA HGX H200 sisteminde saniyede 3.872’ye kadar jeton sağlayabilir.
Geliştiriciler, indirilebilir bir NIM Microservice’i yakında kullanılabilir olması beklenen Uygulama Programlama Arayüzü’nü (API) test edebilir ve deneyimleyebilir, Nvidia AI Enterprise Yazılım Platformu.
Deepseek-R1 NIM Microservice, dağıtımları endüstri standardı API’larına destekle basitleştirir. İşletmeler, NIM mikro hizmetlerini tercih ettikleri hızlandırılmış bilgi işlem altyapısında çalıştırarak güvenlik ve veri gizliliğini en üst düzeye çıkarabilir.
– Nvidia
NVIDIA’nın NIM’si ile geliştiriciler ve meraklıları, yerel yapılarındaki AI modelini kolayca deneyebilirler ve bu gerçekten de verilerinizin değil, aynı zamanda yerel olarak çalıştırmanın, donanım capabilititlerinin onu desteklediği göz önüne alındığında, geliştirilmiş performans sağlayabileceği anlamına gelir.
