NVIDIA, Llama ve Mistral gibi AI modellerinde amiral gemisi RTX 4090 da dahil olmak üzere GeForce RTX 40 GPU’ları için etkileyici rakamlar sergiledi.
NVIDIA’nın GeForce RTX 40 GPU’ları, TensorRT-LLM ile Daha da Hızlandırılmış Yeni Llama ve Mistral Yapay Zeka Karşılaştırmalarında Dizüstü Bilgisayar CPU’larını ve NPU’larını Parçalıyor
NVIDIA’nın Windows için TensorRT-LLM hızlandırması, Windows PC platformunda bazı olağanüstü performans artışları sağladı. NVIDIA’nın RTX “AI PC” özellik setine bazı etkileyici kazanımlar ve yeni özellikler eklendiğini gördük ve şirketin amiral gemisi GeForce RTX 4090 GPU ile çok büyük performans rakamları göstermesiyle işler daha da iyi hale geliyor.
Yeni bir AI-Decoded blogundaNVIDIA, mevcut GPU serisinin, 2024’te yalnızca 50 TOPS’a ulaşmayı başaran tüm NPU ekosistemini nasıl geride bıraktığını paylaştı. Bu arada, NVIDIA’nın RTX AI GPU’ları birkaç 100 TOPS içeriyor ve GeForce RTX 4090’ı kullanarak 1321 TOPS’a kadar çıkıyor Bu da onu yüksek lisans ve daha fazlasını çalıştırmak için en hızlı masaüstü yapay zeka çözümü haline getiriyor. Aynı zamanda gezegendeki en hızlı oyun grafik kartıdır.
NVIDIA’nın GeForce RTX GPU’ları 24 GB’a kadar VRAM sunarken NVIDIA RTX GPU’ları 48 GB’a kadar VRAM sunar; bu iş yükleri büyük miktarlarda video belleği sevdiğinden, LLM’leri (Büyük Dil Modelleri) yönetme konusunda onları oldukça canavar haline getiriyor. NVIDIA’nın RTX donanımı yalnızca özel video belleğiyle değil, aynı zamanda Tensor Çekirdekleri (donanım) ve yukarıda adı geçen TensorRT-LLM (yazılım) aracılığıyla yapay zekaya özgü hızlandırmayla birlikte gelir.
NVIDIA’nın GeForce RTX 4090 GPU’larında tüm parti boyutlarında oluşturulan jetonların sayısı çok hızlıdır ancak TensorRT-LLM hızlandırmayı etkinleştirirken 4 kattan fazla önemli ölçüde artar.
NVIDIA şimdi açık kaynak kodlu bazı yeni kriterleri paylaşıyor Jan.ai platformu ayrıca yakın zamanda TensorRT-LLM’yi yerel chatbot uygulamasına entegre etti. Bu sohbet robotu, kullanımı kolay bir çözümde Llama veya Mistral gibi yapay zeka modellerinden yararlanıyor. Yazılım sağlayıcısı şimdi, NVIDIA’nın GeForce RTX 40 GPU’ları üzerinde, özel AI NPU’lara sahip dizüstü bilgisayar CPU’ları üzerinde yürütülen bazı kıyaslamalara bir göz atma olanağı sundu.
NVIDIA GeForce RTX 4090 GPU, TensorRT-LLM’siz AMD Ryzen 9 8945HS CPU’ya göre 8,7 kat iyileştirme sunuyor ve hızlanma kullanıldığında bu fark 15 kata kadar çıkıyor (TensorRT-LLM olmayan yapılandırmaya göre %70 artış).
AMD CPU’da saniyede 11,57 jeton/saniyeye kadar saniyede 170,63 jetona kadar işlem yapabilirsiniz. NVIDIA GeForce RTX 4070 Dizüstü Bilgisayar GPU’su ile bile 4,45x’e kadar hızlanma elde edersiniz. Daha da ilginci, şirket, AI iş yükleri için harici bir GPU kullanılarak dizüstü bilgisayarların performansının nasıl daha da artırılabileceğini göstermek için eGPU yapılandırmasında bir RTX 4090 kullanan rakamları da paylaştı. Bu yapılandırma, aynı AMD dizüstü bilgisayar CPU’suna göre 9,07 kat performans artışına sahiptir.
NVIDIA yakın zamanda yapay zeka hesaplama gücünün mevcut durumunu ortaya koydu ve GeForce RTX 40 Masaüstü CPU’larının giriş seviyesinde 242 TOPS’tan üst uçta 1321 TOPS’a kadar nasıl ölçeklendiğini gösterdi. Bu, bu yıl SOC’lerde göreceğimiz en son 45-50 TOPS AI NPU’lara kıyasla en düşük uçta 4,84 kat ve en üstte 26,42 kat artış anlamına geliyor.
RTX 4050 gibi dizüstü bilgisayar NVIDIA GeForce RTX 40 seçenekleri bile 194 TOPS ile başlıyor; bu, en hızlı gelen NPU’ya göre 3,88 kat artış anlamına gelirken, RTX 4090 Dizüstü Bilgisayar çipi 686 TOPS ile 13,72 kat hızlanma sunuyor.
NVIDIA, AI segmentinde rekabete göre ne kadar önde olduğunu defalarca gösterdi ve bu kıyaslamalar, AI kullanıyorsanız NVIDIA’nın sizin için doğru donanıma sahip olduğunu bir kez daha kanıtladı.