NVIDIA, GeForce RTX GPU’larının ve RTX AI PC platformlarının yapay zeka performansını daha da artırdı. en son R555 sürücü sürümü.
NVIDIA’nın GeForce RTX GPU’ları ve RTX Bilgisayarları Tüm Segmentlerde En Hızlı Yapay Zeka Performansını Sunuyor ve Artık En Yeni Sürücülerle 3 Kat Artıyor
Bugünkü Microsoft Build sırasında NVIDIA, GeForce RTX GPU’ları, İş İstasyonlarını ve PC’leri içeren RTX platformunda artık mevcut olan bir dizi yeni AI performans optimizasyonunu duyurdu.
Yeni optimizasyonlar özellikle en yeni Üretken Yapay Zeka deneyimlerini destekleyen bir dizi Yüksek Lisans’ı (Büyük Dil Modelleri) hedef alıyor. En yeni R555 sürücülerini kullanan NVIDIA’nın RTX GPU’ları ve AI PC platformları artık ONNX Runtime (ORT) ve DirectML ile 3 kata kadar daha hızlı AI performansı sunuyor. Bu iki araç, yapay zeka modellerini Windows PC’lerde yerel olarak çalıştırmak için kullanılır.
Buna ek olarak WebNN, DirectML üzerinden RTX ile de hızlandırıldı. Bu, web geliştiricilerinin yeni AI modellerini dağıtması için bir uygulama programlama arayüzüdür. Microsoft, PyTorch’a DirectML desteği eklerken RTX GPU performansını daha da artırmak için NVIDIA ile birlikte çalışıyor. Yeni R555 sürücülerinin GeForce RTX GPU’lar ve RTX PC’ler için sunduğu özelliklerin tam listesi aşağıdadır:
- LLM’ler için INT4 yalnızca ağırlık nicelemesini işlemek için DQ-GEMM meta komutu desteği
- Llama 2, Llama 3, Mistral ve Phi-3 modelleri için yeni RMS Norm normalleştirme yöntemleri
- Mistral’ı desteklemek için grup ve çoklu sorgu dikkat mekanizmaları ve kayan pencere dikkati
- Dikkat performansını artırmak için yerinde KV güncellemeleri
- Bağlam aşaması performansını iyileştirmek için 8’in katı olmayan tensörlerin GEMM desteği
Microsoft tarafından yayımlanan üretken bir yapay zeka uzantısı olan ORT’nin performans kıyaslamalarında NVIDIA, hem INT4 hem de FP16 veri türlerinde genel kazanımlar gösteriyor. Phi-3, Llama 3, Gemma ve Mistral gibi LLM’ler için bu uzantılara eklenen optimizasyon teknikleri sayesinde performans iyileştirmeleri 3 kata kadar çıkmaktadır.
Bu geliştirmelerin yanı sıra NVIDIA, güçlü TensorRT ve TensorRT-LLM paketiyle tüketici yapay zeka bilgisayar alanında lider konumdadır. Şirket ayrıca, Tensor Çekirdekleri gibi GPU’larına dahil edilen yapay zeka donanımıyla desteklenen çok çeşitli çözümler sunuyor.
Bu çözümler arasında oyunun kurallarını değiştiren DLSS Süper Çözünürlük teknolojisi, NVIDIA ACE, RTX Remix, Omniverse, Broadcast, RTX Video ve diğer birçok teknoloji yer alıyor. NVIDIA’nın GPU’ları 1300 TOPS’a kadar yapay zeka hesaplaması sunuyor; bu, bu yıl piyasaya sürülen ve yalnızca 100 TOPS’a ulaşması beklenen en hızlı çiplerin çok ilerisinde. Ayrıca bu bilgisayarlar, RTX AI PC platformunu daha da güçlendiren ve AI segmentini tüketici alanında daha da ileriye taşıyan en yeni NVIDIA RTX GPU’larla donatılacak.