AMD, RDNA 3 GPU ve XDNA NPU donanımının tüketici odaklı yapay zeka iş yüklerindeki yeteneklerine ilişkin bazı ilginç veriler paylaştı.
AMD’nin RDNA 3 GPU’ları ve XDNA NPU’su, PC Platformlarında Tüketici Odaklı Yapay Zeka Yeteneklerinden oluşan Güçlü Bir Paket Sağlıyor
Hiç şüphe yok ki AMD, Ryzen APU’larında XDNA NPU’yu uygulayarak yapay zeka yeteneklerini daha geniş bir bilgisayar kitlesine sunma konusunda diğerlerinden önde oldu. İlk NPU, 2023 yılında Phoenix “Ryzen 7040” APU’larıyla piyasaya sürüldü ve yakın zamanda Hawk Point “Ryzen 8040” serisiyle güncellendi. AMD’nin RDNA 3 GPU mimarisi, NPU’nun yanı sıra bu iş yüklerini kaldırabilecek çok sayıda özel AI çekirdeğini de bünyesinde barındırıyor ve şirket, ROCm yazılım paketiyle ivmesini sağlamlaştırmaya çalışıyor.
En son “Uzmanlarla Tanışın” web seminerinde AMD, RDNA 3 serisi gibi Radeon Graphics paketinin oyunculara, yaratıcılara ve geliştiricilere aşağıdakileri içeren optimize edilmiş iş yüklerini nasıl sağladığını anlattı:
- Video Kalitesinin Artırılması
- Arka Plan Gürültüsü Giderme
- Metinden Görüntüye (GenAI)
- Büyük Dil Modelleri (GenAI)
- Fotoğraf düzenleme
- Video düzenleme
- Yükseltme
- Metinden Görüntüye
- Model Eğitimi (Linux)
- ROCm Platformu (Linux)
AMD RDNA 3 grafik mimarisinden başlayarak, Radeon RX 7000 GPU’larda ve Ryzen 7000/8000 CPU’larda bulunan en yeni GPU’lar, nesilden nesile 2 kattan fazla yapay zeka performansı artışı sağlıyor.
Bu GPU ürünleri, FP16 iş yükleri için optimize edilmiş, Microsoft DirectML, Nod.AI Shark ve ROCm gibi birden fazla makine öğrenimi çerçevesinde optimize edilmiş 192’ye kadar AI hızlandırıcı sunar ve büyük verilerin işlenmesi için gerekli olan büyük özel VRAM havuzlarına sahiptir. setler (48 GB’a kadar) ve ayrıca Infinity Cache teknolojisiyle desteklenen daha hızlı bant genişliğine sahiptir.
AMD’ye göre, PC platformundaki yapay zeka kullanım durumlarının çoğunluğu, esas olarak üzerinde çalıştıkları donanımın FP16 bilgi işlem ve bellek yeteneklerine bağlı olan LLM’leri ve Difüzyon modellerini içeriyor. SDXL (Diffusion) gibi belirli modeller Compute’a bağlıdır ve yaklaşık 4-16 GB bellek gerektirir; Llama2-13B ve Mistral-8x 7B ise bellekle bağlıdır ve 23 GB’a kadar bellek kullanabilir.
Daha önce de belirtildiği gibi AMD, özel AI Hızlandırma özelliğine sahip geniş bir donanım yelpazesine sahiptir. Hatta şirketin Radeon RX 7600 8700G’si bile.
LM Studio Performansı (Daha Yüksek Daha İyidir):
- Ryzen 7 8700G NPU’su: 11 Jeton/saniye
- RX 7600 XT 16 GB: 40 Jeton/saniye
- RX 7900 XT 20GB: 85 Jeton/saniye
AMUSE Difüzyonu (Daha Düşük Daha İyidir):
- Ryzen 7 8700G NPU’su: 2,6 saniye/kare
- RX 7600 XT 16 GB: 0,97 saniye/kare
- RX 7900 XT 20GB: 0,6 saniye/kare
AMD ayrıca yeşil ekibin “Premium AI PC” platformu olarak adlandırdığı NVIDIA’nın GeForce RTX’iyle de küçük bir karşılaştırma yapıyor. Her iki seri de benzer destek sunuyor ancak AMD, 16 GB GPU’larının 329 ABD Doları (7600 XT) gibi daha düşük bir fiyatla geldiğini, NVIDIA’nın en giriş seviyesi 16 GB GPU’sunun ise 500 ABD Doları (4060 TI 16 GB) civarında başladığını gösteriyor. Şirketin ayrıca 48 GB belleğe kadar ölçeklenen üst düzey bir yığını var. AMD ayrıca daha önce AI’da Intel’in Core Ultra’sına karşı daha iyi bir değerle güçlü bir performans sergilemişti.
AMD, ROCm 6.0’ın nasıl ilerlediğini ve açık kaynak yığınının Radeon RX 7900 XTX, 7900 XT, 7900 GRE, PRO W7900 ve PRO W7800 gibi tüketici düzeyindeki donanımlar için nasıl destek aldığını anlatıyor. ROCm 6.0, Ubuntu 22.03.3 (Linux) işletim sistemi üzerinde hem PyTorch hem de ONNX Runtime ML modellerini ve algoritmalarını destekler ve daha karmaşık modeller için INT8 ekleyerek birlikte çalışabilirliği geliştirir.
Şirket ayrıca geliştiricilere çeşitli yazılım yığınları ve donanım belgeleri sunarak ROCm’yi daha da açık kaynak yapmaya çalışıyor.
AMD ve ROCm paketi, baskın NVIDIA CUDA ve TensorRT yığınıyla rekabet ederken, Intel de kendi OneAPI AI yığınıyla zemin kazanıyor. Bunlar, PC platformundaki yapay zeka iş yükleri söz konusu olduğunda dikkat edilmesi gereken üç güçtür; dolayısıyla gelecekte mevcut ve yeni nesil donanımlar için pek çok yenilik ve optimizasyon bekliyoruz.