AMD raporları eski Ryzen mobile 7040 Phoenix ve Ryzen mobile 8040 serisi işlemcilerinin, çeşitli büyük dil modellerinde (LLM’ler) Intel’in Core Ultra Meteor Lake CPU’larından %79’a kadar daha iyi performans gösterdiği. CPU üreticisi, Ryzen 7 8740U ile Intel’in Core Ultra 7 155H CPU’sunu karşılaştıran çok sayıda karşılaştırma testini açıkladı. Her iki yonga da donanım tabanlı Sinir İşleme Birimlerini (NPU’lar) destekler.
AMD, iki CPU ile Mistral 7b, Llama v2 ve Mistral Instruct 7B’nin performans sonuçlarını gösteren çeşitli slaytları bir araya getirdi. Q4 bit boyutu kullanan Llama v2 Chat’te Ryzen çipi, Core Ultra 7 155H’ye göre saniyede %14 daha hızlı token elde etti. Mistral Instruct’ta aynı bit boyutuna sahip olan Ryzen çipleri saniyede %17 daha hızlı token elde etti. Aynı LLM’lerde, ancak Sample Prompt için Time to First Token’a bakıldığında, AMD’nin rakibi Llama v2’de Core Ultra 7’den %79 ve Mistral Instruct’ta %41 daha hızlıydı.
AMD, çok sayıda farklı bit boyutu, blok boyutu ve kalite seviyesi kullanan başka bir Llama 2 7B Chat grafiği gösterdi. Ortalama olarak Ryzen 7 7840U, Intel’deki muadilinden %55 daha hızlıydı ve 8. çeyrek sonuçlarında da %70’e kadar daha hızlıydı. Q8 en hızlısı olmasına rağmen AMD, gerçek dünyada kullanım için LLM’leri çalıştırmak ve kodlama gibi aşırı doğruluk gerektiren görevler için 5 bitlik bir KM ayarlamak için 4 bitlik bir KM nicelemesi önermektedir.
AMD’nin şu anda Intel ile yapay zeka performans savaşını kazanmasına şaşırmıyoruz. Ryzen 7040 serisi mimarisinin Meteor Lake ile aynı düzeyde performansa (TOPS’ta) sahip olmasına rağmen, geçen yılın sonlarında AMD’nin yapay zeka tabanlı iş yüklerinde genellikle Meteor Lake’ten daha iyi performans gösterdiğini keşfettik. Bu, donanım veya sürücü sorunundan ziyade LLM optimizasyonuyla ilgili bir sorun gibi görünüyor. AMD’nin, Intel’in yalnızca Intel ürünleri için optimize edilmiş OpenVINO çerçevesinden yararlanmayan yapay zeka iş yüklerinde özellikle kazandığını fark ettik. OpenVINO, Intel AI performansını önemli ölçüde artırmak için hayati önem taşıyor gibi görünüyor. Örneğin Intel’in A770’i yalnızca OpenVINO optimizasyonlarından dolayı %54 gibi muazzam bir performans artışı elde ediyor.
Bu performans davranışının uzun sürmesini beklemeyin. Sonuçta NPU gelişiminin henüz başındayız. Daha fazla uygulamanın OpenVINO’yu benimsememesi durumunda Intel’in vites değiştirmesini ve daha iyi bir optimizasyon rotası denemesini bekliyoruz; bu rota daha fazla geliştirici tarafından benimsenecektir. Intel aynı zamanda bu yılın sonuna doğru Meteor Lake’in yapay zeka performansının 3 katı (CPU çekirdekleri için devasa IPC iyileştirmelerinin yanı sıra) sunacağı yeni nesil Lunar Lake mobil CPU mimarisini de piyasaya sürmeye hazırlanıyor.
Şimdilik AMD’nin slaytları, özellikle Ryzen 7 7840U’dan bile daha fazla NPU performansına sahip olan Ryzen 8040 serisi CPU’larıyla NPU performansında üstünlüğe sahip olduğunu gösteriyor. Ancak bu yılın sonuna kadar Intel’in Lunar Lake ve yapay zeka optimizasyon planlarında ne kadar başarılı olduğuna bağlı olarak tablolar değişebilir.
