AMD’nin yakın zamanda şirket içinde yaptığı testlere göre AMD’nin Ryzen AI 300 serisi mobil işlemcileri, yerel büyük dil modeli (LLM) performansında Intel’in mobil rekabetini kolaylıkla geride bırakıyor. Yeni bir blog yazısı Şirketin topluluk blogunda, AMD’nin AI performansında Team Blue’yu yenmek için gerçekleştirdiği testler ve ilgilenen tüm kullanıcılar için popüler LLM programı LM Studio’dan en iyi şekilde nasıl yararlanılabileceği özetleniyor.
AMD’nin testlerinin çoğu, LLM’leri yerel olarak indirmek ve barındırmak için kullanılan bir masaüstü uygulaması olan LM Studio’da gerçekleştirildi. Llama.cpp kod kütüphanesi üzerine inşa edilen yazılım, LLM’lere güç sağlamak için CPU ve/veya GPU hızlandırmasına izin verir ve modellerin işlevleri üzerinde başka kontroller sunar.
Meta’nın Llama 3.2, Microsoft Phi 3.1 4k Mini Instruct 3b, Google’ın Gemma 2 9b ve Mistral Nemo 2407 12b modellerinin 1b ve 3b çeşitlerini kullanan AMD, AMD’nin amiral gemisi Ryzen AI 9 HX 375 ile çalışan dizüstü bilgisayarları Intel’in orta seviye Core Ultra 7 258V’sine karşı test etti . Dizüstü bilgisayar çifti, saniyede jeton cinsinden hızı ve ilk jetonu oluşturmak için gereken süredeki ivmeyi ölçerek birbirlerine karşı test edildi; bu, kabaca saniyede ekranda basılan kelimelerle ve bir istemin gönderildiği an ile bir istemin gönderilmesi arasındaki ara bellek süresiyle eşleşiyor. LLM çıktıya başladığında.
Resim 1 ile ilgili 2
Yukarıdaki grafiklerde görüldüğü gibi Ryzen AI 9 HX 375, test edilen beş LLM’nin tamamında metin çıktısına başlama hızı ve süresi açısından Core Ultra 7 258V’den daha iyi performans gösteriyor. AMD’nin çipi en baskın haliyle Intel’in çipinden %27 daha iyi hızları temsil ediyor. Yukarıdaki testler için hangi dizüstü bilgisayarların kullanıldığı bilinmiyor, ancak AMD, test edilen AMD dizüstü bilgisayarın Intel makineden daha yavaş RAM çalıştırdığını (7500 MT/s vs. 8533 MT/s) ve daha hızlı RAM’in genellikle daha iyiye karşılık geldiğini hemen belirtti. LLM performansı.
Intel’in Ultra 7 258V işlemcisinin HX 375 karşısında tam olarak adil bir oyun alanında olmadığını belirtmek gerekir; 258V, HX 375’in 5,1 GHz’ine karşılık maksimum 4,8 GHz turbo hızıyla Intel’in 200 serisi SKU’larının ortasında yer alır. AMD’nin amiral gemisi Strix Point çipini Intel’in orta özellikli çipiyle karşılaştırmayı tercih etmesi biraz haksızlık gibi görünüyor, bu yüzden %27’lik iyileştirme iddialarını bunu aklınızda bulundurun.
AMD ayrıca HX 375’i kendisine karşı sergileyen testlerde LM Studio’nun GPU hızlandırma özelliklerini de gösterdi. Ryzen AI 300 serisi dizüstü bilgisayarlardaki özel NPU’nun AI görevlerinde itici güç olması amaçlanırken, isteğe bağlı program düzeyindeki AI görevleri iGPU’yu kullanmaya daha yatkındır. AMD’nin LM Studio’da Vulkan API’sini kullanarak GPU hızlandırma testleri HX 375’i o kadar tercih etti ki AMD, Intel’in GPU hızlandırma açıkkenki performans rakamlarını dahil etmedi. GPU hızlandırma açıkken Ryzen AI 9 HX 375, GPU hızlandırması olmadan görevleri çalıştırdığı duruma kıyasla %20’ye kadar daha hızlı işlem/sn elde etti.
Yapay zeka performansına dayalı bilgisayarlar hakkında çok fazla güncel baskı varken, satıcılar yapay zekanın son kullanıcı için önemli olduğunu kanıtlama konusunda istekli. LM Studio veya Intel’in AI Playground gibi uygulamalar, kişisel kullanım için en yeni 1 milyardan fazla yinelemeli LLM’den yararlanmanın kullanıcı dostu ve kusursuz bir yolunu sunmak için ellerinden geleni yapıyor. Büyük dil modellerinin ve LLM kullanımı için bilgisayarınızdan en iyi şekilde yararlanmanın çoğu kullanıcı için önemli olup olmadığı başka bir hikaye.