Stabilite AI, Intel Gaudi 2 ile NVIDIA’nın H100 ve A100 GPU hızlandırıcıları arasında bir AI kıyaslama karşılaştırması sunan yeni bir blog yazısı yayınladı. Karşılaştırmalar, Intel’in çözümlerinin büyük değer sunduğunu ve NVIDIA’nın teklifleriyle karşılaştırıldığında hızlı ve kolay ulaşılabilir bir çözüm arayan müşteriler için saygın bir alternatif olarak görülebileceğini gösteriyor.
Intel ve NVIDIA Yapay Zeka Hızlandırıcı Karşılaşması: Gaudi 2, Kararlı Difüzyon ve Llama 2 LLM’lerde H100 ve A100’e Karşı Güçlü Performans Gösteriyor, Harika Performans/$ Mavi Takıma Gitmek İçin Güçlü Bir Neden Olarak Vurgulanıyor
AI firması, Kararlılık Yapay Zekası, çok çeşitli görevleri verimli bir şekilde yerine getirebilecek açık modeller üretmektedir. Bunu test etmek için Stability AI, Stable Diffusion 3’ü içeren iki modelini kullandı ve NVIDIA ile Intel’in en popüler AI Hızlandırıcıları arasında birbirlerine karşı nasıl performans gösterdiklerini görmek için bir kıyaslama çalışması yaptı.
Oldukça popüler olan metinden görüntüye modelinin bir sonraki bölümü olan Stability Diffusion 3’te Intel’in Gaudi 2 AI hızlandırıcısı bazı olağanüstü sonuçlar verdi. Model 800M ile 8B parametreleri arasında değişmektedir ve 2B parametre versiyonu kullanılarak test edilmiştir. Karşılaştırma için, toplam 16 Intel ve NVIDIA hızlandırıcı içeren 2 düğüm, hızlandırıcı başına 16’ya ayarlanmış bir toplu iş boyutu ve 512’ye kadar bir toplu iş boyutu ile kullanıldı. Nihai sonuç, H100’e kıyasla %56 hızlanma sunan Intel Gaudi 2 oldu. 80 GB GPU ve A100 80 GB GPU’ya kıyasla 2,43 kat hızlanma.
96 GB HBM kapasitesi aynı zamanda Intel’in Gaudi 2’sinin hızlandırıcı başına 32’lik bir toplu iş boyutuna sığmasına ve toplam 512 toplu iş boyutuna sığmasına olanak tanıdı. Bu, saniyede 1.254 görüntülük ek bir hıza, 16 Toplu İş’e göre %35’lik bir hıza olanak sağladı. Gaudi 2 hızlandırıcı, H100 80 GB’a göre 2,10 kat ve A100 80 GB AI GPU’lara göre 3,26 kat.
Hem Gaudi 2 hem de A100 80 GB GPU’lar için 32 düğüme (256 hızlandırıcı) kadar daha fazla ölçeklendirme yapıldığında, A100 çözümünde yalnızca 15,6’ya kıyasla 49,4 görüntü/saniye/cihaz çıkışı sağlayabilen Intel çözümünde 3,16 katlık bir artış görürsünüz.
Gaudi 2 yapay zeka hızlandırıcılarının eğitim performansı mükemmel olsa da, NVIDIA’nın, önceki yıl boyunca büyük ilerleme kaydeden Tensor-RT optimizasyonları sayesinde çıkarımda hala tahtı elinde tuttuğu ve yeşil takımın sürekli olarak büyük ilerlemeler kaydettiği görülüyor. bu ekosistem. A100 GPU’ların, Gaudi 2 hızlandırıcılara kıyasla aynı Stable Diffusion 3 8B modeli altında bu belirli iş yüklerinde %40’a kadar daha hızlı görüntü ürettiği söyleniyor.
Stable Diffusion 3 8B parametre modeliyle yapılan çıkarım testlerinde Gaudi 2 yongaları, PyTorch tabanını kullanan Nvidia A100 yongalarına benzer çıkarım hızı sunuyor. Ancak TensorRT optimizasyonu sayesinde A100 yongaları, Gaudi 2’den %40 daha hızlı görüntü üretiyor. Daha fazla optimizasyonla Gaudi 2’nin yakında bu modelde A100’lerden daha iyi performans göstereceğini öngörüyoruz. PyTorch tabanlı SDXL modelimiz üzerinde yapılan daha önceki testlerde Gaudi 2, 3,2 saniyede 30 adımda 1024×1024 görüntü oluştururken, A100’lerde PyTorch için 3,6 saniyede ve A100’de TensorRT ile bir nesil için 2,7 saniyede üretiyordu.
Gaudi 2’nin daha yüksek belleği ve hızlı ara bağlantısının yanı sıra diğer tasarım hususları, bu yeni nesil medya modellerinin temelini oluşturan Difüzyon Transformatörü mimarisini çalıştırmayı rekabetçi hale getiriyor.
Son olarak, LLaMA 2 70B’nin ince ayarlı versiyonu olan Stable Beluga 2.5 70B olan ikinci modelle ilgili sonuçlara sahibiz. Hiçbir ekstra optimizasyon olmadan ve PyTorch altında çalışan 256 Intel Gaudi 2 AI hızlandırıcı, ortalama 116.777 jeton/saniyelik bir iş hacmine ulaştı. TensorRT altında çalışan A100 80GB çözümünden yaklaşık %28 daha hızlıydı.
Tüm bunlar, yapay zeka ortamının ne kadar rekabetçi hale geldiğini ve en önemli şeyin donanım değil, her bir hızlandırıcı için yazılım ve optimizasyon olduğunu gösteriyor. Donanım önemli olsa da en yeni ve en iyiye sahip olabilirsiniz ancak tüm bu çekirdekleri, belleği ve çeşitli yapay zekaya özgü hızlandırıcıları çalıştıracak sağlam bir temel yoksa bu alanda zor zamanlar geçireceksiniz.
NVIDIA bunu uzun zamandır biliyor, bu nedenle Intel ve AMD, yapay zekaya yönelik yazılım paketlerini henüz sağlamlaştırmaya başladılar ve yeşil deve yetişip yetişemeyecekleri veya hızlı yazılım sürümleriyle CUDA/Tensor mimarisinin üstesinden gelip gelemeyecekleri henüz belli değil. görüldü. Bu kıyaslamalar, Intel’in yalnızca alternatif olarak değil, aynı zamanda NVIDIA’nın tekliflerine karşı rekabetçi bir çözüm olarak çok uygun bir çözüm haline geldiğini gösteriyor ve gelecekteki Gaudi ve AI GPU teklifleriyle, müşterilerin seçebileceği harika çözümlere sahip daha güçlü bir AI segmenti bekleyebiliriz. tek bir şirkete güvenmek yerine.