AMD bugün San Francisco, California’da düzenlediği Veri Merkezi ve Yapay Zeka Teknolojisi Prömiyeri etkinliğinde bir dizi yeni ürünü duyurdu. Şirket nihayet, HBM ile aynı pakette 3D yığınlı CPU ve GPU çekirdeklerine sahip Instinct MI300A işlemcileri ve inanılmaz bir 1,5 TB HBM3 kullanan tek bir platformda sekiz hızlandırıcıyı bir araya getiren yalnızca GPU içeren yeni bir MI300X modeli hakkında daha fazla ayrıntı paylaştı. hafıza.
Şirket ayrıca bulut tabanlı uygulamalar için 5nm EPYC Bergamo işlemcileri ve 1,1 GB’a kadar L3 önbelleğe sahip EPYC Genoa-X işlemcileri hakkında duyurular yaptı. Bu ürünlerin üçü de şu anda mevcut, ancak AMD’nin ayrıca telekomünikasyon için EPYC Sienna işlemcileri ve 2023’ün ikinci yarısında çıkacak olan Edge’i var.
AMD’nin Alveo ve Pensando ağ iletişimi ve DPU portföyüyle birleştiğinde, AMD, yapay zeka iş yükleri için tasarlanmış eksiksiz bir ürün yığınına sahip. -Geniş bir ürün yelpazesinde hızlandırma çözümleri.
Bu makale MI300 ile ilgili haberlere odaklanmaktadır, ancak kısa süre sonra diğer içeriğimize bağlantılar ekleyeceğiz. AMD’den bilgileri yeni aldık, bu nedenle daha fazla ayrıntı ekledikçe bu makale güncellenecektir.
AMD İçgüdüsü MI300
resim 1 ile ilgili 2
Instinct MI300A, CDNA 3 grafik motoru ve sekiz yığın HBM3 bellek ile birleştirilmiş yirmi dört Zen 4 CPU çekirdeği içeren tek bir yonga paketi oluşturmak için çoğu 3B yığınlı toplam 13 yongayı harmanlayan bir veri merkezi APU’sudur. toplam 128 GB. Genel olarak çip, 146 milyar transistör ağırlığına sahip ve bu da onu AMD’nin üretime soktuğu en büyük çip yapıyor. 5nm CPU’lar ve GPU’ların bir karışımı olan dokuz bilgi işlem kalıbı, diğer işlevlerin yanı sıra bellek ve G/Ç trafiğini işleyen aktif aracılar olan dört 6nm temel kalıbın üzerine 3B olarak istiflenmiştir. İçgüdü MI300, bu yıl çevrimiçi olduğunda dünyanın en hızlısı olması planlanan iki exaflop El Capitan süper bilgisayarına güç verecek.
resim 1 ile ilgili 2
Bugün AMD, yalnızca GPU’lu bir varyant olan MI300X’i duyurdu ve performansının birkaç demosunu sundu. Yalnızca GPU içeren MI300X, büyük dil modelleri (LLM’ler) için optimize edilmiştir ve yalnızca 192 GB HBM3 bellekle eşleştirilmiş CDNA3 GPU kutucukları ile donatılmıştır.
24 GB HBM3 yongalarına yayılmış geniş bellek kapasitesi, yonganın 80 milyar parametreye kadar LLM’leri çalıştırmasına izin veriyor, AMD bunun tek bir GPU için rekor olduğunu iddia ediyor. Çip, sekiz kanalda 5,2 TB/s bellek bant genişliği ve 896 GB/sn Sonsuz Yapı Bant Genişliği sunar. MI300X, Nvidia H100’den 2,4X HBM yoğunluğu ve H100’den 1,6X HBM bant genişliği sunar, bu da AMD’nin Nvidia’nın çiplerinden daha büyük modelleri çalıştırabileceği anlamına gelir.
Çip, toplam 153 milyar transistör için sekiz GPU ve birkaç G/Ç kalıbı içeren 5nm (GPU) ve 6nm düğümlerinin (G/Ç kalıbı) karışımındaki 12 farklı yongadan dövülüyor.
resim 1 ile ilgili 2
MI300A birkaç farklı modda çalışabilir, ancak birincil mod, tek bir bellek alanı ve NUMA alanından oluşur, böylece tüm CPU ve GPU çekirdekleri için tek tip erişim belleği sağlar. Bu sırada MI300X, tüm GPU kümeleri arasında tutarlı bellek kullanır. Temel çıkarım, önbellekle uyumlu belleğin, genellikle hesaplamanın kendisinden daha fazla güç tüketen CPU ve GPU arasındaki veri hareketini azaltması, böylece gecikmeyi azaltması ve performansı ve güç verimliliğini artırmasıdır.
AMD, tek bir MI300X GPU üzerinde çalışan 40 milyar parametreli bir Falcon-40B modelinin demosunu gerçekleştirdi, ancak herhangi bir performans ölçümü sağlanmadı. Bunun yerine LLM, AMD’nin etkinliğinin yeri olan San Francisco hakkında bir şiir yazdı. AMD, bu kadar büyük bir modelin ilk kez tek bir GPU üzerinde çalıştırıldığını söylüyor.
resim 1 ile ilgili 2
AMD ayrıca, sekiz MI300X GPU’yu 1,5 TB toplam HBM3 belleğe sahip tek bir sunucu ana kartında birleştiren AMD Instinct Platformunu da duyurdu. Bu platform, Nvidia’nın tescilli MGX platformlarının aksine OCP uyumludur. AMD, bu açık kaynaklı tasarımın dağıtımı hızlandıracağını söylüyor.
CPU+GPU modeli MI300A şu anda örnekleme yapıyor. MI300X ve 8-GPU Instinct Platformu üçüncü çeyrekte örneklenecek ve dördüncü çeyrekte piyasaya sürülecek. Hâlâ daha fazla ayrıntı için çalışıyoruz – önümüzdeki saatlerde daha fazlası için bizi izlemeye devam edin.