Instinct MI250X GPU’lara sahip AMD destekli Frontier Süper Bilgisayar, ChatGPT-4’e rakip olarak 1 Trilyon Parametre LLM koşusuna ulaştı.
Frontier Süper Bilgisayarı, AMD’nin EPYC CPU’ları ve Instinct GPU’ları Sayesinde Yüksek Lisans Eğitimi Alanında Yeni Rekorlar Kırıyor
Frontier süper bilgisayarı dünyanın önde gelen süper bilgisayarıdır ve şu anda çalışan tek Exascale makinesidir. Bu makine AMD’nin EPYC & Instinct donanımı tarafından desteklenmektedir ve bu donanım yalnızca şunları sunmakla kalmaz, en iyi HPC performansı ama aynı zamanda Gezegendeki en verimli 2. süper bilgisayar. Hakkında bir sunum raporu Arxiv Bireyler tarafından yapılan bir araştırma, Frontier süper bilgisayarının “hiperparametre ayarlama” yoluyla bir trilyon parametreyi eğitme yeteneğine ulaştığını ve yeni bir endüstri standardı belirlediğini ortaya çıkardı.
Bu, Frontier’daki 37 bin MI250X’in ‘sadece’ 3 bin’i. Feynman’dan çalmak için “Üst tarafta yeterince yer var!” — On binlerce düğüme yayılan çok sayıda ilginç çalışma bekliyorum.
— Nicholas Malaya (@nicholasmalaya) 5 Ocak 2024
İşin özüne girmeden önce Frontier süper bilgisayarının neler içerdiğini kısaca özetleyelim. ORNL’nin süper bilgisayarı, baştan sona AMD’nin 3. Nesil EPYC Trento CPU’ları ve Instinct MI250X GPU hızlandırıcılarıyla tasarlandı. Enerji Bakanlığı (DOE) tarafından işletilen Tennessee, ABD’deki Oak Ridge Ulusal Laboratuvarı’nda (ORNL) kuruludur. Şu anda 8.699.904 çekirdek kullanarak 1.194 Exaflop/s değerine ulaştı. HPE Cray EX mimarisi, HPC ve yapay zeka için optimize edilmiş 3. Nesil AMD EPYC CPU’ları AMD Instinct 250X hızlandırıcılar ve Slingshot-11 ara bağlantısıyla birleştirir. Frontier, Top500.org’un süper bilgisayarlar listesinde bir numaralı yerini koruyarak üstünlüğünü gösterdi.
Frontier’ın elde ettiği yeni rekorlar, LLM’leri eğitmek ve yerleşik donanımı en verimli şekilde kullanmak için etkili stratejilerin uygulanmasının bir sonucudur. Ekip, 22 Milyar, 175 Milyar ve 1 Trilyon parametreden oluşan kapsamlı testleri sayesinde kayda değer sonuçlar elde etmeyi başardı ve elde edilen rakamlar, model eğitim sürecinin optimize edilmesi ve ince ayarlanmasının bir sonucudur. Sonuçlar, nispeten modası geçmiş bir donanım parçası olmasına rağmen yeteneklerini sergileyen 3.000’e kadar AMD MI250X AI hızlandırıcısının kullanılmasıyla elde edildi.
Dahası, Frontier süper bilgisayarının tamamının 37.000 MI250X GPU’ya ev sahipliği yapması ilginçtir; böylece, tüm GPU havuzunun LLM’lere güç sağlamak için kullanılması durumunda nasıl bir performans elde edileceği hayal edilebilir. AMD ayrıca MI300 GPU hızlandırıcılarını, yapay zeka performansını daha da hızlandıran sağlam ROCm 6.0 ekosistemine sahip yepyeni süper bilgisayarlara uygulamanın eşiğinde.
Gelecek, sunucu ve veri merkezi segmenti için çok şey barındırıyor ve Frontier’ın şu anda sektörde nispeten yeni olmayan donanımları kullandığını unutmamak önemlidir. Üretken yapay zeka segmentindeki sürekli ilerlemelerle birlikte, pazarların ilerlemek için daha fazla bilgi işlem gücüne ihtiyaç duyacağı açıktır; bu nedenle, bu segment için tasarlanan donanımlardaki gelişmeler yeni nesil ilerleme için hayati öneme sahiptir.
Haber kaynağı: Arvix