Cerebras Systems, selefi WSE-2’nin iki katı performansa sahip çığır açıcı bir yapay zeka yonga plakası ölçeği çipi olan Wafer Scale Engine 3’ü (WSE-3) tanıttı. Bu yeni cihaz, TSMS’nin 5nm sınıfı üretim süreciyle üretilen 4 trilyon transistörü içeriyor; 900.000 yapay zeka çekirdeği; 44 GB çip üzerinde SRAM; ve 125 FP16 PetaFLOPS’luk zirve performansına sahiptir. Ceberas’ın WSE-3’ü endüstrinin en büyük yapay zeka modellerinden bazılarını eğitmek için kullanılacak.
WSE-3, Cerebras’ın 24 trilyona kadar parametreye sahip yapay zeka modellerini eğitmek için kullanılabilen CS-3 süper bilgisayarına güç veriyor; bu, WSE-2 ve diğer modern yapay zeka işlemcileri tarafından desteklenen süper bilgisayarlar üzerinde önemli bir sıçrama. Süper bilgisayar, 1,5 TB, 12 TB veya 1,2 PB harici belleği destekleyebilir; bu, büyük modelleri bölümlendirmeye veya yeniden düzenlemeye gerek kalmadan tek bir mantıksal alanda depolamasına olanak tanıyarak eğitim sürecini kolaylaştırır ve geliştirici verimliliğini artırır.
Ölçeklenebilirlik açısından CS-3, 2048’e kadar sistemden oluşan kümeler halinde yapılandırılabilir. Bu ölçeklenebilirlik, dört sistemli bir kurulumla yalnızca bir günde 70 milyar parametreli modele ince ayar yapmasına ve bir Llama 70B modelini aynı zaman diliminde tam ölçekte sıfırdan eğitmesine olanak tanır.
En yeni Cerebras Yazılım Çerçevesi, PyTorch 2.0 için yerel destek sunar ve aynı zamanda eğitimi hızlandırabilen, geleneksel yöntemlere göre sekiz kata kadar daha hızlı olan dinamik ve yapılandırılmamış seyrekliği destekler.
Resim 1 ile ilgili 2
Cerebras, CS-3’ün üstün güç verimliliğini ve kullanım kolaylığını vurguladı. Performansını iki katına çıkarmasına rağmen CS-3 önceki modelle aynı güç tüketimini koruyor. Ayrıca GPU’lara kıyasla %97’ye kadar daha az kod gerektiren büyük dil modellerinin (LLM’ler) eğitimini de basitleştirir. Örneğin şirkete göre GPT-3 boyutlu bir model Cerebras platformunda yalnızca 565 satır kod gerektiriyor.
Şirket halihazırda CS-3’e ciddi bir ilgi gördü ve kurumsal, kamu ve uluslararası bulutlar da dahil olmak üzere çeşitli sektörlerden önemli miktarda sipariş birikimine sahip. Cerebras ayrıca Argonne Ulusal Laboratuvarı ve Mayo Kliniği gibi kurumlarla da işbirliği yaparak CS-3’ün sağlık alanındaki potansiyelini vurguluyor.
Cerebras ve G42 arasındaki stratejik ortaklık, 64 CS-3 sistemine (çok büyük bir 57.600.000 çekirdeğe sahip) sahip bir yapay zeka süper bilgisayarı olan Condor Galaxy 3’ün yapımıyla da genişleyecek. İki şirket birlikte halihazırda dünyadaki en büyük yapay zeka süper bilgisayarlarından ikisini yarattı: Kaliforniya merkezli ve toplam performansı 8 kat olan Condor Galaxy 1 (CG-1) ve Condor Galaxy 2 (CG-2). ExaFLOP’lar. Bu ortaklık, dünya çapında onlarca exaFLOP yapay zeka hesaplaması sunmayı amaçlıyor.
G42 Grup CTO’su Kiril Evtimov, “Cerebras ile olan stratejik ortaklığımız, G42’de inovasyonu ilerletmede etkili oldu ve yapay zeka devriminin küresel ölçekte hızlanmasına katkıda bulunacak” dedi. “8 exaFLOP’a sahip bir sonraki yapay zeka süper bilgisayarımız Condor Galaxy 3 şu anda yapım aşamasında ve yakında sistemimizin toplam yapay zeka hesaplama üretimini 16 exaFLOP’a çıkaracak.”