Cerebras’ın 12 inçlik yarı iletken levha boyutundaki WSE-3 yongası, Nvidia’nın H100 GPU’sunu gölgede bırakan dünyanın en büyük yongasıdır. Yapay zeka girişimi, çiple donatılmış CS-3 bilgisayarlarından yalnızca birinin, teorik olarak 24 trilyon parametreye sahip GPT-4 gibi bir sinir ağını işleyebileceğini söylüyor. Beyinler
Her zamankinden daha büyük üretken yapay zeka modellerine yönelik yarış, çip endüstrisini beslemeye devam ediyor. Çarşamba günü, Nvidia’nın ana rakiplerinden biri olan Cerebras Systems, yapay zeka çipinin üçüncü nesli ve dünyanın en büyük yarı iletkeni olan “Wafer Scale Engine 3″ü tanıttı.
“Bu, Moore Yasasında uzun zamandır görmediğimiz gerçek bir adım olacaktır.”
Cerebras, WSE-2’yi Nisan 2021’de piyasaya sürdü. Onun halefi olan WSE-3, yapay zeka modellerini eğitmek, yani üretime geçmeden önce işlevlerini optimize etmek için sinir ağırlıklarına veya parametrelerine ince ayar yapmak üzere tasarlandı.
Kurucu ortağı ve CEO’su Andrew Feldman, “Bu iki kat daha fazla performans, aynı güç tüketimi ve aynı fiyat anlamına geliyor. Dolayısıyla bu, endüstrimizde uzun zamandır görmediğimiz bir Moore Yasası dönüm noktası olacaktır” dedi. Beyinler. Mikroçip devrelerinin her 18 ayda bir ikiye katlandığı şeklindeki onlarca yıllık kurala atıfta bulunuyor.
Beyinler
7 nanometreden 5 nanometreye geçiş
WSE-3, yürütülen talimatların oranını 62,5 petaFLOP’tan 125 petaFLOP’a iki katına çıkarır. Bir petaFLOP, saniyede 1.000.000.000.000 (1 katrilyon) kayan nokta işlemidir.
12 inçlik bir levha boyutu, selefi gibi, WSE-3, transistörlerini 7 nanometreden (metrenin yedi milyarda biri) 5 nanometreye küçülttü ve WSE-2’deki transistör sayısını 2,6 trilyon transistörden 4 trilyona çıkardı. . Dünyanın en büyük sözleşmeli çip üreticisi olan TSMC, WSE-3’ü üretiyor.
Cerebras, çip üzerindeki SRAM içeriğini 40 GB’tan 44 GB’a yalnızca biraz artırarak ve hesaplama çekirdeği sayısını 850.000’den 900.000’e biraz artırarak mantık transistörlerinin bellek devrelerine oranını aynı tuttu.
“Hesaplama ve bellek arasında doğru dengeyi bulduğumuza inanıyoruz”
Feldman, “Hesaplama ve bellek arasında doğru dengeyi bulduğumuzu düşünüyoruz” dedi. Önceki iki nesil yongalarda olduğu gibi Feldman, WSE-3’ün muazzam boyutunu Nvidia’nın mevcut standardı H100 GPU ile karşılaştırdı.
Feldman, WSE-3’ü Nvidia’nın H100’üyle karşılaştırarak “57 kat daha büyük” dedi. “52 kat daha fazla çekirdeğe sahip. Çipte 800 kat daha fazla bellek var. 7.000 kat daha fazla bellek bant genişliğine ve 3.700 kat daha fazla kumaş bant genişliğine sahip. Bunlar performansın temelleri.
Feldman, yeni çipin saniyede işlem sayısını iki katına çıkarmasıyla ilgili olarak “Bu gerçek bir Moore Yasası kilometre taşı olacaktır ve bunu endüstrimizde uzun zamandır görmedik.” dedi. ZDNET için Tiernan Ray
Cerebras, her bir hesaplama çekirdeğinin boyutunu artırmak için ek transistörler kullandı, böylece “SIMD” (Tek talimat çoklu veri) kapasitesinin iki katına çıkarılması gibi belirli özellikleri iyileştirdi; paralel olarak işlenebilen veri noktalarının sayısını etkileyen çoklu işlem özelliği her saat döngüsü.
GPT-4’ten çok daha büyük LLM’ler için
Çip, artık eskisinden 10 kat daha fazla, 2.048 makineyi barındırabilen CS-3 şasi ve güç kaynağının yeni bir versiyonuna entegre edildi. Bu makinelerin birleşimi 256 exaFLOPS, bin petaFLOPS veya çeyrek zetaFLOP elde edebilir.
Feldman, WSE-3 çipli CS-3 bilgisayarının 24 trilyon parametreden oluşan teorik büyük dil modelini (LLM) işleyebileceğini ve bunun OpenAI’nin GPT-4’ü gibi üst düzey üretken yapay zeka araçlarından çok daha iyi olacağını söyledi. 1 trilyon parametreye sahip olduğu söyleniyor. Feldman, “24 trilyon parametrenin tümü tek bir makinede çalıştırılabilir” dedi.
Açıkça söylemek gerekirse, Cerebras bu karşılaştırmayı aslında eğitilmemiş büyük bir sentetik dil modeli kullanarak gerçekleştiriyor. Bu sadece WSE-3’ün hesaplama yeteneğinin bir göstergesidir.
Beyinler
Hiper ölçekleyicilerle doğrudan rekabete doğru
Feldman, Cerebras makinesinin programlanmasının GPU’dan daha kolay olduğunu söylüyor. GPT-3’ü 175 milyar parametreyle eğitmek için bir GPU’nun Python, C/C++, CUDA ve diğerlerinde birleştirilmiş 20.507 kod satırına ihtiyacı vardır; WSE-3 için ise yalnızca 565 satır kod gerekir.
Ham performansa gelince, Feldman eğitim sürelerini küme boyutuna göre karşılaştırdı. Feldman, 2.048 CS-3’ten oluşan bir kümenin, Meta’nın büyük 70 milyar parametreli Llama 2 dil modelini, Meta’nın yapay zeka eğitim kümesinden 30 kat daha hızlı eğitebileceğini söyledi: bir gün yerine 30 gün.
Bay Feldman şöyle konuştu: “Bu boyuttaki kümelerle çalıştığınızda, her şirkete hiper ölçekleyicilerin kendileri için kullandıkları bilgi işlemin aynısını getirebilirsiniz ve onların yaptıklarını yalnızca getirmekle kalmaz, aynı zamanda daha hızlı da yapabilirsiniz. ”
Beyinler
Ağzına kadar yüklenmiş bir sipariş defteri
Bay Feldman, Birleşik Arap Emirlikleri’nin Abu Dhabi kentinde yerleşik bir yatırım şirketi olan G42’nin de aralarında bulunduğu bu makinelerin müşterilerini tanıttı.
Cerebras, Dallas, Teksas’taki bir tesiste G42 için 64 CS-3 makinesinden oluşan bir grup üzerinde çalışıyor ve “Condor Galaxy 3” adı verilen ve yıl sonuna kadar düzinelerce exaFLOPS’a ulaşması beklenen dokuz bölümlük bir projenin bir sonraki kısmı. 2024.
Bay Feldman, Nvidia gibi Cerebras’ın da şu anda karşılayabileceğinden daha fazla talebi olduğunu söyledi. Girişimin “kurumsal, devlet ve uluslararası bulutlarda CS-3 için önemli bir sipariş birikimi” var.
Bay Feldman ayrıca çip devi Qualcomm ile, doğrudan trafik hakkında tahminlerde bulunmaya yönelik çıkarım süreci olan üretken yapay zekanın ikinci kısmı için Qualcomm’un AI 100 işlemcisini kullanmak üzere bir ortaklık kurduğunu da açıkladı. Üretken yapay zeka modellerini üretimde çalıştırmanın maliyetinin parametre sayısı arttıkça arttığına dikkat çeken Feldman, gezegendeki herkesin kendisine istek göndermesi durumunda ChatGPT’yi çalıştırmanın yılda 1 trilyon dolara mal olabileceğini kaydetti.
Beyinler
Qualcomm çıkarımında, Cerebras model eğitiminde
Ortaklık, çıkarımın maliyetini azaltmak için dört teknik uyguluyor.
- Bay Feldman, Cerebras yazılımının sıfır değerli girdileri göz ardı eden seyreklik adı verilen bir şeyi kullanarak gereksiz hesaplamaların yüzde 80’e kadarını ortadan kaldırdığını söyledi.
- İkinci bir teknik olan spekülatif kod çözme, büyük bir dil modelinin daha küçük bir versiyonu kullanılarak tahminlerin yapılmasına ve ardından yanıtların daha büyük bir versiyon tarafından doğrulanmasına olanak tanır. Feldman, bir modelin sonuçlarını doğrulamanın, bu sonuçları üretmekten daha az enerjiye mal olduğunu açıklıyor.
- Üçüncü bir teknik, model çıktısını, normalde Qualcomm AI 100 hızlandırıcıda ihtiyaç duyulan belleğin yalnızca yarısına ihtiyaç duyan derlenmiş bir sürüm olan MX6’ya dönüştürür.
- Son olarak WSE-3 yazılımı, AI 100’de derlenecek ve çalıştırılacak bir parametre alt kümesini seçmek için ağ mimarisi aramasını kullanır ve yine bilgi işlem kaynakları ve bellek kullanımının azaltılmasına yardımcı olur.
Beyinler
Feldman’a göre bu dört yaklaşım, harcanan dolar başına Qualcomm çipinde işlenen “jetonların” sayısını büyüklük sırasına göre artırabilir; burada bir jeton, bir cümledeki bir kelimenin parçası veya bir bilgisayar kodu parçası olabilir. bir geliştiricinin “yardımcı pilotu”. Feldman, dolaylı olarak “performansın maliyete eşit olduğunu” belirtti.
Çıkarım zamanla veri merkezlerinden sunuculara taşınacak
Feldman, “Qualcomm ile işbirliği yaparak ve kusursuz bir iş akışı sağlayarak, eğitim ayarlarınızdan üretim çıkarımlarınıza nasıl geçeceğinizi düşünmek için harcamanız gereken zamanı radikal bir şekilde azaltıyoruz” dedi.
Çıkarım veri merkezlerinden kurumsal sunucular ve hatta mobil cihazlar gibi düşük güçlü cihazlar da dahil olmak üzere daha “son teknoloji” cihazlara doğru ilerledikçe, çıkarım pazarının yapay zeka silahlanma yarışında önemli bir pay haline gelmesi bekleniyor.
Feldman, “Kolay çıkarımın giderek daha da ileri gideceğini ve Qualcomm’un bu alanda gerçek bir avantaja sahip olduğunu düşünüyorum” dedi.
Kaynak : “ZDNet.com”