Teknoloji devi Elon Musk, Twitter/X’te “dünyanın en güçlü yapay zeka eğitim kümesini” başlattığını ve bu kümeyi kullanarak bu yılın Aralık ayına kadar “her ölçüte göre dünyanın en güçlü yapay zekasını” yaratacağını övünerek duyurdu. xAI’nin Memphis Süperkümesi bugün, tek bir RDMA (uzaktan doğrudan bellek erişimi) yapısıyla birbirine bağlanan 100.000 adet sıvı soğutmalı Nvidia H100 GPU kullanarak yapay zeka eğitimine başladı.
@xAI ekibi, @X ekibi, @Nvidia ve destekleyici şirketler tarafından yapılan güzel çalışma, Memphis Süperkümesi eğitimini yerel saatle 04:20’de başlattı. Tek bir RDMA yapısında 100 bin sıvı soğutmalı H100 ile dünyanın en güçlü AI eğitim kümesi!22 Temmuz 2024
Musk’ın süperkümeyi başlatmak için düğmeye bizzat basmış olması pek olası görünmüyor, zira kümenin devasa görevine TSİ 04.20’de başladığı belirtiliyor; ancak aşağıda görebileceğiniz gibi, fiber teknoloji uzmanına yardım etti.
Mayıs ayında Musk’ın 2025 Sonbaharına kadar Gigafactory of Compute’u açma hedefini bildirmiştik. O zamanlar Musk, süper küme üzerinde çalışmaya başlamak için acele etti ve bu da mevcut nesil ‘Hopper’ H100 GPU’larının satın alınmasını gerektirdi. Bu, teknoloji devinin H200 yongalarının piyasaya sürülmesini bekleyecek sabrının olmadığının bir işareti gibi görünüyordu, yaklaşan Blackwell tabanlı B100 ve B200 GPU’larından bahsetmiyorum bile. Bu, daha yeni Nvidia Blackwell veri merkezi GPU’larının 2024 sonundan önce piyasaya sürüleceği beklentisine rağmen böyleydi.
Memphis’te elit bir fiber teknisyeni olarak xAI’nin fotonları yönlendirmesine yardım edin! pic.twitter.com/JJShV75May15 Temmuz 2024
Yani, Hesaplamanın Gigafabrikasının 2025 Sonbaharında açılması bekleniyorsa, bugünün haberi projenin bir yıl erken meyvesini verdiği anlamına mı geliyor? Gerçekten de erken olabilir, ancak bu yılın başlarında Reuters ve The Information ile konuşan kaynakların projenin zamanlaması konusunda yanlış konuşmuş veya yanlış aktarılmış olması daha olası görünüyor. Ayrıca, xAI Memphis Süperkümesi halihazırda çalışır durumdayken, xAI’nin neden daha güçlü veya yeni nesil GPU’ları beklemediğiyle ilgili sorular yanıtlanmış oldu.
@elonmusk ile tarih yazmaktan mutluluk duyuyorum, Memphis ekibiyle çalışmak harika bir deneyim! Hedefe ulaşmak için, uygulamamızın olabildiğince mükemmel, olabildiğince hızlı, olabildiğince verimli ve olabildiğince çevre dostu olması gerekiyordu – çok fazla sıkı çalışma, ancak…22 Temmuz 2024
Supermicro donanımın çoğunu sağladı ve şirketin CEO’su Charles Liang da Musk’ın başlığına yorum yaparak ekibin uygulamasını övdü. Bu, Liang’ın Musk’ın sıvı soğutmalı AI veri merkezleri için yakın zamanda söylediği övgü dolu sözlerin ardından geldi.
Musk, bir sonraki Tweet’inde yeni süperkümenin “her ölçüte göre dünyanın en güçlü AI’sını eğiteceğini” açıklıyor. Önceki niyet açıklamalarından, xAI’nin 100.000 H100 GPU kurulumunun gücünün artık Grok 3 eğitimine yönelik olacağını varsayıyoruz. Musk, rafine edilmiş LLM’nin eğitim aşamasıyla “bu yılın Aralık ayına kadar” tamamlanması gerektiğini söyledi.
Memphis Süperkümesi hesaplama kaynaklarını bir bağlama oturtmak için, kesinlikle, ölçeğe göre, yeni xAI Memphis Süperkümesi, GPU beygir gücü açısından en son Top500 listesindeki her şeyi kolayca geride bırakıyor. Frontier (37.888 AMD GPU), Aurora (60.000 Intel GPU) ve Microsoft Eagle (14.400 Nvidia H100 GPU) gibi dünyanın en güçlü süper bilgisayarları, xAI makinesi tarafından önemli ölçüde geride bırakılmış gibi görünüyor.