Kendi kişisel yapay zekalı süper bilgisayarınızı arıyorsanız, Nvidia size yardımcı olacaktır.
Çip üreticisi, CES’te Mayıs ayında Project Digits adında kişisel bir yapay zeka süper bilgisayarını piyasaya süreceğini duyurdu. Project Digits’in kalbi, karmaşık yapay zeka modellerini çalıştırmak için yeterli işlem gücünü bir araya getiren ve aynı zamanda bir masaya sığacak ve standart bir elektrik prizinden çalıştırılacak kadar kompakt olan yeni GB10 Grace Blackwell Superchip’tir (bu tür bir işlem gücü, çok daha büyük bir işlem gerektiriyordu) , daha fazla güce aç sistemler). Masaüstü boyutundaki bu sistem, 200 milyara kadar parametreye sahip yapay zeka modellerini işleyebilir ve başlangıç fiyatı 3.000 ABD dolarıdır. Ürünün kendisi Mac Mini’ye çok benziyor.
“Yapay zeka her sektördeki her uygulamada ana akım olacak. Nvidia CEO’su Jensen Huang bir basın açıklamasında, Project Digits ile Grace Blackwell Superchip’in milyonlarca geliştiriciye ulaştığını söyledi. “Her veri bilimcinin, yapay zeka araştırmacısının ve öğrencinin masasına bir yapay zeka süper bilgisayarı yerleştirmek, onlara yapay zeka çağına katılma ve onu şekillendirme gücü veriyor.”
Her Project Digits sistemi, 128 GB’lık birleştirilmiş, tutarlı bellek (karşılaştırma yapmak gerekirse, iyi bir dizüstü bilgisayar 16 GB veya 32 GB RAM’e sahip olabilir) ve 4 TB’a kadar NVMe depolama alanıyla donatılmış olarak gelir. Daha da zorlu uygulamalar için, iki Project Digits sistemi, 405 milyara kadar parametreye sahip modelleri yönetmek üzere birbirine bağlanabilir (Meta’nın en iyi modeli Llama 3.1, 405 milyar parametreye sahiptir).
GB10 yongası, FP4 hassasiyetinde (yaklaşıklaştırmalar yaparak hesaplamaların daha hızlı yapılmasına yardımcı olur) 1 petaflop’a kadar yapay zeka performansı (yani saniyede 1 katrilyon yapay zeka hesaplaması gerçekleştirebileceği anlamına gelir) sunar ve sistem, Nvidia’nın en yeni nesil CUDA çekirdeklerini ve NVLink-C2C aracılığıyla güç açısından verimli 20 Arm tabanlı çekirdek içeren Grace CPU’ya bağlanan beşinci nesil Tensör Çekirdekleri. Arm tabanlı çip tasarımlarıyla tanınan MediaTek, güç verimliliğini ve performansını optimize etmek için GB10’un geliştirilmesinde işbirliği yaptı.
Kullanıcılar ayrıca Nvidia NGC kataloğu aracılığıyla sunulan geliştirme kitleri, orkestrasyon araçları ve önceden eğitilmiş modeller dahil olmak üzere Nvidia’nın yapay zeka yazılım kitaplığına da erişebilecek. Sistem, Linux tabanlı Nvidia DGX işletim sistemi üzerinde çalışır ve PyTorch, Python ve Jupyter dizüstü bilgisayarlar gibi popüler çerçeveleri destekler. Geliştiriciler, Nvidia NeMo çerçevesini kullanarak modellerde ince ayar yapabilir ve Nvidia RAPIDS kitaplıkları ile veri bilimi iş akışlarını hızlandırabilir.
Kullanıcılar, AI modellerini yerel olarak Project Digits’te geliştirip test edebilir, ardından aynı Grace Blackwell mimarisini ve Nvidia AI Enterprise yazılım platformunu kullanarak bunları bulut hizmetlerine veya veri merkezi altyapısına dağıtabilirler.
Nvidia aynı cihazda bir dizi benzer cihaz sunuyor erişilebilirlik tarzı – Aralık ayında, Jetson bilgisayarının yapay zeka uygulamalarına yönelik, amatörleri ve startupları hedef alan, Jetson Orin Nano Super (modelleri yönetir) adı verilen 249 dolarlık bir versiyonunu duyurdu. 8 milyara kadar parametre).
