Minik ŞirketBir sinir ağı çerçevesi olan Tinygrad’ın bakımını yapan girişim, yapay zeka için PetaFLOPS sınıfı performansı demokratikleştirmeyi amaçlıyor. Bu amaçla, tanıtımını yaptı Minik Kutu Altı adet AMD Radeon RX 7900 XTX grafik kartını 12U raf kasasına sığdıran sistem, 15.000 dolara satılacak. Bu rakama gerekli tüm yazılım ve donanım dahildir.
TinyBox sistemi, maksimum bant genişliği sağlamak için ‘tam yapı’ PCIe 4.0 x16 bağlantıları kullanılarak bağlanan altı adet AMD Radeon RX 7900 XTX kartı (en iyi grafik kartlarından biri) kullanıyor. Görünüşe göre bu tüketici sınıfı GPU’lar tamamen eşler arası ara bağlantıları destekleyin büyük dil modelleri için gerekliydi (Nvidia’nın GeForce RTX 4090’ından farklı olarak), bu nedenle şirket, Nvidia’nın daha popüler seçenekleri yerine bu GPU’ları kullanmayı seçti.
Performans açısından bakıldığında TinyBox, 21 TB/s toplam bellek bant genişliği sağlayan 96 GB GDDR6 belleğin yanı sıra 738 FP16 TFLOPS’a (0,738 FP16 TFLOPS) kadar performans sunabilir. Rakamları bir bağlama oturtmak gerekirse, bir TinyBox, Nvidia H100 işlem performansının (FP16) %37’sini, ancak biraz daha fazla bellek (80 GB yerine 96 GB) ve önemli ölçüde daha yüksek maksimum bellek bant genişliği (3,35 TB/s yerine 21 TB/s) sunuyor. .
Sistem, 128 GB RAM ile eşleştirilmiş bir AMD EPYC 7532 CPU tarafından desteklenmektedir. Depolamaya gelince, TinyBox’ta beş adet Western Digital SN850X 1TB SSD bulunuyor; bunların dördü gelişmiş performans için RAID olarak yapılandırılmış ve biri sistemi başlatmak için ayrılmış. Ek olarak makinede ağ iletişimi için esnek bağlantı seçeneklerine olanak tanıyan boş bir 16x OCP 3.0 yuvası bulunur.
Tiny, TinyBox makinesinin maliyetinin yaklaşık 10.000 dolar olduğunu ve onu 15.000 dolara sattığını söylüyor; bu da Nvidia’nın H100’ünden çok daha düşük. Sonuç olarak şirket 583 ön sipariş aldı ve sevkiyata Nisan ayında başlamayı planlıyor. Şirket, 100 adetlik bir üretim sürecinin halihazırda devam ettiğini belirtti.
Yazılım tarafında TinyBox, Ubuntu 22.04 ile birlikte geliyor ve başlangıçta yalnızca Tinygrad çerçevesini içerecek. Ancak AMD donanımındaki PyTorch ve JAX gibi diğer makine öğrenimi çerçeveleriyle uyumlu olup kullanıcılara tercih ettikleri araçları seçme esnekliği sağlar.
Tiny, AI iş yükleri için PetaFLOPS sınıfı performansı demokratikleştirmek istediğinden TinyBox yalnızca bir ürün değil, bunun yapılabileceğinin bir kanıtıdır. Şirket, standartlaştırılmış bir donanım parçası sağlayarak, geliştiricilerin yazılım ve algoritma geliştirmede yeni ufuklar keşfetmesine olanak sağlamayı ve sonuçta bu alanda atılımlara yol açmayı amaçlıyor. AMD, Intel ve Nvidia, veri merkezi düzeyinde donanıma dayalı yeni yüksek performanslı bilgi işlem mimarileri sunarken, tüketici sınıfı donanıma dayalı TinyBox’ın popülerlik kazanıp kazanmayacağını merak ediyoruz.