Deepseek AI, Fire-Flyer Fire System (3FS) paralel dosya sistemini yaptı Bu hafta tamamen açık kaynakaçık kaynak haftası etkinliğinin bir parçası olarak. Çin’den yıkıcı AI şirketi, 3FS’nin 7.3 TB/s Agrega okuma verimini, Deepseek’in en az 2019’dan beri sunucularını düzenlemek için 3FS kullandığı kendi sunucu veri kümelerinde vurabileceğini.
3FS, AI-HPC işlemlerinde kullanılmak üzere tasarlanmış Linux tabanlı bir paralel dosya sistemidir, burada birçok veri depolama sunucusuna GPU düğümleri tarafından sürekli olarak erişiliyor. 3FS, büyük ölçüde her şeyden önce rastgele okuma hızlarının neredeyse tekil önceliklendirilmesi ve okuma önbelleğini neredeyse tamamen görmezden gelmesi sayesinde diğer dosya sistemlerinden benzersizdir.
AI modellerini eğitirken, hesaplama birimlerinin rastgele eğitim verilerine sürekli erişmesi gerekir ve bu verilerin okunması bir kerelik bir işlemdir. Bu nedenle, bir okuma önbelleği neredeyse işe yaramaz ve büyük ölçüde 3FS ile ortadan kaldırılır. Aslında, eğitim LLM’leri iken okuma önbelleğini kullanmak potansiyel olarak zararlı olabilir; LLM’ler temel olarak sadece süper ayarlı çıkarım makineleri olduğundan, aynı verileri tekrar tekrar okumak, dil modeline bir ayar olarak tamamen farklı verileri bağlama potansiyeline sahiptir.
Deepseek’in Deepseek’in Derin Öğrenme Kümelerinden birini işletmekten sorumlu ekip, Fire-Flyer 2, yayınlandı Bu makale Geçen Ağustos, özel yapım sisteminde 3FS kullanarak özetlendi. Fire-Flyer 2’de Deepseek, her biri 16 16 TB SSD ve iki 200 gbps nüks ile yüklenen 180 depolama düğümü kullanıldı. Bu düğümler, NVIDIA’nın tescilli DGX-A100 ürünlerinden çok daha ucuz sunucularda inşa edilen 10.000 PCIE NVIDIA A100 GPU’ya hizmet etti.
Tüm dizi boyunca Deepseek, 3FS’nin performansını 6.6 TB/s olarak karşılaştırdığını iddia ederken, arka planda 1,4 TB/s okuma verimi ekleyen eğitim görevlerini de çalıştırıyor. Buna karşılık, rakip dosya sistemi CEPH, ilk kez ilk kez 1.1 TB/s okuma girişi (68 düğümlü bir sunucuda) hızlarına ulaştı. 2024’ün başlarında.
3FS, NVIDIA’nın DGX-A100 sunucu çözümünün fiyatının% 50’si ve güç çekilişinin% 60’ını elde eden Fire-Flyer 2 HPC çözümünde test edildiği gibi, Deepseek’in yazılım yığınının yukarıdaki kağıtta eğitim için önemli bir parçası olarak kabul edildi.
Fire-Flyer dosya sistemini denemeyi ve AI-HPC çözümleri için rastgele okuma stilini merak edenler, Deepseek’in tam indirmesini bulabilirler. Github sayfası. Bu yeni açık kaynaklı sistem, meraklılar ve kurumsal AI-HPC kullanıcıları için bir hit haline gelmezse şaşırırız, ancak gişe rekorları kıran statüye çarpmak için bazı düzeyde anti-anti-antin teknoloji korkusunun üstesinden gelmek zorunda kalabilir.
