Samsung, CPU’lar ve hızlandırıcılar tarafından uzaktan erişilebilen ilave RAM ve flash bellek ekleyen, Katmanlı Bellek için CXL Bellek Modülü Hibrit (CMM-H TM) adı verilen yeni Compute Express Link (CXL) Eklenti Kartını tanıttı. Genişletme kartı, yüksek hızlı DRAM ve NAND flash karışımıyla birlikte gelir ve aşırı abone olunan sunucularda genellikle bir seçenek olmayan, yerel olarak kurulu DDR5 belleği kullanmadan sunucular için bellek kapasitesini artırmanın uygun maliyetli bir yolunu sağlamayı amaçlar.
Samsung’un çözümü, CPU’lar ve hızlandırıcılar arasında önbellek uyumlu bir ara bağlantı sağlayan ve böylece CPU’ların CXL kullanan bağlı cihazlarla aynı bellek bölgelerini kullanmasına olanak tanıyan açık bir endüstri standardı olan Compute Express Link (CXL) üzerinde çalışıyor. Uzak belleğe veya bu durumda hibrit RAM/flaş bellek aygıtına PCIe veri yolu üzerinden erişilebilir; bu da ~170-250ns gecikme maliyetine veya kabaca bir NUMA atlama maliyetine mal olur. CXL, 2019 yılında tanıtıldı ve PCIe 6.0 desteği içeren üçüncü revizyonunda yer alıyor.
CXL spesifikasyonu üç tür cihazı destekler: Tip 1 cihazlar yerel belleğe sahip olmayan hızlandırıcılardır, Tip 2 cihazlar kendi hafızasına sahip hızlandırıcılardır (GPU’lar, FPGA’ler ve DDR veya HBM’li ASIC’ler gibi) ve Tip 3 cihazlar bellek cihazlarından oluşur . Samsung cihazı Tip 3 kategorisine giriyor.
CMM-H TM, Samsung’un CMM-H CXL bellek çözümünün bir yan ürünüdür. Samsung, bunun dünyanın ilk FPGA tabanlı katmanlı CXL bellek çözümü olduğunu ve “bellek yönetimi zorluklarının üstesinden gelmek, kesinti süresini azaltmak, katmanlı bellek için planlamayı optimize etmek ve performansı en üst düzeye çıkarırken toplam sahip olma maliyetini önemli ölçüde azaltmak” için tasarlandığını söylüyor.
Bu yeni CMM-H, DRAM kadar hızlı değil; ancak flaş aracılığıyla büyük bir kapasite katmanı ekler, ancak genişletme kartındaki yerleşik akıllı bellek önbelleğe alma özelliğiyle çok fazla gecikmeyi gizler. Sıcak veriler, hızı artırmak için kartın DRAM yongalarına taşınırken, daha az kullanılan veriler NAND depolama alanında depolanıyor. Samsung, bu davranışın otomatik olarak gerçekleştiğini söylüyor ancak bazı uygulamalar ve iş yükleri, bir API aracılığıyla cihazın performansını artırmaya yönelik ipuçları verebilir. Doğal olarak bu, önbelleğe alınan veriler için bir miktar gecikmeye yol açacaktır; bu, tüm kullanım durumları için, özellikle de sıkı 99. yüzdelik performansa dayananlar için ideal değildir.
Samsung’un yeni genişletme kartı, müşterilerine sunucularının bellek kapasitesini genişletmenin yeni yollarını sağlayacak. Daha gelişmiş büyük dil modelleri, ana makinelerden ve hızlandırıcılardan daha fazla bellek talep etmeye devam ettikçe, bu yeni tasarım paradigması daha da önemli hale geliyor.