NEO Yarıiletken3D NAND flaş bellek ve 3D DRAM’e odaklanan , şu anda AI GPU hızlandırıcılarında kullanılan HBM’lerin yerini alacak 3D X-AI çip teknolojisini duyurdu. Bu 3D DRAM, matematiksel hesaplamalar gerektirmeyen çıktıları işlemesini ve üretmesini sağlayan yerleşik AI işleme özelliğine sahiptir. Bellek ve işlemci arasında büyük miktarda veri aktarıldığında veri yolu darboğaz sorunlarını azaltarak AI performansını ve verimliliğini artırır.
3D X-AI çipinin tabanında, aynı kalıpta 300 bellek katmanında depolanan verileri işleyen bir nöron devre katmanı bulunur. NEO Semiconductor’a göre, bu 3D bellek, bellekte AI işleme yapan 8.000 nötron devresi nedeniyle 100 kat performans iyileştirmesi sunar. Ayrıca, mevcut HBM’lerden sekiz kat daha fazla bellek yoğunluğuna sahiptir ve daha da önemlisi, güç açısından açgözlü GPU’larda işlenmesi gereken veri miktarını azaltarak %99 güç azaltımı sunar.
NEO Semiconductor Kurucusu ve CEO’su Andy Hsu, “Mevcut Yapay Zeka Çipleri, mimari ve teknolojik yetersizlikler nedeniyle önemli miktarda performans ve güç israfına neden oluyor” diyor.
Hu, “Mevcut AI Chip mimarisi verileri HBM’de depolar ve tüm hesaplamaları gerçekleştirmek için bir GPU’ya güvenir. Bu ayrılmış veri depolama ve veri işleme mimarisi, veri yolunu kaçınılmaz bir performans darboğazı haline getirir. Veri yolu üzerinden büyük miktarda veri aktarımı sınırlı performansa ve çok yüksek güç tüketimine neden olur. 3D X-AI, her HBM çipinde AI işleme gerçekleştirebilir. Bu, performansı iyileştirmek ve güç tüketimini önemli ölçüde azaltmak için HBM ve GPU arasında aktarılan verileri önemli ölçüde azaltabilir.” yorumunu yaptı.
Şirket, X-AI’nin 128 GB kapasiteye sahip olduğunu ve kalıp başına 10 TB/s AI işlemeyi destekleyebileceğini söylüyor. Tek bir HBM paketlemesinde on iki kalıbı bir araya getirmek, 1,5 TB’den fazla depolama kapasitesi ve 120 TB/s işleme verimi elde edebilir.
Yapay zeka gelişimi, birçok şirketin işlem hızlarını ve iletişim verimini artıracak teknolojiler araştırmasıyla bilişimin sınırlarını zorluyor. Daha hızlı ve daha verimli yarı iletkenler elde ettikçe, bileşenler arasında veri aktarımı yapan veri yolu darboğaz haline geliyor. Bu nedenle, bu tür teknolojiler tüm bileşenlerin birlikte daha hızlı çalışmasını sağlayacak.
Örneğin Intel, Kioxia ve TSMC gibi birkaç şirket, anakart içinde daha hızlı iletişimlere olanak sağlamak için optik teknoloji üzerinde çalışıyor. Ancak AI işlemlerinin bir kısmını GPU’dan HBM’ye aktararak NEO Semiconductor, iş yükünü azaltmaya yardımcı olabilir ve böylece mevcut güç açısından açgözlü AI hızlandırıcılarından çok daha verimli hale gelebilir.