Yenilikçi In-Memory Computing: SK hynix ve USC’den Çarpıcı Gelişmeler
SK hynix ve Güney Kaliforniya Üniversitesi (USC) işbirliğiyle geliştirilen yeni memristör tabanlı In-Memory Computing (IMC) sistem-on-chip (SoC), yapay zeka (AI) edge cihazlarının performansını artırmaya yönelik önemli bir adım olarak karşımıza çıkıyor. Yüksek performans hedefleyen bu yeni çip, hafif AI modelleri için sinir ağı çıkışlarını hızlandırırken, daha yüksek maliyetli GPU’lar veya NPU’lara kıyasla çok daha az enerji tüketiyor. Ancak bu SoC, teorik olarak yaklaşık 2.54 TOPS kapasitesine ulaşırken, Microsoft’un Copilot+ gereksinimlerinin 16 kat altında kalıyor.
- Yenilikçi In-Memory Computing: SK hynix ve USC’den Çarpıcı Gelişmeler
- Geliştirilmiş DWC-Optimizasyonu ile IMC Mimarisi
- Teknik Özellikler
- Veri Tabanlı Uygulama: Performans Testleri
- Verimlilik ve Enerji Tüketimi: Düşük Performansa Rağmen Etkileyici Sonuçlar
- Sonuç: Memristör Tabanlı Çözümün Avantajları ve Sınırlamaları
Geliştirilmiş DWC-Optimizasyonu ile IMC Mimarisi
Memristör tabanlı In-Memory Computing (IMC), veri hareketini ve güç tüketimini azaltarak, sinir ağlarını analog hesaplamalarla doğrudan bellek dizilerinde hızlandırır. Ancak, derinlik yönündeki konvolüsyon (DWC), bağımsız kanal filtrelemesi yaptığı için geleneksel çapraz bar array’lerine uyum sağlamada zorluklar yaşar. SK hynix ve USC araştırmacıları, DWC’ye özel olarak optimize edilmiş bir memristör tabanlı IMC mimarisi ile SoC geliştirdi. Bu, hem geleneksel IMC çaprazları hem de DWC için optimize edilmiş mimarilerin bir araya geldiği bir çözüm sunuyor.
Teknik Özellikler
- İşlemci Mimarisi: Gömülü RISC-V işlemci ve 10 neural processing unit (NPU) ile donatılmıştır.
- DWC İçin Özel NPU: DWC’ye özel bir NPU, diğer dokuz NPU ise nokta ve yoğun işlemleri yürütmek üzere yapılandırılmıştır.
- Analog İşlem Birimleri: 256 x 256 boyutlarında memristör çaprazları, analog vektör-matris çarpımlarını gerçekleştirmektedir.
- Veri Merkezi Uygulamaları: 21.3 TOPS/W enerji verimliliği sunarak, veri merkezlerinde yüksek performans sağlıyor.
Veri Tabanlı Uygulama: Performans Testleri
Araştırma ekibi, özel olarak tasarlanmış MobileNetV1Small sinir ağı üzerinden performans testi gerçekleştirdi. Bu ağda toplam yaklaşık 36,000 parametre bulunuyor; derinlik yönündeki tüm katmanlar özel DWC NPUs’ya, nokta katmanları ise diğer NPUs’ya dağıtıldı. Memristör tabanlı IMC, nitelikli analog vektör-matris çarpımı gerçekleştirdiğinden, girişler ve ağırlıklar, işlem öncesinde 8-bit değerlerine kuantalandı.
Verimlilik ve Enerji Tüketimi: Düşük Performansa Rağmen Etkileyici Sonuçlar
SoC, end-to-end çıkarım hassasiyetinde %80.36’lık bir başarı elde ediyor ki bu da 4-bit yazılım modeline eşdeğer. Her NPU, maksimum 0.254 TOPS kapasitesine ulaşırken, enerji verimliliği, 100 MHz’de 21.3 TOPS/W olarak kaydedildi. Ancak, bu performans değerleri, tüm NPUs’un aynı anda kullanılabilme kapasitesinin ve toplam SoC verimliliğinin halen netliğe kavuşturulmadığını gösteriyor.
Sonuç: Memristör Tabanlı Çözümün Avantajları ve Sınırlamaları
SK hynix ve USC’nin geliştirdiği bu memristör tabanlı IMC SoC, hafif AI iş yükleri için yenilikçi bir çözüm sunmakta ve derinlik yönündeki konvolüsyonları optimize ederek çapraz bar kullanımını artırmakta. Ancak, düşük maliyetli 65nm süreçte üretildiği için, chip’in tam performansı hakkında kesin veriler mevcut değil. Özellikle, tüm NPUs’un eş zamanlı kullanılıp kullanılamayacağı gibi noktalar, daha fazla araştırmayı gerektiriyor.
Kaynak: Tom’s Hardware verileriyle derlenmiştir.
