Massachusetts Teknoloji Enstitüsü (MIT) ile bir araştırma ekibi üzerinde çalışıyor yeni bir donanım direnç tasarımı elektronik ölçeklemenin bir sonraki dönemi için – özellikle makine öğrenimi ve sinir ağları gibi AI işleme görevlerinde.
Yine de bir geri dönüş gibi görünebilecek bir durumda (eğer geleceğe bir geri dönüş varsa), çalışmaları dijitalden çok analog bir tasarıma odaklanıyor. Protonik programlanabilir dirençleri girin – kendi nöronlarımızı (ve onların birbirine bağlı sinapslarını) taklit ederek ve operasyonlarını milyonlarca kez hızlandırarak AI ağlarını hızlandırmak için inşa edildi – ve bu gerçek rakam, sadece abartı değil.
Tüm bunlar, enerji tüketimini, Cerebras’ın rekor kıran Wafer Scale Engine 2 gibi makine öğrenimi iş yükleri için şu anda kullanılan transistör tabanlı tasarımların gerektirdiğinin bir kısmına indirirken yapılır.
Sinapslarımız ve nöronlarımız, hesaplama açısından son derece etkileyici olsa da, “wetware” ortamları ile sınırlıdırlar: su.
Beynimizin çalışması için suyun elektriksel iletimi yeterli olsa da, bu elektrik sinyalleri zayıf potansiyeller aracılığıyla çalışır: birbirine bağlı nöronların ağaçlarından (sinapslar, nöronların elektrik sinyalleri yoluyla iletişim kurduğu bağlantılara karşılık gelir) milisaniyeler içinde yayılan yaklaşık 100 milivoltluk sinyaller. Bir sorun, sıvı suyun 1,23 V’luk voltajlarla ayrışmasıdır – şu anki en iyi CPU’lar tarafından kullanılan çalışma voltajıyla aşağı yukarı aynı. Bu nedenle, biyolojik tasarımları hesaplamak için basitçe “yeniden tasarlamak” konusunda bir zorluk var.
“Cihazın çalışma mekanizması, elektronik iletkenliğini modüle etmek için en küçük iyon olan protonun yalıtkan bir okside elektrokimyasal olarak eklenmesidir. Çok ince cihazlarla çalıştığımız için güçlü bir elektrik alanı kullanarak bu iyonun hareketini hızlandırabilir ve bu iyonik cihazları nanosaniye çalışma rejimine itebiliriz.” Nükleer Bilim ve Mühendislik ve Malzeme Bilimi ve Mühendisliği bölümlerinde Breene M. Kerr Profesörü olan kıdemli yazar Bilge Yıldız’ı açıklıyor.
Diğer bir konu ise biyolojik nöronların modern transistörlerle aynı ölçekte inşa edilmemesidir. Boyutları 4 mikron (0,004 mm) ile 100 mikron (0,1 mm) arasında değişen çok daha büyüktürler. Mevcut en yeni GPU’lar zaten 6 nm aralığında transistörler taşıdığında (bir nanometre bir mikrondan 1000 kat daha küçüktür), ölçekteki farkı ve bu yapay nöronlardan ne kadar fazlasını aynı alana sığdırabileceğinizi neredeyse hayal edebilirsiniz. .
Araştırma, adından da anlaşılacağı gibi, elektriğin geçişine direnç oluşturan katı hal dirençleri oluşturmaya odaklandı. Yani elektronların (negatif yüklü parçacıklar) düzenli hareketine direnirler. Elektriğin hareketine direnen (ve dolayısıyla ısı üretmesi gereken) malzeme kullanmak mantıksız geliyorsa, öyledir. Ancak, dijital muadili ile karşılaştırıldığında analog derin öğrenmenin iki belirgin avantajı vardır.
İlk olarak, dirençleri programlamada, dirençlerin kendisinde eğitim için gerekli verileri dahil ediyorsunuz. Dirençlerini programladığınızda (bu durumda, çipin belirli alanlarındaki proton sayısını artırarak veya azaltarak), belirli çip yapılarına değerler eklersiniz. Bu, analog çiplerde bilginin zaten mevcut olduğu anlamına gelir: Harici bellek bankalarına daha fazla giriş ve çıkış yapmaya gerek yoktur, ki bu tam olarak mevcut çip tasarımlarının çoğunda (ve RAM veya VRAM’de) olan şeydir. Tüm bunlar gecikme ve enerji tasarrufu sağlar.
İkincisi, MIT’nin analog işlemcileri bir matris içinde tasarlanmıştır (Nvidia’nın Tensor çekirdeklerini hatırlıyor musunuz?). Bu, işlemleri paralel olarak yürüttükleri için CPU’larınızdan çok GPU’larınıza benzedikleri anlamına gelir. Tüm hesaplama aynı anda gerçekleşir.
MIT’nin protonik direnç tasarımı, oda sıcaklığında çalışır ve bu, beynimizin 38,5 ºC ila 40 ºC’den daha kolay elde edilmesinden daha kolaydır. Yine de, herhangi bir modern çipte gerekli bir özellik olan voltaj modülasyonuna izin vererek, giriş voltajının iş yükünün gereksinimlerine göre arttırılmasına veya azaltılmasına izin verir – bunun sonucunda güç tüketimi ve sıcaklık çıktısı üzerinde sonuçlar doğurur.
Araştırmacılara göre, dirençleri, silikon üretim teknikleriyle (sürpriz) uyumlu (sürpriz) bir inorganik malzeme olan fosfosilikat cam (PSG) ile inşa edildikleri için önceki nesil tasarımlardan bir milyon kat daha hızlı (yine gerçek bir rakam). , çünkü esas olarak silikon dioksit.
Bunu zaten kendiniz gördünüz: PSG, nemi çıkarmak için yeni donanım parçalarıyla birlikte gelen bu küçük torbalarda bulunan tozlu kurutucu malzemedir.
“Bu temel anlayış ve sahip olduğumuz çok güçlü nanofabrikasyon teknikleri ile MIT.nanobu parçaları bir araya getirebildik ve bu cihazların özünde çok hızlı olduğunu ve makul voltajlarla çalıştığını gösterebildik.” MIT’nin Elektrik Mühendisliği ve Bilgisayar Bilimi (EECS) Bölümü’nde Donner Profesörü olan kıdemli yazar Jesús A. del Alamo diyor. “Bu çalışma, bu cihazları gerçekten gelecekteki uygulamalar için gerçekten umut verici göründükleri bir noktaya getirdi.”
Tıpkı transistörlerde olduğu gibi, daha küçük bir alanda ne kadar fazla direnç varsa, hesaplama yoğunluğu o kadar yüksek olur. Belirli bir noktaya ulaştığınızda, bu ağ, görüntü tanıma ve doğal dil işleme gibi karmaşık AI görevlerini gerçekleştirmek için eğitilebilir. Ve tüm bunlar, azaltılmış güç gereksinimleri ve son derece artırılmış performans ile yapılır.
Belki de malzeme araştırması Moore Yasasını zamansız ölümünden kurtaracaktır.