Kaliforniya ve Sidney Üniversitelerinden bir araştırmacı ekibi, yeni, gümüş nanotel tabanlı bir yaklaşım yaratarak yapay sinir ağlarının muazzam güç tüketimini engellemeye çalıştı. Özellikleri sayesinde gümüş nanotel – insan saçının yaklaşık binde biri genişliğinde nanoyapılar – ve ağlarının biyolojik CPU’larda (beyinde) bulunanlarla benzerliği sayesinde araştırma ekibi, yapay zeka işleme görevlerinde çok daha düşük enerji tüketimiyle sonuçlanan bir nöromorfik hızlandırıcı oluşturmayı başardı. . Çalışma Nature Communications dergisinde yayınlandı.
Nanotel Ağları (NWN’ler), atomik şekillerinin doğal olarak sinir ağı benzeri bir fiziksel yapıya sahip olması nedeniyle nanoyapılı malzemelerin (grafen, XMenes ve diğer, çoğunlukla hala geliştirilmekte olan teknolojileri düşünün) ortaya çıkan özelliklerini araştırıyor. önemli ölçüde birbirine bağlı ve anımsatıcı unsurlara sahiptir. Hem bir uyarana (bu durumda elektrik) yanıt olarak desenlerini değiştirebilen, hem de o uyaran gittiğinde (örneğin, Kapalı düğmesine bastığınızda) bu modeli koruyabilen yapılara sahip olması anlamında anımsatıcıdır.
Makale aynı zamanda bu nanotel ağlarının (NWN’ler) “hatırlamalı anahtarlama ile tekrarlayan ağ yapıları arasındaki etkileşimden kaynaklanan beyin benzeri kolektif dinamikleri (örneğin, faz geçişleri, anahtar senkronizasyonu, çığ kritikliği) nasıl sergilediğini” de açıklıyor. Bunun anlamı, bu NWN’lerin bilgi işlem cihazları olarak kullanılabileceğidir, çünkü girdiler organizasyonlarında ve elektro-kimyasal bağ devrelerinde deterministik olarak değişiklikleri tetikler (tıpkı bir x86 CPU’ya gönderilen bir talimatın bir dizi işlemle sonuçlanması gibi). öngörülebilir operasyonlar).
Gerçek Zamanlı Öğrenme
Nanowire Ağları ve diğer RC uyumlu çözümler aynı zamanda yapay zeka için temel olarak önemli bir yeteneğin kilidini açar: sürekli, dinamik eğitim. Günümüzün yapay zeka sistemleri, farklı “sürümler” veya gruplar (Chat GPT’nin v3.5 ve 4’ü, Anthropic’in Claude ve Claude II’si, Llama ve Llama II’si gibi) arasında uzun süreli veri doğrulama, parametrelendirme, eğitim ve hizalama gerektirirken, Araştırmacının gümüş NWN’si gibi RC odaklı bilgi işlem yaklaşımları, hem hiper parametreleştirmeyi ortadan kaldırma hem de bilgi alanlarındaki uyarlanabilir, kademeli değişimin kilidini açma yeteneğinin kilidini açar.
Bu, her yeni veri parçasıyla birlikte genel sistem ağırlıklarının uyum sağladığı anlamına gelir: Ağ, onu kullanışlılığa yönlendirmek istediğimizde, aynı veriler üzerinde tekrar tekrar eğitilmeye ve yeniden eğitilmeye gerek kalmadan öğrenir. Çevrimiçi öğrenme, dinamik veri akışı yaklaşımı sayesinde gümüş NWN, el yazısıyla yazılan rakamları tanımayı ve belirli bir desenden önceden tanınan el yazısı rakamları hatırlamayı kendi kendine öğretebildi.
Bir kez daha, hız kadar doğruluk da bir gerekliliktir; sonuçların kanıtlanabilir ve belirleyici olması gerekir. Araştırmacılara göre, gümüş tabanlı NWN’leri, MNIST el yazısıyla yazılmış rakamlardan oluşan veri kümesini kullanarak, hafıza hatırlama görevlerini karşılaştırmalı görüntü tanıma görevine göre sıralama yeteneğini gösterdi ve genel olarak %93,4’lük bir doğruluğa ulaştı. Araştırmacılar, çevrimiçi öğrenme teknikleri aracılığıyla ölçülen “nispeten yüksek sınıflandırma doğruluğunu” yinelemeli en küçük karelere (RLS) dayalı yinelemeli algoritmaya bağlıyorlar.
Biyolojik Büyük Hareket
Biyolojik işlem birimlerinin hala yapay (sentetik) muadillerinden kilometrelerce önde olduğu bir alan varsa, o da enerji verimliliğidir. Bu kelimeleri okuyup internette gezinirken ve hayatınızı değiştirecek kararlar alırken, çok daha az watt tüketiyorsunuz (yaklaşık 20 W) bu kavramları dünyanın güç açısından en verimli süper bilgisayarlarından bile daha fazla işleyebilir, yönetebilir ve çalıştırabilir.
Bunun bir nedeni, sabit işlevli donanımın mevcut yapay zeka hızlandırma çözümlerimize entegre edilebilmesine rağmen (örneğin, Nvidia’nın A100 ve H100 ürün aileleriyle güçlü pazar hakimiyeti), biz hala bu sabit işlevli donanımı bir çözüme ekliyoruz. temel çip sınıfı (son derece paralel ancak merkezi olarak kontrol edilen GPU’lar).
Belki de bunu şu şekilde düşünmek faydalı olabilir: Her problemin bir takım çözümleri vardır ve bu çözümlerin tümü hesaplamalı bir balonun eşdeğeri dahilinde mevcuttur. Çözüm uzayının kendisi, onu tutan balonun boyutuna ve kalitesine göre küçülür veya artar.
Mevcut yapay zeka işleme, temel olarak, nöronlarımız olan olası çözümlerin (birleşik bellek ve işleme kümeleri aracılığıyla) çapraz, 3 boyutlu haritasını, düzeltmemiz gereken iş yüklerini (çözümleri) mekansal olarak temsil etmek için inanılmaz miktarda enerji harcaması gereken bir 2 boyutlu Turing makinesine öykünür. bulmalıyız. Çözüm alanında verimli ve doğru bir şekilde gezinmek ve bu alanda çalışmak söz konusu olduğunda bu gereksinimler doğal olarak artar.
Yalnızca üretim süreci iyileştirmeleri ve akıllı güç tasarrufu teknolojileri yoluyla düzeltilemeyen bu temel enerji verimliliği sınırlaması, alternatif yapay zeka işleme tasarımlarının (Çin’den analog ve optik ACCEL gibi) ortaya çıkmasının nedenidir. mevcut, raflardaki donanıma göre çok daha iyi performans ve en önemlisi enerji verimliliği sağladı.
Nöromorfik nanotel ağlarını kullanmanın faydalarından biri, bunların doğal olarak çalışma konusunda becerikli olmalarıdır. Rezervuar Hesaplama (RC) – günümüzün Nvidia A100 ve H100’lerinde kullanılan tekniğin aynısı. Ancak bu kartların bir ortamı simüle etmesi gerekirken (3 boyutlu çözüm alanının algoritmik bir emülasyonunu çalıştırma yeteneğine sahiptirler), amaca yönelik oluşturulmuş NWN’ler bu üç boyutlu bilgi işlem ortamlarını yerel olarak çalıştırabilir; bu, yapay zeka işleme görevlerinin iş yükünü büyük ölçüde azaltan bir tekniktir. . Rezervuar Bilgi İşlem, eğitimin yeni eklenen bilgilerin entegrasyonuyla uğraşmasına gerek kalmamasını sağlar; bunlar bir öğrenme ortamında otomatik olarak işlenir.
Gelecek Yavaş Geliyor
Bu, bir Nanowire Ağının yerleşik bir makine öğrenimi karşılaştırmasına göre deneysel olarak çalıştırıldığı bildirilen ilk örnektir; bu nedenle keşif ve optimizasyon alanı hala büyüktür. Bu noktada, sonuçlar son derece cesaret vericidir ve diğer ortamlarda Rezervuar Bilgi İşlem yeteneklerinin kilidini açmaya yönelik farklı bir yaklaşım geleceğine işaret etmektedir. Makalenin kendisi, çevrimiçi öğrenme yeteneğinin (yeni verileri, maliyetli yeniden eğitim gerekliliği olmadan alındığında entegre etme yeteneği) bazı yönlerinin, bir çapraz nokta direnç dizisi aracılığıyla tamamen analog bir sistemde uygulanabilmesi olasılığını açıklamaktadır. dijital olarak bağlı bir algoritma uygulamak. Dolayısıyla hem teorik hem de materyal tasarım alanı hala bir dizi potansiyel, gelecekteki keşif mekanını kapsamaktadır.
Dünya yapay zeka hızlandırmasına, Nvidia A100’lere, AMD’nin ROCm’ye geri dönüşüne ve Intel’in mücadeleye adım atmasına susamış durumda. Yüksek Performanslı Bilgi İşlem (HPC), bulut, kişisel bilgi işlem (ve kişiselleştirilmiş oyun geliştirme), uç bilgi işlem ve bireysel özgür, mavna benzeri ulus devletler genelinde, şu anda yöneldiğimiz şekilde dağıtılacak yapay zeka sistemlerine yönelik gereksinimler yalnızca artacaktır. Bu ihtiyaçların, Nvidia’nın A100 hızlandırıcılarından az stoklanmış ve onaylanmış H100 sürümüne geçerken çığırtkanlığını yaptığı 8 kat yapay zeka çıkarım performansı iyileştirmeleriyle sürdürülmesi pek mümkün değil. ACCEL’in A100’ün performansının 3,7 katını çok daha iyi bir verimlilikle vaat ettiği göz önüne alındığında, bir sonraki büyük performans atılımına, yani kaç yıl sonrasına bakmaya başlamanın tam zamanı gibi görünüyor.