Bir CPU var. Bir GPU var. Geçtiğimiz yıl her teknoloji şirketi “NPU’lardan” bahsediyordu. İlk ikisini bilmiyorsanız, muhtemelen üçüncüsü ve neden her teknoloji endüstrisinin sinirsel işlem biriminin faydalarını övdüğü konusunda şaşkına dönmüşsünüzdür. Tahmin edebileceğiniz gibi, bunların hepsi yapay zeka etrafında devam eden heyecan döngüsünden kaynaklanıyor. Ancak yine de teknoloji şirketleri bu NPU’ların ne yaptığını veya neden umursamanız gerektiğini açıklamakta oldukça başarısız oldu.
Herkes AI pastasından bir parça istiyor. Google “AI” dedi bu ay boyunca 120’den fazla kez G/Ç geliştirici konferansıYeni AI uygulamalarının ve asistanlarının sunduğu olanaklar, sunucularını adeta mest etti. Son zamanlardaki Konferans oluşturun, Microsoft, Qualcomm Snapdragon X Elite ve X Plus kullanan yeni ARM tabanlı Copilot+ bilgisayarlarıyla ilgileniyordu. Her iki CPU da 45 TOPS’lu bir NPU sunmaya devam edecek. Bu ne anlama gelir? Yeni bilgisayarların cihaz içi yapay zekayı desteklemesi gerekiyor. Ancak düşündüğünüzde, Microsoft ve Intel’in geçen yılın sonlarında sözde “Yapay Zeka Bilgisayarı.”
Bu yıl, cihaz içi yapay zeka vaadiyle Intel Core Ultra çipli yeni bir dizüstü bilgisayar satın aldıysanız, muhtemelen geride kalmaktan pek memnun değilsiniz. Microsoft, Gizmodo’ya yalnızca Copilot+ PC’lerin erişebileceğini söyledi Geri Çağırma gibi yapay zeka tabanlı özellikler “Onları çalıştıran çipler yüzünden.”
Ancak ünlü sızıntının ardından bazı tartışmalar yaşandı. Albacore Recall’ı başka bir ARM64 tabanlı bilgisayarda NPU’ya güvenmeden çalıştırabileceklerini iddia etti. Yeni dizüstü bilgisayarlar henüz mevcut değil, ancak yeni AI özelliklerinin sinir işlemcileri üzerinde ne kadar baskı oluşturduğunu bekleyip görmemiz gerekecek.
Ancak NPU’larda neler olup bittiğini ve neden Apple’dan Intel’e ve küçük PC girişimlerine kadar herkesin onlar hakkında konuştuğunu gerçekten merak ediyorsanız, sizi bilgilendirmek için bir açıklayıcı hazırladık.
NPU ve ‘TOPS’un açıklanması
Bu nedenle öncelikle arka planda çalışan kişilere normal bilgisayarınızın bilgi işlem yeteneklerinin kısa bir özetini sunmalıyız. CPU veya “merkezi işlem birimi”, esas olarak, kullanıcının görevlerinin çoğunu işleyen bilgisayarın “beynidir”. GPU veya “grafik işleme birimi”, 3 boyutlu bir nesneyi işlemek veya video oyunu oynamak gibi büyük miktarda veri gerektiren görevleri yerine getirmek için daha uzmanlaşmıştır. GPU’lar bilgisayarın içinde ayrı bir birim olabilir veya CPU’nun içinde paketlenmiş olarak gelebilirler.
Bu sayede NPU, uzmanlaşmış yapısı itibarıyla GPU’ya daha yakın ancak merkezi veya grafik işlem birimi dışında ayrı bir sinir işlemcisini en azından şimdilik bulamazsınız. Makine öğrenimi algoritmalarına özgü matematiksel hesaplamaları gerçekleştirmek için tasarlanmış bir işlemci türüdür. Bu görevler “paralel olarak” işlenir, yani istekler daha küçük görevlere bölünür ve ardından eş zamanlı olarak işlenir. Diğer sistemlerin herhangi bir işlemcisinden yararlanmadan sinir ağlarının yoğun taleplerini karşılamak üzere özel olarak tasarlanmıştır.
NPU hızını değerlendirme standardı TOPS veya “saniyede trilyonlarca işlem” cinsindendir. Şu anda büyük teknoloji şirketlerinin sinirsel işleme yeteneklerini birbirleriyle karşılaştırmasının tek yolu bu. Bu aynı zamanda işlem hızlarını karşılaştırmanın inanılmaz derecede azaltıcı bir yoludur. CPU’lar ve GPU’lar, çekirdek sayılarından ve türlerinden genel saat hızlarına veya terafloplara kadar birçok farklı karşılaştırma noktası sunar ve bu bile çip mimarisiyle ilgili komplikasyonların yüzeyini çizmez. Qualcomm açıklıyor TOPS, sinir işlemcilerinin hızını ve doğruluğunu birleştiren hızlı ve kirli bir matematik denklemidir.
Belki bir gün, CPU’lar veya GPU’larla aynı ayrıntı düzeyine sahip NPU’lara bakacağız, ancak bu ancak mevcut AI heyecan döngüsünü aştıktan sonra gelebilir. Ve o zaman bile, işlemcilere ilişkin bu tanımlamaların hiçbiri kesin değildir. Temel olarak GPU ve NPU yeteneklerinin birleşiminden oluşan GPNPU’lar fikri de var. Çok yakında, daha küçük yapay zeka özellikli bilgisayarların yeteneklerini yüzlerce, hatta binlerce TOPS’u işleyebilecek daha büyük bilgisayarlarla ayırmamız gerekecek.
NPU’lar Birkaç Yıldır Hem Telefonlarda hem de Bilgisayarlarda Var
Çoğu kişi veya şirket bunu umursamadan çok önce telefonlar da NPU’ları kullanıyordu. Google, NPU’lardan ve yapay zeka yeteneklerinden çok eski zamanlara kadar bahsetmişti. Piksel 2. Çin merkezli Huawei ve Asus, 2017’deki gibi telefonlarda NPU’ları piyasaya sürdü Mate 10 ve 2018 Zenphone 5. O zamanlar her iki şirket de yapay zeka yeteneklerini her iki cihazda da geliştirmeye çalışıyordu; ancak müşteriler ve incelemeciler, bunların yetenekleri konusunda bugüne göre çok daha şüpheciydi.
Aslında günümüzün NPU’ları altı ya da sekiz yıl öncesine göre çok daha güçlü; ancak eğer dikkat etmeseydiniz, bu cihazların çoğunun sinirsel kapasitesi gözünüzden kaçardı.
Bilgisayar çipleri, 2023’ten önce de yıllardır nöral işlemcileri kullanıyordu. Örneğin, şirketin tescilli ARC tabanlı çipleri olan Apple’ın M serisi CPU’ları, 2020’de zaten nöral yetenekleri destekliyordu. M1 çipinde 11 TOPS, M2 ve M3’te ise 15,8 TOPS vardı. ve sırasıyla 19 TOPS. Bu sadece Yeni iPad Pro 2024’ün içindeki M4 çipi Apple, en son sinir motorunun 38 TOPS hızıyla övünmesi gerektiğine karar verdi. Peki hangi iPad Pro AI uygulamaları bu yeni yetenekten gerçekten yararlanıyor? Dürüst olmak gerekirse çok değil. Belki birkaç hafta sonra daha fazlasını göreceğiz WWDC 2024ama mecbur kalacağız bekle ve gör.
NPU’lara Yönelik Mevcut Takıntı, Parça Donanım ve Parça Aldatmacasıdır
NPU’nun arkasındaki fikir, cihazdaki AI çalıştırma yükünü CPU veya GPU’dan alabilmesi ve kullanıcıların, ister AI sanat jeneratörleri ister sohbet robotları olsun, bilgisayarlarını yavaşlatmadan AI programlarını çalıştırabilmelerine olanak sağlamasıdır. Sorun şu ki, hepimiz hala artan yapay zeka yeteneklerini kullanabilecek tek gerçek yapay zeka programını arıyoruz.
Gizmodo geçen yıl büyük yonga üreticileriyle görüşmelerde bulundu ve sürekli duyduğumuz şey donanım üreticilerinin bir kez olsun yazılım talebini geride bıraktıklarını hissetmeleri. Uzun süre tam tersi oldu. Yazılım üreticileri, tüketiciye yönelik donanımlarda mevcut olanın sınırlarını zorlayacak ve çip üreticilerini yetişmeye zorlayacaktır.
Ancak 2023’ten beri yalnızca cihazda çalışabilen bazı marjinal yapay zeka uygulamalarını gördük. Qualcomm’un veya Intel’in çiplerinin yapay zeka yeteneklerinin çoğu demosu genellikle Yakınlaştırma arka plan bulanıklaştırma özelliğinin çalıştırılmasını içerir. Son zamanlarda şirketlerin NPU’larını Audacity gibi mevcut uygulamalarda AI müzik üreteci modeli Riffusion ile veya OBS Studio’da canlı altyazılarla karşılaştırdığını gördük. Elbette, cihaz üzerinde çalışabilen sohbet robotları çalıştıran bazı uygulamalar bulabilirsiniz, ancak daha az yetenekli, daha az incelikli bir LLM, herkesin en yeni akıllı telefonu veya “AI PC”yi satın almak için koşmasına neden olacak devasa bir uygulama gibi hissettirmiyor. ”
Bunun yerine Gemini Nano’nun açık olduğu nispeten basit uygulamalarla sınırlıyız. Piksel telefonlarbeğenmek metin ve ses özetleri. Google’ın yapay zekasının en küçük versiyonu Pixel 8’e geliyor ve Piksel 8a. Samsung’un bir zamanlar Galaxy S24’e özel olan yapay zeka özellikleri halihazırda eski telefonlara doğru yol aldılar ve yakında gelmeli şirketin giyilebilir ürünleri. Bu yapay zeka yeteneklerinin hızını eski cihazlarla karşılaştırmadık ancak bu, 2021’e kadar uzanan eski cihazların zaten çok fazla sinirsel işleme kapasitesine sahip olduğunu gösteriyor.
Cihazdaki yapay zeka, tüketici ürünlerine yönelik işlem gücünün eksikliği nedeniyle hala engel teşkil ediyor. Microsoft, OpenAi ve Google’ın yüzlerce gelişmiş yapay zekayı destekleyen büyük veri merkezlerini çalıştırması gerekiyor Nvidia’dan GPU’larH100 gibi (Microsoft ve diğerleri bildirildiğine göre kendi AI çipleri üzerinde çalışıyorlar), daha gelişmiş LLM’lerden bazılarını veya sohbet robotlarını aşağıdaki gibi modellerle işlemek için İkizler İleri Düzey veya GPT 4o. Bu her iki açıdan da ucuz değil para veya gibi kaynaklar güç Ve suancak bu nedenle, daha gelişmiş yapay zeka tüketicilerinin bunun için para ödeyebildiği çoğu şey bulutta çalışıyor. Cihazda yapay zekanın çalıştırılması kullanıcılara ve çevreye fayda sağlar. Şirketler tüketicilerin en yeni ve en iyi yapay zeka modellerini talep ettiğini düşünürse yazılım, tüketiciye yönelik bir cihazda mümkün olanın ötesine geçmeye devam edecektir.