Intel nihayet NPU Hızlandırma kitaplığını “açık kaynak” haline getirerek geliştiricilerin ve meraklıların uygulamalarını Intel’in yapay zeka motorlarıyla en iyi şekilde çalışacak şekilde ayarlamalarına olanak tanıdı.
Intel’in NPU Kitaplıklarını Açık Kaynak Kullanımı, Özel Yapay Zeka Motorlarının Önünde Harika Bir Geleceğe Sahip Olduğunu Ortaya Çıkarıyor
Haber, ilk etapta firmanın yeni açık kaynak kütüphanesini açıklayan Intel’in Teknoloji Evangelisti Tony Mongkolsmai’den geliyor.
Bu adımla NPU hızlandırma kütüphanesi, geliştiricilerin Meteor Lake “Core Ultra” serisi gibi CPU serilerinde bulunan NPU’lardan faydalanmasına yardımcı olacak. Python’u temel alır ve üst düzey bir arayüz sağlayarak geliştirmeyi basitleştirir ve TensorFlow ve PyTorch gibi popüler çerçeveleri destekleyerek geliştiricilere, yapay zeka ile ilgili görevleri daha verimli hale getirmek için kütüphanenin yeteneklerinden yararlanma gücü verir.
Soru soran geliştiriciler yeni açık kaynaklı Intel NPU Hızlandırma kitaplığına göz atın. Bunu az önce MSI Prestige 16 AI Evo makinemde denedim (bu sefer Windows var ama kütüphane Linux’u da destekliyor) ve GitHub belgelerini takip ederek TinyLlama’yı çalıştırabildim… pic.twitter.com/UPMujuKGGT
— Tony Mongkolsmai (@tonymongkolsmai) 1 Mart 2024
Tony, NPU hızlandırma kitaplığını Intel Core Ultra CPU’lara sahip MSI Prestige 16 AI Evo dizüstü bilgisayarda çalıştırıyordu. TinyLlama ve Gemma-2b-it LLM modellerini makinede performans kesintileri olmadan çalıştırabiliyordu, bu da Intel’in NPU’larındaki potansiyelin büyülendiğini ve geliştiriciler için uç yapay zeka ortamını nasıl teşvik ettiklerini gösteriyor. Intel geliştirme ekibi kitaplığı şu şekilde tanımlıyor:
Intel NPU Hızlandırma Kitaplığı, uyumlu donanım üzerinde yüksek hızlı hesaplamalar gerçekleştirmek için Intel Sinir İşleme Biriminin (NPU) gücünden yararlanarak uygulamalarınızın verimliliğini artırmak üzere tasarlanmış bir Python kitaplığıdır.
Kütüphanenin performansını önemli ölçüde iyileştirme arayışımızda, çabalarımızı aşağıdakiler de dahil olmak üzere bir dizi temel özelliği uygulamaya yönlendiriyoruz:
- 8 bit niceleme
- 4-bit Niceleme ve GPTQ
- NPU-Yerel karma hassas çıkarım
- Float16 desteği
- BFloat16 (Beyin Kayan Nokta Formatı)
torch.compileDestek- LLM MLP yatay füzyon uygulaması
- Statik şekil çıkarımı
- MHA NPU çıkarımı
- NPU/GPU hetero hesaplama
- Kağıt
NPU hızlandırma kütüphanesinin açık kaynak haline getirildiğini görmek harika çünkü bu, sonuçta Intel’in özel yapay zeka motorlarında çalışan yapay zeka uygulamalarının gelişmiş bir şekilde uygulanmasına yol açacak. Bu tür motorlarda gelecekte ne tür gelişmeler göreceğimizi görmek ilginç olacak çünkü bizzat Tony’nin de belirttiği gibi tüketiciler ve geliştiriciler için pek çok şey var.
Haber kaynağı: Tony Mongkolsmai