Intel, kompakt yapay zeka modellerinin doğrudan Meteor Lake işlemcilerdeki NPU’larda çalıştırılmasına olanak tanıyan NPU Hızlandırma Kitaplığını açık kaynaklı hale getirdi.
Kitaplık Python ile yazılmıştır ve geliştiricilerin ürünlerini en yeni Intel işlemcilerin NPU’larında çalıştırarak geliştirmelerine yardımcı olmak için tasarlanmıştır. Kütüphane, herhangi bir bulut sunucusuna ihtiyaç duymadan Gemma-2b veya TinyLlama gibi kompakt dil modellerini doğrudan NPU üzerinde çalıştırmanıza olanak tanır. Aslında tam da bu yüzden işlemcilerde NPU donanım birimlerine ihtiyaç duyuluyor ve şu anda eksik olan da bu.
NPU ünitelerinin Intel Meteor Lake ve AMD Ryzen 7040/8040 işlemcilerde bulunduğunu hatırlatalım. Şimdilik bu bloklar çoğu kullanıcı için tamamen yararsızdır.