Intel’in Arc Alchemist GPU’ları, yakın zamanda tanıtıldığı gibi şirketin PyTorch uzantısı sayesinde Llama 2 gibi büyük dil modellerini çalıştırabilir. Blog yazısı. Hem Windows hem de Linux’ta çalışan Intel PyTorch Uzantısı, LLM’lerin Arc GPU’lardaki FP16 performansından yararlanmasına olanak tanır. Ancak Intel’in, Intel donanımında Llama 2’yi kullanmak için 14 GB VRAM’e ihtiyacınız olacağını söylediği göz önüne alındığında, bu muhtemelen Arc A770 16 GB kart isteyeceğiniz anlamına geliyor.
PyTorch, daha sonra LLM’ler üzerinde çalışmak için kullanılabilecek, makine öğrenimi için Meta tarafından geliştirilen açık kaynaklı bir çerçevedir. Bu yazılım kutudan çıktığı haliyle çalışsa da, varsayılan olarak her donanım parçasından tam olarak yararlanacak şekilde kodlanmamıştır; bu nedenle Intel’in kendi özel yazılımı vardır. PyTorch uzantısı. Bu yazılım, Arc GPU’ların içindeki XMX çekirdeklerinden yararlanmak üzere tasarlandı ve ilk sürümü Ocak 2023’te görüldü. Benzer şekilde hem AMD hem de Nvidia, optimizasyon amacıyla PyTorch için optimizasyonlara sahiptir.
Intel, blog yazısında, Aralık ayında çıkan ve özel olarak FP16 performansını optimize eden Intel’in PyTorch uzantısına yönelik en son güncellemeyi kullanarak Arc A770 16GB’nin Llama 2’deki performans yeteneklerini gösteriyor. FP16 veya yarı duyarlı kayan nokta verileri, performansı performansla değiştirir; bu da genellikle yapay zeka iş yükleri için iyi bir tercihtir.
Demoda Llama 2 ve diyalog odaklı Llama 2-Chat LLM’ler gösteriliyor ve “derin öğrenmenin insanlar gibi genelleme yeteneği olabilir mi?” gibi sorular soruluyor. Buna yanıt olarak LLM şaşırtıcı derecede mütevazı davrandı ve derin öğrenmenin insan zekasıyla aynı seviyede olmadığını söyledi. Ancak Llama 2 gibi LLM’leri FP16 hassasiyetiyle çalıştırmak için Intel’e göre 14 GB VRAM’e ihtiyacınız olacak ve ayrıca girişlere ve sorgulara ne kadar hızlı yanıt verdiğine dair herhangi bir rakam alamadık.
Bu demo yalnızca FP16 performansını gösterirken Arc Alchemist ayrıca BF16, INT8, INT4 ve INT2 özelliklerine de sahiptir. Bu diğer veri formatlarından BF16 özellikle dikkat çekicidir; çünkü daha geniş sayısal aralığı sayesinde AI iş yükleri için genellikle daha iyi olduğu düşünülür; sekiz bitlik FP32 ile aynı seviyedeyken FP16’da yalnızca beş bit vardır. BF16 performansını optimize etmek Intel’in bir sonraki PyTorch eklenti güncellemesi listesinde üst sıralarda yer alabilir.