MediaTek Pazartesi günü yaptığı açıklamada, mobil platformlarının birçoğunu Microsoft’un Phi-3.5 yapay zeka (AI) modelleri için optimize ettiğini duyurdu. Phi-3.5 Uzman Karması (MoE), Phi-3.5 Mini ve Phi-3.5 Vision’dan oluşan Phi-3.5 serisi küçük dil modelleri (SLM’ler) Ağustos ayında piyasaya sürüldü. Açık kaynaklı yapay zeka modelleri Hugging Face’te kullanıma sunuldu. Tipik konuşma modelleri yerine bunlar, kullanıcıların istenen çıktıyı elde etmek için belirli talimatlar girmesini gerektiren talimat modelleriydi.
bir blog yazısıMediaTek, Dimenisty 9400, Dimensity 9300 ve Dimensity 8300 yonga setlerinin artık Phi-3.5 AI modelleri için optimize edildiğini duyurdu. Bununla, bu mobil platformlar, MediaTek’in sinirsel işleme birimlerini (NPU’lar) kullanarak cihaz içi üretken yapay zeka görevlerini verimli bir şekilde işleyebilir ve çıkarımları çalıştırabilir.
Belirli bir yapay zeka modeli için bir yonga setini optimize etmek, söz konusu modelin işlem gücünü, bellek erişim düzenlerini ve veri akışını verimli bir şekilde desteklemek için donanım tasarımını, mimarisini ve yonga setinin çalışmasını uyarlamayı içerir. Optimize edildikten sonra yapay zeka modeli, gecikmenin ve güç tüketiminin azaldığını ve verimin arttığını gösterecek.
MediaTek, işlemcilerinin yalnızca Microsoft’un Phi-3.5 MoE’si için değil, aynı zamanda çoklu dil desteği sunan Phi-3.5 Mini ve çok çerçeveli görüntü anlama ve akıl yürütme özelliğiyle gelen Phi-3.5 Vision için de optimize edildiğinin altını çizdi.
Özellikle Phi-3.5 MoE’nin 16×3.8 milyar parametresi vardır. Ancak iki uzman kullanıldığında bunların yalnızca 6,6 milyarı aktif parametrelerdir (tipik kullanım durumu). Öte yandan Phi-3.5’te 4,2 milyar parametre ve görüntü kodlayıcı bulunurken, Phi-3.5 Mini’de 3,8 milyar parametre bulunuyor.
Performans konusuna gelince Microsoft, Phi-3.5 MoE’nin bir metin bloğunu özetlerken okunabilirliği ve doğruluğu test eden SQuALITY testinde Gemini 1.5 Flash ve GPT-4o mini AI modellerinden daha iyi performans gösterdiğini iddia etti.
Geliştiriciler Hugging Face veya Azure AI Model Kataloğu aracılığıyla Microsoft Phi-3.5’ten doğrudan yararlanabilirken, MediaTek’in NeuroPilot SDK araç seti de bu SLM’lere erişim sunuyor. Çip üreticisi, ikincisinin, geliştiricilerin yukarıda belirtilen mobil platformlarda AI modellerini kullanarak üretken AI çıkarımı yapabilen optimize edilmiş cihaz içi uygulamalar oluşturmalarına olanak sağlayacağını belirtti.
