Ancak Meta araştırmacıları, bir milyardan az parametreye sahip etkili SLM’lerin geliştirilebileceğine ve bunun benimsenmesinin önünü açacağına inanıyor. üretken AI Bir sunucu veya rafa kıyasla nispeten daha az hesaplama altyapısına sahip olan mobil cihazları içeren kullanım durumlarında.
Makaleye göre araştırmacılar, farklı şekilde tasarlanmış, 125 milyon ve 350 milyon parametreye sahip modellerle deneyler yaptılar ve genişlikten çok derinliğe öncelik veren daha küçük modellerin model performansını artırdığını buldular.
Araştırmacılar, “Veri ve parametre miktarının model kalitesini belirlemede oynadığı önemli role vurgu yapan yaygın inancın aksine, araştırmamız bir milyar doların altındaki ölçekli LLM’ler için model mimarisinin önemini vurguluyor” diye yazdı.