Microsoft, şirketin piyasaya sürmeyi planladığı üç küçük modelden ilki olan hafif yapay zeka modeli Phi-3 Mini’nin bir sonraki sürümünü piyasaya sürdü.
Phi-3 Mini 3,8 milyar parametre ölçer ve diğerlerine göre daha küçük bir veri seti üzerinde eğitilir GPT-4 gibi büyük dil modelleri. Artık Azure, Hugging Face ve Ollama’da mevcut. Microsoft, Phi-3 Small (7B parametreleri) ve Phi-3 Medium’u (14B parametreleri) piyasaya sürmeyi planlıyor. Parametreler, bir modelin kaç tane karmaşık talimatı anlayabildiğini ifade eder.
Şirket, Aralık ayında Llama 2 gibi daha büyük modeller kadar iyi performans gösteren Phi-2’yi piyasaya sürdü. Microsoft, Phi-3’ün önceki sürümden daha iyi performans gösterdiğini ve kendisinden 10 kat daha büyük bir modele yakın yanıtlar verebildiğini söylüyor.
Microsoft Azure Yapay Zeka Platformu kurumsal başkan yardımcısı Eric Boyd şunları söylüyor: Sınır Phi-3 Mini, “sadece daha küçük bir form faktöründe” GPT-3.5 gibi Yüksek Lisans’lar kadar yeteneklidir.
Daha büyük benzerleriyle karşılaştırıldığında küçük yapay zeka modelleri kişisel olarak çalıştırmak genellikle daha ucuzdur ve daha iyi performans gösterir telefonlar ve dizüstü bilgisayarlar gibi cihazlar. Bilgi Bu yılın başlarında Microsoft’un özellikle daha hafif yapay zeka modellerine odaklanan bir ekip kurduğunu bildirmişti. Şirket, Phi ile birlikte matematik problemlerini çözmeye odaklanan bir model olan Orca-Math’i de geliştirdi.
Boyd, geliştiricilerin Phi-3’ü bir “müfredat” ile eğittiğini söylüyor. Çocukların uyku öncesi hikayelerinden, daha basit kelimeler içeren kitaplardan ve daha büyük konulardan bahseden cümle yapılarından nasıl öğrendiklerinden ilham aldılar.
Boyd, “Ortalıkta yeterince çocuk kitabı yok, bu yüzden 3000’den fazla kelimeden oluşan bir liste aldık ve Yüksek Lisans’tan Phi’yi öğretmek için ‘çocuk kitapları’ hazırlamasını istedik” diyor.
Phi-3’ün önceki yinelemelerin öğrendiklerinin üzerine inşa edildiğini ekledi. Phi-1 kodlamaya odaklanırken ve Phi-2 akıl yürütmeyi öğrenmeye başlarken, Phi-3 kodlama ve akıl yürütmede daha iyidir. Phi-3 model ailesi bazı genel bilgileri bilse de, genişlik açısından GPT-4’ü veya başka bir LLM’yi geçemez; internetin tamamı konusunda eğitim almış bir LLM’den alabileceğiniz yanıtlar ile bir yüksek lisans mezunundan alabileceğiniz yanıtlar arasında büyük bir fark vardır. Phi-3 gibi daha küçük model.
Boyd, şirketlerin genellikle Phi-3 gibi daha küçük modellerin kendi özel uygulamaları için daha iyi sonuç verdiğini bulduğunu, çünkü birçok şirket için dahili veri setlerinin zaten daha küçük tarafta olacağını söylüyor. Ve bu modeller daha az bilgi işlem gücü kullandığından genellikle çok daha uygun maliyetlidirler.