Bir öncüle ihtiyaç var. Yapay zeka modellerinin performansı doğrudan nicelikten etkilenir, aynı zamanda parametrelerinin kalitesi ve ince ayarından da etkilenir; bunlar iyi uyarlanırsa yapay zeka sistemlerinin doğruluğunu, verimliliğini ve güvenilirliğini önemli ölçüde artırabilir. Uygulamada parametreler, bir modelin anlayabileceği karmaşık talimatlardır ve piyasaya sürüldüğünde 175 milyar olan GPT3 gibi halihazırda piyasaya sürülen bazı LLM’lerde yüz milyarlarca parametre bulunur.
Kaç milyar parametreye ihtiyacınız var?
Daha küçük boyutlu, daha akıcı ve buluttaki karmaşık donanımlara daha az bağlı bir dilsel model oluşturma ihtiyacından yola çıkan araştırmacılar, sağduyulu akıl yürütme sunan bir model oluşturmak için gerçekten kaç parametrenin gerekli olduğunu kendilerine sordular ve yanıtın da belli olduğu görülüyor. küçük dil modellerinden oluşan yeni Phi-3 ailesiyle birlikte geldi. Phi-3-mini ile başlıyoruz (üç küçük dil modelinden oluşan bir serinin ilki, bunu kısa süre sonra 7 milyar parametreli Phi-3 Small ve 14 milyar parametreli Phi-3 Medium takip edecek), Büyük dil modellerinden önemli ölçüde daha küçük veri kümesi olduğundan çok daha güçlü diğer LLM’lerin yetenekleriyle eşleşebilir. Microsoft’un Azure AI platformu başkan yardımcısı Eric Boyd, The Verge’e Phi-3 Mini’nin Gpt-3.5 ile aynı yeteneklere “sadece daha küçük bir pakette” sahip olduğunu, aynı zamanda daha düşük sahip olma maliyetini ve en iyi şekilde çalışma yeteneğini garanti ettiğini söyledi. akıllı telefonlar ve dizüstü bilgisayarlar gibi daha az güçlü cihazlarda. Aralık ayında Phi-2’yi sunan Satya Nadella liderliğindeki devin mühendislik ekibi, yapay zekaya yönelik yeni, daha verimli ve akıllı bir yaklaşımı benimsediğini ve piyasadaki diğer modellerin en iyi maliyet-performans oranlarından biriyle daha iyi performans sergilediğini iddia ediyor. 10 kata kadar daha büyük modeller. Bunu başarmak için geliştiriciler, yapay zekayı ağdan toplanan milyonlarca veriyle doldurmak yerine, çocukların uyku vakti hikayelerinden, yani daha basit bir yapıya sahip kelimeler ve cümleler aracılığıyla öğrenme biçiminden ilham alan Phi-3’ü eğittiler. geniş kapsamlı konular hakkında konuşuyorlar. Boyd, “Ortalıkta yeterli sayıda çocuk kitabı yok, bu yüzden 3000’den fazla kelimeden oluşan bir liste aldık ve Yüksek Lisans’tan Phi’yi eğitmek için ‘çocuk kitapları’ oluşturmasını istedik” diyor. Bir modeli yayınlamadan önce Sorumlu Yapay Zeka ile ilgili olarak atılan tüm diğer adımlara ek olarak, sentetik verileri kullanan eğitim, Microsoft’un ek bir güvenlik katmanı eklemesine ve bunun gibi kötü amaçlı bir dilin sıklıkla kullanılmasıyla ilgili en yaygın sorunları azaltmasına olanak tanıdı. İnternetten alınan verilerle eğitilmiş modeller tarafından görüntülenir.
Phi3-mini’nin vaat ettikleri.
Microsoft’un yeni SML’sinin amacı, genel bilgiye dayalı yanıtlar sağlamak, problem çözme yeteneğinde belirgin bir gelişme ve daha yüksek düzeyde muhakeme sunmaktır. Phi-3 Mini’nin avantajı, bir akıllı telefonda yerel olarak çalışacak kadar kompakt olması, ancak yine de internet bağlantısına veya bulut erişimine ihtiyaç duymadan daha büyük modellerle rekabet edebilmesi ve bulut erişimi olmayan yerlerde yapay zekaya erişimi genişletmesidir. Yüksek Lisans’tan yararlanmak için gereken altyapı. En küçük dil modellerinin bile özellikle sınırlı kaynaklara sahip uygulamalarda kendine yer bulabileceğinin somut bir örneği. Daha düşük bilgi işlem gereksinimi sayesinde, özellikle bulutta LLM’ye sahip olamayan şirketler için daha uygundurlar. Microsoft, modeli yerel olarak çalıştırmanıza olanak tanıyan Phi-3’ü HuggingFace, Ollama ve Azure’da kullanıma sundu.
