Her yönüyle, son derece genelleştirilebilir üretken yapay zeka modelleri bir zamanlar oyunun adıydı ve muhtemelen hâlâ da öyledir. Ancak, büyük ve küçük bulut satıcıları üretken yapay zeka mücadelesine katıldıkça, giderek daha fazla bütçesi kısıtlı potansiyel müşterilere, yani şirketlere odaklanan yeni bir model grubu görüyoruz.
Örnek olarak: Bulut bilişim şirketi Snowflake, bugün “kurumsal düzeyde” olarak tanımlanan üretken bir yapay zeka modeli olan Arctic LLM’yi tanıttı. Snowflake, Apache 2.0 lisansı altında sunulan Arctic LLM’nin, veritabanı kodu oluşturma da dahil olmak üzere “kurumsal iş yükleri” için optimize edildiğini ve araştırma ve ticari kullanım için ücretsiz olduğunu söylüyor.
CEO Sridhar Ramaswamy basın toplantısında şunları söyledi: “Sanırım bu, bizim (Snowflake) ve müşterilerimizin kurumsal düzeyde ürünler oluşturmasına ve yapay zekanın vaatlerini ve değerini gerçekten fark etmeye başlamamıza olanak sağlayacak temel olacak.” “Bunu, üretken yapay zeka dünyasındaki ilk ama büyük adımımız olarak düşünmelisiniz ve daha pek çok şey gelecek.”
Bir kurumsal model
Meslektaşım Devin Coldewey yakın zamanda üretken yapay zeka modellerinin saldırısının görünürde bir sonu olmadığını yazdı. Makalesini okumanızı öneririm, ancak işin özü şu: Modeller, satıcıların Ar-Ge heyecanını artırmanın kolay bir yoludur ve aynı zamanda ürün ekosistemlerine (örneğin, model barındırma, ince ayar vb.) yönelik bir huni görevi görür. .
Arctic LLM’de de durum farklı değil. Snowflake’in amiral gemisi modeli Arctic adı verilen üretken yapay zeka modelleri ailesiEğitimi yaklaşık üç ay, 1.000 GPU ve 2 milyon dolar süren Arctic LLM, yine kurumsal alan için optimize edilmiş olarak pazarlanan üretken bir yapay zeka modeli olan Databricks’in DBRX’inin hemen ardından geliyor.
Snowflake, basın materyallerinde Arctic LLM ile DBRX arasında doğrudan bir karşılaştırma yapıyor ve Arctic LLM’nin iki kodlama görevinde DBRX’ten daha iyi performans gösterdiğini söylüyor (Snowflake hangi programlama dillerini belirtmedi) ve SQL nesil. Şirket, Arctic LLM’nin bu görevlerde Meta’nın Llama 2 70B’sinden (ancak daha yeni Llama 3 70B değil) ve Mistral’in Mixtral-8x7B’sinden daha iyi olduğunu söyledi.
Snowflake ayrıca Arctic LLM’nin popüler bir genel dil anlama kriteri olan MMLU’da “öncü performans” elde ettiğini iddia ediyor. Ancak şunu da belirtmeliyim ki MMLU üretken modellerin mantık problemleriyle akıl yürütme yeteneğini değerlendirmeyi iddia ediyor, ezberleme yoluyla çözülebilecek testleri içeriyor, bu yüzden bu maddeyi biraz ihtiyatlı alın.
Snowflake Yapay Zeka Başkanı Barış Gültekin, TechCrunch’a bir röportajda şunları söyledi: “Arctic LLM, kurumsal sektördeki belirli ihtiyaçları karşılıyor.” “Şiir yazmak gibi genel yapay zeka uygulamalarından ayrılarak SQL ortak geliştirme gibi kurumsal odaklı zorluklara odaklanıyoruz.” pilotlar ve yüksek kaliteli sohbet robotları.”
Arctic LLM, DBRX ve Google’ın şu anda en iyi performans gösteren üretken modeli Gemini 1.5 Pro gibi, uzmanların (MoE) mimarisinin bir karışımıdır. MoE mimarileri temel olarak veri işleme görevlerini alt görevlere ayırır ve daha sonra bunları daha küçük, uzmanlaşmış “uzman” modellere devreder. Yani Arctic LLM 480 milyar parametre içerse de tek seferde yalnızca 17 milyar parametreyi etkinleştiriyor; bu da 128 ayrı uzman modeli çalıştırmaya yetiyor. (Parametreler esas olarak bir yapay zeka modelinin bir soruna ilişkin metin analiz etme ve oluşturma gibi becerilerini tanımlar.)
Snowflake, bu verimli tasarımın Arctic LLM’yi halka açık web veri setleri (dahil olmak üzere) üzerinde eğitmesine olanak sağladığını iddia ediyor Rafine Web, C4, KırmızıPijama Ve Yıldız Kodlayıcı) “benzer modellerin maliyetinin yaklaşık sekizde biri.”
Her yere koşuyorum
Snowflake, kullanıcılara modeli kurma ve çalıştırma ve belirli kullanım durumları için ince ayar yapma sürecinde rehberlik etmek amacıyla Arctic LLM’nin yanı sıra kodlama şablonları ve eğitim kaynaklarının bir listesi gibi kaynaklar da sağlıyor. Ancak bunların çoğu geliştirici için muhtemelen maliyetli ve karmaşık girişimler olacağının bilincinde olarak (Arctic LLM’nin ince ayarını yapmak veya çalıştırmak yaklaşık sekiz GPU gerektirir), Snowflake ayrıca Arctic LLM’yi Hugging Face, Microsoft Azure dahil olmak üzere bir dizi ana bilgisayarda kullanılabilir hale getirme taahhüdünde bulunuyor. , Yapay Zekanın model barındırma hizmeti ve kurumsal üretken Yapay Zeka platformu Lamini bir arada.
Ancak sorun şu: Arctic LLM mevcut olacak Birinci Snowflake’in yapay zeka ve makine öğrenimi destekli uygulamalar ve hizmetler oluşturmaya yönelik platformu Cortex’te. Şirketin bunu Arctic LLM’yi “güvenlik”, “yönetişim” ve ölçeklenebilirlik ile çalıştırmanın tercih edilen yolu olarak öne sürmesi şaşırtıcı değil.
“Buradaki hayalimiz, bir yıl içinde müşterilerimizin kullanabileceği, böylece iş kullanıcılarının verilerle doğrudan konuşabileceği bir API’ye sahip olmak,” dedi Ramaswamy. “Bu olurdu ‘Ah, açık kaynaklı bir model bekleyip onu kullanacağız’ demek bizim için kolay oldu. Bunun yerine temel bir yatırım yapıyoruz çünkü şunu düşünüyoruz: [it’s] Müşterilerimiz için daha fazla değerin kilidini açacağız.”
Bu yüzden şunu merak ediyorum: Snowflake müşterileri dışında Arctic LLM gerçekte kim için?
Pratik olarak her amaç için ince ayar yapılabilecek “açık” üretken modellerle dolu bir ortamda, Arctic LLM bariz bir şekilde öne çıkmıyor. Mimarisi, mevcut diğer seçeneklerden bazılarına göre verimlilik kazanımları sağlayabilir. Ancak bunların, işletmeleri sayısız diğer iyi bilinen ve desteklenen, iş dostu üretken modellerden (örn. GPT-4) uzaklaştıracak kadar dramatik olacağına inanmıyorum.
Arctic LLM’nin göz önünde bulundurulması gereken bir nokta da var: nispeten küçük bağlam.
Üretken yapay zekada bağlam penceresi, bir modelin çıktı oluşturmadan önce (örneğin daha fazla metin) dikkate aldığı girdi verilerini (örneğin metin) ifade eder. Küçük bağlam pencerelerine sahip modeller, en son konuşmaların içeriğini bile unutmaya eğilimliyken, daha büyük bağlamlara sahip modeller genellikle bu tuzağa düşmekten kaçınır.
Arctic LLM’nin içeriği, ince ayar yöntemine bağlı olarak ~8.000 ila ~24.000 kelime arasındadır; Anthropic’in Claude 3 Opus ve Google’ın Gemini 1.5 Pro’su gibi modellerin çok altındadır.
Snowflake pazarlamada bundan bahsetmiyor, ancak Arctic LLM neredeyse kesinlikle diğer üretken yapay zeka modelleriyle aynı sınırlamalardan ve eksikliklerden, yani halüsinasyonlardan (yani isteklere güvenle yanlış yanıt vermekten) muzdariptir. Bunun nedeni, Arctic LLM’nin, var olan diğer tüm üretken yapay zeka modelleri gibi, istatistiksel bir olasılık makinesi olması ve yine küçük bir bağlam penceresine sahip olmasıdır. Hangi verinin nereye yerleştirilmesinin en “anlamlı” olduğunu çok sayıda örneğe dayanarak tahmin eder (örneğin, “Piyasaya gidiyorum” cümlesinde “piyasa”dan önce “git” kelimesi). Kaçınılmaz olarak yanlış tahminde bulunacaktır ve bu bir “halüsinasyondur”.
Devin’in yazısında belirttiği gibi, bir sonraki büyük teknik atılıma kadar, üretken yapay zeka alanında sabırsızlıkla beklememiz gereken tek şey, artan iyileştirmelerdir. Ancak bu, Snowflake gibi satıcıların onları büyük başarılar olarak savunmasını ve değerlerine göre pazarlamasını engellemeyecek.