Pennsylvania Üniversitesi’nden yapay zeka araştırmacıları Shriyash Upadhyay ve Etan Ginsberg, birçok büyük yapay zeka şirketinin rekabetçi, güçlü yapay zeka modelleri geliştirme arayışında temel araştırmalardan fedakarlık ettiği görüşünde. İkili, piyasa dinamiklerini suçluyor: Şirketler önemli miktarda fon topladığında çoğunluk, temel konuları incelemek yerine genellikle rakiplerin önünde kalma çabalarına yöneliyor.
“LLM’lerle ilgili araştırmamız sırasında [at UPenn,] Upadhyay ve Ginsberg, TechCrunch’a bir e-posta röportajında şunları söyledi: Yapay zeka endüstrisindeki bu endişe verici eğilimleri gözlemledik. “Zor olan, yapay zeka araştırmalarını karlı hale getirmektir.”
Upadhyay ve Ginsberg, bununla baş etmenin en iyi yolunun, ürünleri yorumlanabilirlikten yararlanan bir şirket olan kendilerine ait bir şirket kurmak olabileceğini düşündüler. Şirketin misyonunun doğal olarak yetenek araştırmasından ziyade yorumlanabilirlik araştırmasını ilerletmekle uyumlu olacağını ve bunun da daha güçlü araştırmalara yol açacağını öne sürdüler.
O şirket, Marslı, bugün NEA, Prosus Ventures, Carya Venture Partners ve General Catalyst gibi yatırımcılardan sağlanan 9 milyon dolarlık fonla gizlilikten çıktı. Upadhyay ve Ginsberg, gelirlerin ürün geliştirmeye, modellerin iç operasyonlarına yönelik araştırmalara ve Martian’ın on kişilik ekibini büyütmeye harcandığını söylüyor.
Martian’ın ilk ürünü, büyük bir dil modeli (LLM) (örneğin GPT-4) için tasarlanmış bir istemi alan ve onu otomatik olarak “en iyi” LLM’ye yönlendiren bir “model yönlendirici” aracıdır. Varsayılan olarak model yönlendirici, söz konusu bilgi istemi için en iyi çalışma süresine, becerilere (örneğin matematik problem çözme) ve maliyet-performans oranına sahip LLM’yi seçer.
Upadhyay ve Ginsberg, “Şirketlerin şu anda LLM’leri kullanma şekli, tüm isteklerini gönderdikleri her uç nokta için tek bir LLM seçmektir” dedi. “Ancak web sitesi oluşturmak gibi bir görevde, kullanıcının belirttiği bağlama (hangi dil, hangi özellikler, ne kadar ödemek istedikleri vb.) bağlı olarak farklı modeller belirli bir talebe daha uygun olacaktır… Bir ekip kullanarak Bir uygulamadaki modellerin sayısı arttıkça, bir şirket herhangi bir LLM’nin tek başına başarabileceğinden daha yüksek bir performansa ve daha düşük maliyete ulaşabilir.”
Bunda gerçek var. Yalnızca GPT-4 gibi üst düzey bir Yüksek Lisans’a güvenmek çoğu şirket için olmasa da bazı şirketler için yüksek maliyetli olabilir. Bir pazar istihbarat firması olan Permutable.ai’nin CEO’su yakın zamanda açıklığa kavuşmuş OpenAI’nin üst düzey modellerini kullanarak günde yaklaşık 2 milyon makaleyi işlemek, firmaya yılda 1 milyon dolardan fazlaya mal oluyor.
Her görev daha pahalı modellerin beygir gücüne ihtiyaç duymaz, ancak anında akıllıca geçiş yapan bir sistem oluşturmak zor olabilir. İşte tam bu noktada Marslı ve bir modelin performansını onu çalıştırmadan tahmin etme yeteneği devreye giriyor.
“Martian, en pahalı modellere benzer performans gösteren istekler üzerine daha ucuz modellere yönelebilir ve yalnızca gerektiğinde pahalı modellere yönlendirebilir” diye eklediler. “Model yönlendirici, yeni modelleri çıktıkça indeksliyor ve bunları sıfır sürtünme veya manuel çalışma gerektiren uygulamalara dahil ediyor.”
Marslının model yönlendiricisi yeni bir teknoloji değil. En az bir başka girişim olan Credal, otomatik bir model değiştirme aracı sağlıyor. Dolayısıyla yükselişi, Martian’ın fiyatlandırmasının rekabetçiliğine ve yüksek riskli ticari senaryoları karşılama yeteneğine bağlı olacak.
Upadhyay ve Ginsberg, “milyarlarca dolarlık” şirketler de dahil olmak üzere halihazırda bir miktar alım olduğunu iddia ediyor.
“Gerçekten etkili bir model yönlendirici oluşturmak son derece zordur çünkü bu modellerin temelde nasıl çalıştığına dair bir anlayış geliştirmeyi gerektirir” dediler. “Bu bizim öncülük ettiğimiz buluş.”