OctoAI (eskiden OctoML olarak biliniyordu), ister şirket içi ister büyük tedarikçilerden birinin sanal özel bulutu olsun, bir şirketin özel bulutunda üretken yapay zeka modellerinin dağıtımına yönelik yeni uçtan uca çözümü olan OctoStack’in lansmanını duyurdu. AWS, Google, Microsoft ve Azure’un yanı sıra CoreWeave, Lambda Labs, Snowflake ve diğerleri de dahil.
OctoAI, ilk günlerinde neredeyse yalnızca modelleri daha verimli çalışacak şekilde optimize etmeye odaklandı. Göre Apache TVM’si makine öğrenimi derleyici çerçevesini kullanarak şirket daha sonra Hizmet Olarak TVM platformunu başlattı ve zaman içinde bunu optimizasyon özelliklerini DevOps platformuyla birleştiren tam donanımlı bir model sunma teklifine dönüştürdü. Üretken yapay zekanın yükselişiyle birlikte ekip, kullanıcılarının mevcut modellere hizmet vermesine ve ince ayarlar yapmasına yardımcı olmak için tam olarak yönetilen OctoAI platformunu başlattı. OctoStack, özünde OctoAI platformudur, ancak özel dağıtımlara yöneliktir.
Resim Kredisi: OctoAI
OctoAI CEO’su ve kurucu ortağı Luis Ceze Bana şirketin platformda 25.000’den fazla geliştiricisi olduğunu ve onu üretimde kullanan yüzlerce ödeme yapan müşterisi olduğunu söyledi. Ceze, bu şirketlerin çoğunun GenAI’nın yerli şirketleri olduğunu söyledi. Üretken yapay zekayı benimsemek isteyen geleneksel işletmelerin pazarı önemli ölçüde daha büyük, bu nedenle OctoAI’nin artık OctoStack ile onların da peşine düşmesi belki de sürpriz değil.
Ceze, “Açık olan şey şu ki, kurumsal pazar geçen yıl denemelerden dağıtımlara geçerken, hepsinin etrafa bakması çünkü API üzerinden veri gönderme konusunda tedirgin olmalarıdır” dedi. “İki: birçoğu kendi hesaplamalarını da gerçekleştirdi, peki zaten kendi bilgisayarım varken neden bir API satın alacağım? Üçüncüsü, hangi sertifikaları alırsanız alın ve ne kadar büyük bir isme sahip olursanız olun, yapay zekalarının da verileri kadar değerli olduğunu düşünüyorlar ve onu göndermek istemiyorlar. Dolayısıyla kuruluşta dağıtımın sizin kontrolünüz altında olması konusunda gerçekten açık bir ihtiyaç var.”
Ceze, ekibin bir süredir hem SaaS hem de barındırılan platformu sunmak için mimariyi oluşturduğunu belirtti. SaaS platformu Nvidia donanımı için optimize edilmiş olsa da OctoStack, AMD GPU’lar ve AWS’nin Çıkarımları hızlandırıcı, bu da optimizasyon zorluğunu biraz daha zorlaştırıyor (aynı zamanda OctoAI’nin güçlü yanlarından da yararlanıyor).
OctoAI, platformu okunabilir konteynerler ve dağıtımlar için ilgili Helm grafikleriyle sunduğundan, OctoStack’ı dağıtmak çoğu kuruluş için basit olmalıdır. Geliştiriciler için, özel bulutlarında SaaS ürününü veya OctoAI’yi hedef almalarına bakılmaksızın API aynı kalır.
Standart kurumsal kullanım durumu, kullanıcıların dahili belgeleriyle sohbet etmelerine olanak sağlamak için metin özetleme ve RAG kullanmaya devam ediyor, ancak bazı şirketler kendi kod oluşturma modellerini çalıştırmak için bu modellere dahili kod tabanlarında ince ayar yapıyor (GitHub’un şu anda sunduğuna benzer) Copilot Enterprise kullanıcılarına).
Pek çok kuruluş için bunu tamamen kendi kontrolleri altında olan güvenli bir ortamda yapabilmek, artık bu teknolojileri çalışanları ve müşterileri için üretime sokmalarına olanak sağlıyor.
Kurucusu ve CEO’su Dali Kaafar, “Performans ve güvenliğe duyarlı kullanım durumumuz için çağrı verilerini işleyen modellerin esneklik, ölçek ve güvenlik sunan bir ortamda çalışması zorunludur” dedi. Apate AI. “OctoStack, ihtiyaç duyduğumuz özelleştirilmiş modelleri, seçtiğimiz ortamlarda kolayca ve verimli bir şekilde çalıştırmamıza ve müşterilerimizin ihtiyaç duyduğu ölçeği sunmamıza olanak tanıyor.”