Bazı SGLang ekibi, xAI ve Cursor gibi şirketlerin AI model eğitiminin hızlandırılmasında kullandığı popüler açık kaynak aracını sürdüren ekip, yeni kurulan ticari girişimlerine geçiş yaptı. RadixArk adı verilen bu şirket, geçtiğimiz yılın Ağustos ayında duyuruldu.
2023’te UC Berkeley’deki Databricks’in kurucu ortağı Ion Stoica’nın laboratuvarında SGLang olarak ortaya çıkan RadixArk, iki kaynağa göre Accel tarafından yürütülen bir yatırım turunda yaklaşık 400 milyon dolar değerleme aldı. TechCrunch, finansmanın boyutunu doğrulayamadı.
Girişim, daha önce Intel CEO’su Lip-Bu Tan’ın da aralarında bulunduğu yatırımcılardan melek yatırımı aldı.
SGLang’ın önemli katkı sağlayanlarından Ying Sheng, daha önce Elon Musk’ın AI girişimi xAI’de mühendis olarak çalıştıktan sonra RadixArk’ın kurucu ortağı ve CEO’su oldu. Sheng, daha önce Databricks’te araştırma bilimci olarak görev yapıyordu.
RadixArk’ın Ying Sheng, Accel ve Lip-Bu Tan’dan yorum talebine yanıt gelmedi.
İşlem Performansını Optimize Etme
SGLang ve RadixArk, çıkarım işlemlerini optimize etmeye odaklanıyor. Bu, modellerin aynı donanımda daha hızlı ve verimli çalışmasını sağlıyor. Model eğitimi ile birlikte çıkarım, AI hizmetleriyle ilişkili sunucu maliyetlerinin büyük bir kısmını oluşturuyor. Bu süreci optimize eden araçlar, hemen hemen anında büyük tasarruflar sağlıyor.
vLLM ile Girişim Gelişimi
Daha olgun bir çıkarım optimizasyon projesi olan vLLM de açık kaynak bir projeden girişime dönüştürüldü. Yeni kurulan şirket, yaklaşık 1 milyar dolar değerlemeyle 160 milyon dolar üzerinde bir yatırım alma görüşmeleri yapıyor.
Bu anlaşma hakkında bilgi sahibi olan üç kişi, Andreessen Horowitz’in vLLM’ye yapacağı yatırımın liderliğini üstleneceğini belirtti, ancak yatırımın nihai rakamları henüz net değil. vLLM’nin kurucu ortağı Simon Mo, bu tur hakkında verdiği bilgi için “gerçek dışı” ifadesini kullandı, ancak hangi detayların yanlış olduğunu belirtmedi.
Hem SGLang hem de vLLM, Ion Stoica’nın UC Berkeley laboratuvarında geliştirilmişti. Stoica, Databricks’in kurucu ortağı olmasının yanı sıra birçok diğer girişimin de kuruluşunda yer aldı.
Birçok büyük teknoloji şirketi, çıkarım yüklerini vLLM kullanarak yönetiyor. SGLang da son altı ayda önemli bir popülarite kazandı.
Yenilikçi Gelişmeler ve Ücretlendirme
RadixArk, SGLang’ı açık kaynak bir AI model motoru olarak geliştirmeye devam ediyor. Girişim ayrıca, işletmelerin AI modellerini zamanla daha akıllı hale getirmek için tasarlanmış özel bir çerçeve olan Miles üzerinde çalışıyor.
Çoğu aracı ücretsiz olmasına rağmen, RadixArk barındırma hizmetleri için ücret almaya başladı.
Geliştiricilere çıkarım altyapısı sağlayan girişimler son aylarda finansman artışı gördü ve bu durum, AI için çıkarım katmanının önemini pekiştiriyor. Baseten, 5 milyar dolar değerleme üzerinden 300 milyon dolar yatırım aldı. Bu durum, rakip Fireworks AI’nın geçen yıl ekim ayında 4 milyar dolarlık değerlemeye 250 milyon dolar raise etmesine benzer bir atılım.
Bu yeni gelişmeler hakkında ne düşünüyorsunuz?
