Bazen bir ürünü anlamak için ihtiyacınız olan tek şey bir demodur. Runware’de de durum böyle. Eğer şuraya gidersen Runware’in web sitesibir bilgi istemi girin ve bir görüntü oluşturmak için enter tuşuna basın; Runware’in görüntüyü sizin için ne kadar hızlı oluşturduğuna şaşıracaksınız; bir saniyeden az sürer.
Runware, yapay zeka çıkarımı veya üretken yapay zeka başlangıç ortamına yeni giren bir yazılımdır. Şirket, darboğazları ortadan kaldırmak ve görüntü oluşturma modelleri için çıkarım hızlarını artırmak amacıyla kendi sunucularını oluşturuyor ve bu sunuculardaki yazılım katmanını optimize ediyor. Girişim halihazırda Andreessen Horowitz’in Speedrun’u, LakeStar’ın Halo II’si ve Lunar Ventures’tan 3 milyon dolarlık fon sağladı.
Şirket tekerleği yeniden icat etmek istemiyor. Sadece daha hızlı dönmesini sağlamak istiyor. Perde arkasında Runware, aynı anakart üzerinde mümkün olduğu kadar çok GPU’yla kendi sunucularını üretiyor. Kendi özel soğutma sistemine sahiptir ve kendi veri merkezlerini yönetmektedir.
Yapay zeka modellerini sunucularında çalıştırmak söz konusu olduğunda Runware, soğuk başlatma sürelerini iyileştirmek için BIOS ve işletim sistemi optimizasyonlarıyla orkestrasyon katmanını optimize etti. Parazit iş yüklerini tahsis eden kendi algoritmalarını geliştirmiştir.
Demo tek başına etkileyici. Şirket artık tüm bu çalışmaları araştırma ve geliştirmede değerlendirip bir işe dönüştürmek istiyor.
Birçok GPU barındırma şirketinin aksine Runware, GPU’larını GPU süresine göre kiralamayacaktır. Bunun yerine şirketlerin iş yüklerini hızlandırmaya teşvik edilmesi gerektiğine inanıyor. Bu nedenle Runware, geleneksel API arama başına maliyet ücreti yapısına sahip bir görüntü oluşturma API’si sunuyor. Flux ve Stable Diffusion’ın popüler AI modellerine dayanmaktadır.
Kurucu ortak ve CEO Flaviu Radulescu, TechCrunch’a şunları söyledi: “Togeme AI, Replicate, Hugging Face’e bakarsanız hepsi GPU zamanına dayalı bilgi işlem satıyorlar.” “Bizim bir görüntü oluşturmak için harcadığımız süreyi onlarla karşılaştırırsanız. Daha sonra fiyatları karşılaştırdığınızda çok daha ucuz ve çok daha hızlı olduğumuzu göreceksiniz.”
“Bu performansı yakalamaları imkansız olacak” diye ekledi. “Özellikle bir bulut sağlayıcısında sanallaştırılmış bir ortamda çalışmanız gerekiyor, bu da ek gecikmelere neden oluyor.”
Runware tüm çıkarım hattını inceleyip donanım ve yazılımı optimize ederken, şirket yakın gelecekte birden fazla tedarikçinin GPU’larını kullanabileceğini umuyor. Nvidia’nın GPU alanında açık ara lider olması nedeniyle bu, birçok startup için önemli bir çaba oldu; bu da Nvidia GPU’larının oldukça pahalı olma eğiliminde olduğu anlamına geliyor.
“Şu anda sadece Nvidia GPU’larını kullanıyoruz. Ancak bu, yazılım katmanının bir soyutlaması olmalıdır” dedi Radulescu. “Bir modeli GPU belleğinden çok çok hızlı bir şekilde açıp kapatabiliyoruz, bu da birden fazla müşteriyi aynı GPU’ya yerleştirmemize olanak sağlıyor.
“Yani biz rakiplerimiz gibi değiliz. Sadece GPU’ya bir model yüklerler ve ardından GPU çok özel bir görev türü gerçekleştirir. Bizim durumumuzda, çıkarım yaparken GPU belleğindeki bir modeli değiştirmemize olanak tanıyan bu yazılım çözümünü geliştirdik.“
AMD ve diğer GPU satıcıları tipik AI iş yükleriyle çalışan uyumluluk katmanları oluşturabilirse Runware, birden fazla sağlayıcının GPU’larına güvenen hibrit bir bulut oluşturmak için iyi bir konuma sahip olacaktır. Ve yapay zeka çıkarımlarında rakiplerinden daha ucuz kalmak istiyorsa bu kesinlikle yardımcı olacaktır.