Pruna AiAI modelleri için sıkıştırma algoritmaları üzerinde çalışan bir Avrupalı girişim, optimizasyon çerçevesini yapıyor açık kaynak Perşembe günü.
Pruna AI, belirli bir AI modeline önbellekleme, budama, nicemleme ve damıtma gibi çeşitli verimlilik yöntemlerini uygulayan bir çerçeve oluşturuyor.
Pruna AI ortak fonder ve CTO John Rachwan, TechCrunch’a verdiği demeçte, “Sıkıştırılmış modellerin tasarrufunu ve yüklenmesini, bu sıkıştırma yöntemlerinin kombinasyonlarını uygulama ve ayrıca sıkıştırılmış modelinizi sıkıştırdıktan sonra değerlendiriyoruz” dedi.
Özellikle, Pruna AI’nin çerçevesi, bir modeli sıkıştırdıktan sonra önemli kalite kaybı olup olmadığını ve aldığınız performans kazanımlarını değerlendirebilir.
“Bir metafor kullanacak olsaydım, Sarılmanın Standartlaştırılmış Transformatörler ve Difüzörler – Nasıl Aranacağı, Nasıl Tasarruf Edileceği, Yüklenip Yükleneceğini, vb. Aynı şeyi yapıyoruz, ancak verimlilik yöntemleri için” diye ekledi.
Big AI laboratuvarları zaten çeşitli sıkıştırma yöntemlerini kullanıyor. Örneğin, Openai amiral gemisi modellerinin daha hızlı versiyonlarını oluşturmak için damıtmaya güveniyor.
Openai muhtemelen GPT-4’ün daha hızlı bir versiyonu olan GPT-4 Turbo’yu geliştirdi. Benzer şekilde, Flux.1-Schnell Görüntü oluşturma modeli, Black Forest Labs’tan Flux.1 Modeli’nin damıtılmış bir versiyonudur.
Damıtma, “öğretmen-öğrenci” modeli ile büyük bir AI modelinden bilgi çıkarmak için kullanılan bir tekniktir. Geliştiriciler bir öğretmen modeline istek gönderir ve çıktıları kaydeder. Cevaplar bazen ne kadar doğru olduklarını görmek için bir veri kümesi ile karşılaştırılır. Bu çıktılar daha sonra öğretmenin davranışına yaklaşacak şekilde eğitilmiş öğrenci modelini eğitmek için kullanılır.
Rachwan, “Büyük şirketler için genellikle yaptıkları şey bu şeyleri şirket içinde inşa etmeleri. Ve açık kaynak dünyasında bulabileceğiniz şey genellikle tek yöntemlere dayanıyor. Örneğin, LLM’ler için bir nicemleme yöntemi veya difüzyon modelleri için bir önbellekleme yöntemi diyelim” dedi. “Ama hepsini toplayan bir araç bulamazsınız, hepsini kullanmayı ve birleştirmeyi kolaylaştırır. Ve bu, Pruna’nın şu anda getirdiği büyük değer.”
Pruna AI, büyük dil modellerinden difüzyon modellerine, konuşma-metin modellerine ve bilgisayar görme modellerine kadar her türlü modeli desteklerken, şirket daha spesifik olarak görüntü ve video üretim modellerine odaklanıyor.
Pruna AI’nın mevcut kullanıcılarından bazıları Senaryo Ve Fotoryalı. Açık kaynak baskısına ek olarak, Pruna AI, bir optimizasyon aracısı da dahil olmak üzere gelişmiş optimizasyon özelliklerine sahip bir işletme sunumuna sahiptir.
Rachwan, “Yakında yayınladığımız en heyecan verici özellik bir sıkıştırma ajanı olacak” dedi. “Temel olarak, modelinizi veriyorsunuz, diyorsunuz: ‘Daha fazla hız istiyorum ama doğruluğumu%2’den fazla düşürme’ diyorsunuz. Ve sonra, ajan sadece sizin için en iyi kombinasyonu bulacak.
Pruna AI, profesyonel versiyonu için saatte ücret alır. Rachwan, “AWS veya herhangi bir bulut hizmetinde bir GPU kiraladığınızda bir GPU’yu nasıl düşüneceğinize benzer” dedi.
Ve modeliniz AI altyapınızın kritik bir parçasıysa, optimize edilmiş modelle çıkarım için çok para tasarrufu sağlayacaksınız. Örneğin, Pruna AI, sıkıştırma çerçevesi kullanılarak çok fazla kayıp olmadan sekiz kat daha küçük bir lama modelini yaptı. Pruna AI, müşterilerinin sıkıştırma çerçevesini kendisi için ödeme yapan bir yatırım olarak düşüneceğini umuyor.
Pruna AI, birkaç ay önce 6,5 milyon dolarlık bir tohum finansmanı sağladı. Başlangıçtaki yatırımcılar arasında EQT Ventures, Daphni, Motier Ventures ve Kima Ventures bulunmaktadır.
