Sakana AI, model geliştirme ve dağıtımını hızlandırabilecek AI Cuda mühendisini duyurdu

Tokyo merkezli bir yapay zeka (AI) firması olan Sakana AI, büyük dil modellerinin (LLMS) gelişimini ve dağıtım hızlarını iyileştirebilecek yeni bir yapay zeka (AI) temsilcisi çerçevesi tanıttı. Perşembe günü açıklanan şirket, kod tabanını optimize ederek bir AI modelinin hem eğitim öncesi hem de çıkarım hızlarını iyileştiren AI Cuda mühendisini tanıttı. AI firması, tüm sürecin AI ajanları tarafından yönlendirildiğini ve uçtan uca otomatik olduğunu vurguladı. Özellikle, Sakana AI geçen yıl bilimsel araştırmalar yapabilen AI bilim adamını tanıttı.

Sakana Ai Ai Cuda Mühendisi

Bir postalamakJapon AI firması, yeni modeller oluşturabilecek AI sistemleri geliştirdikten ve AI araştırma sürecini tam olarak otomatikleştirdikten sonra, bir LLM’nin dağıtım ve çıkarım hızlarını hızlandırmanın yolları üzerinde çalışmaya başladığını belirtti.

Şirket, araştırmanın AI Cuda Mühendisinin geliştirilmesine yol açtığını söyledi. CUDA (Compute Unified Cihaz Mimarisi) çekirdek keşfi ve optimizasyonu için tam otomatik, kapsamlı bir ajan çerçevesidir.

Cuda çekirdekleri, NVIDIA GPU’larında çalışan ve birden çok iş parçacığında kodun paralel olarak yürütülmesine izin veren özel işlevler olarak anlaşılabilir. Paralellik nedeniyle, geleneksel yöntemlerden daha optimize edilmiştir ve hesaplamalı görevlerin, özellikle de büyük veri kümeleri olanların hızlanmasına izin verir. Bu nedenle, bu AI modellerinin dağıtımını ve çıkarımını optimize etmenin harika bir yolu olarak kabul edilir.

Sakana AI, AI Cuda mühendisinin dağıtım hızlarını önemli ölçüde iyileştirmek için pytorch modüllerini optimize edilmiş CUDA çekirdeklerine otomatik olarak dönüştürebileceğini söyledi. Pytorch muadilinden 10-100 kat daha hızlı olduğu söylenen çekirdekler üretebilir.

Süreç dört adım içerir. İlk olarak, Agent Framework Pytorch kodunu çalışan çekirdeklere dönüştürür. Daha sonra, ajan yalnızca en iyi çekirdeklerin üretilmesini sağlamak için optimizasyon tekniklerini uygular. Daha sonra, yeni çekirdekler oluşturmak için çoklu optimize edilmiş çekirdekleri birleştiren çekirdek geçiş istemleri eklenir. Son olarak, AI ajanı, performans iyileştirmeleri sağlamak için kullanılan bir arşivde yüksek performanslı CUDA çekirdeklerini korur. Şirket ayrıca bir çalışmak Bu süreci daha da detaylandırıyor.

Makalenin yanı sıra Sakana AI, AI tarafından üretilen 30.000’den fazla çekirdekten oluşan bir veri kümesi olan AI Cuda Mühendis Arşivi’ni de yayınlıyor. Bu çekirdekler CC-By-4.0 lisansı altında serbest bırakılır ve Hugging Fact ile erişilebilir.

Ayrıca, Japon firması ayrıca ziyaretçilerin 17.000 doğrulanmış çekirdeği ve profillerini etkileşimli olarak keşfetmelerini sağlayan bir web sitesi başlattı. Web sitesi, kullanıcıların bu çekirdekleri 230 görevde keşfetmelerine olanak tanır ve ayrıca CUDA çekirdeklerini bireysel deneylerle karşılaştırmalarına izin verir.