Apple, yapay zeka (AI) modellerinin performans hızını artırmak amacıyla Nvidia ile ortaklık kuruyor. Cupertino merkezli teknoloji devi Çarşamba günü, büyük bir dil modelinin (LLM) hem verimliliğinin hem de gecikme süresinin aynı anda iyileştirilip iyileştirilemeyeceğini görmek için Nvidia platformunda çıkarım hızlandırmayı araştırdığını duyurdu. iPhone üreticisi, bu yılın başlarında bir araştırma makalesinde yayınlanan Recurrent Drafter (ReDrafter) adlı bir teknik kullandı. Bu teknik, Nvidia TensorRT-LLM çıkarım hızlandırma çerçevesiyle birleştirildi.
Apple Yapay Zeka Performansını Artırmak İçin Nvidia Platformunu Kullanıyor
bir blog yazısıApple araştırmacıları, Yüksek Lisans performansı için Nvidia ile yapılan yeni işbirliğini ve bundan elde edilen sonuçları ayrıntılarıyla anlattı. Şirket, yapay zeka modellerinde gecikmeyi korurken çıkarım verimliliğini artırma sorununu araştırdığının altını çizdi.
Makine öğreniminde çıkarım, eğitilmiş bir model kullanırken belirli bir veri veya girdi kümesine dayanarak tahminler, kararlar veya sonuçlar çıkarma sürecini ifade eder. Basitçe söylemek gerekirse, bu, bir yapay zeka modelinin istemlerin kodunu çözdüğü ve ham verileri işlenmiş, görünmeyen bilgilere dönüştürdüğü işleme adımıdır.
Bu yılın başında Apple yayınlandı ve açık kaynaklı ReDrafter tekniği, verilerin spekülatif kod çözümüne yeni bir yaklaşım getiriyor. Tekrarlayan sinir ağı (RNN) taslak modelini kullanarak, ışın aramayı (yapay zekanın bir çözüm için birden fazla olasılığı araştırdığı bir mekanizma) ve dinamik ağaç dikkatini (ağaç yapısı verileri bir dikkat mekanizması kullanılarak işlenir) birleştirir. Araştırmacılar, LLM token üretimini nesil adımı başına 3,5 tokena kadar hızlandırabileceğini belirtti.
Şirket, iki süreci birleştirerek performans verimliliğini belli bir dereceye kadar artırmayı başarsa da Apple, hızda önemli bir artış olmadığının altını çizdi. Bunu çözmek için araştırmacılar ReDrafter’ı Nvidia TensorRT-LLM çıkarım hızlandırma çerçevesine entegre etti.
İşbirliğinin bir parçası olarak Nvidia, spekülatif kod çözme sürecini iyileştirmek için yeni operatörler ekledi ve mevcut operatörleri ortaya çıkardı. Gönderi, Nvidia platformunu ReDrafter ile kullanırken, açgözlü kod çözme (sıra oluşturma görevlerinde kullanılan bir kod çözme stratejisi) için saniyede oluşturulan jetonlarda 2,7 kat hızlanma bulduklarını iddia etti.
Apple, bu teknolojinin AI işleme gecikmesini azaltmak, aynı zamanda daha az GPU kullanmak ve daha az güç tüketmek için kullanılabileceğini vurguladı.
En son teknoloji haberleri ve incelemeleri için Gadgets 360’ı takip edin X, Facebook, WhatsApp, Konular Ve Google Haberler. Cihazlar ve teknolojiyle ilgili en son videolar için abone olun YouTube kanalı. En iyi etkileyiciler hakkında her şeyi bilmek istiyorsanız şirket içi bölümümüzü takip edin O Kim360 Açık instagram Ve YouTube.
Samsung Galaxy Ring İki Yeni Boyut Seçeneğiyle Piyasaya Sürülebilir
