Son birkaç yılda yapay zekanın popülaritesi arttı ve bu artışın çoğunu chatbotlar ve görüntü oluşturucular sağladı. Bu araçlar, Büyük Dil Modelleri (LLM) adı verilen ve gördüğümüz sonuçları oluşturmak için yararlandıkları geniş veri kümeleri üzerinde kapsamlı bir şekilde eğitilmiştir. Ancak bu sonuçları hızlı bir şekilde elde etmek ciddi bir bilgi işlem gücüne bağlıdır. 100 milyondan fazla kullanıcı halihazırda güçlü NVIDIA donanımını yapay zeka modellerini çalıştırma görevine koyuyor. Bunun nedeni, NVIDIA’nın çıkarım olarak bilinen bu süreçte öne çıkan donanımları, AI yetenekleri için özel olarak tasarlanmış çekirdekler içeren GPU’larla sunması ve bu donanımı, doğruluktan ödün vermeden modeller üzerinde çalışmak için kısayollar bularak performansı optimize eden TensorRT yazılımıyla birleştirmesidir.
Bu yapay zeka destekli çekirdekler, Tensor Çekirdekleri olarak bilinir ve bunlar, çıkarımlarının aşırı hızlanması için yapay zeka uygulamalarını NVIDIA donanımı üzerinde çalışacak şekilde düzenleyen NVIDIA TensorRT yazılımının omurgasını oluşturur. Tipik bilgisayarınız 10 ila 45 AI teraops (TOPS) arasında çalışacak donanıma sahip olsa da, en yeni NVIDIA RTX GPU’lar 200 ila 1.300 TOPS arasında çalışabilir ve bu, yerel, cihaz içi işlemdir. Veri merkezi GPU’ları bu durumu bir adım daha yukarı taşıyabilir.
TensorRT SDK ile çalışmak için gerekli Tensor Çekirdeklerini sunan dizüstü bilgisayar, masaüstü ve veri merkezi NVIDIA RTX GPU’ların yaygınlaşmasıyla birlikte, NVIDIA donanımı AI operasyonlarını her alanda hızlandırıyor.
Yapay zeka modellerini alan ve bunları NVIDIA donanımında çalışacak şekilde optimize eden bir yazılım olan TensorRT-LLM’yi kullanan bu Tensor Çekirdekleri, Llama2 veya Mistral gibi en yeni popüler LLM’lerle çalışacak şekilde görevlendirilebilir. Bu, bilgisayarınız ile bir veri merkezi arasında (yani internet bağlantısına ihtiyaç duymadan) bilgi göndermeye gerek kalmadan bu LLM’leri cihaz üzerinde hızlı bir şekilde çalıştırmayı kolaylaştırmakla kalmaz, aynı zamanda beslemeyi de mümkün kılar. LLM’nin yeni bilgilerini özelleştirmek ve ardından bu yeni verileri göz önünde bulundurarak sorgulamak.
NVIDIA, yeni kullanıcılar için bu süreci kolaylaştırmak amacıyla ChatRTX’i bile geliştirdi. İşte bunun nasıl çalıştığına hızlı bir bakış.
Tensor Çekirdekleri tarafından hızlandırılan yerel işleme hızı ve mevcut özelleştirme sayesinde TensorRT ve TensorRT-LLM, yapay zekayı daha da erişilebilir hale getiriyor ve bu da NVIDIA’yı alandaki en iyi oyunculardan biri haline getirdi.
Sisteminizde NVIDIA RTX donanımı çalışıyorsa şunları yapabilirsiniz: Şimdi TensorRT’ye dokunun AI metin ve görüntü oluşturucularını yerel olarak çalıştırmaya başlamak için. Ve bu yapabileceklerinizin sadece yüzeyini çiziyor.
TensorRT ve NVIDIA’nın yapay zeka yeteneklerine ilişkin en son gelişmelere uyum sağlamak için, NVIDIA’nın AI Decoded serisini takip edin. Burada yapay zekayla ilgili haberlerin yanı sıra perde arkasında çalışan teknolojiyle ilgili yararlı, anlaşılır açıklamalar ve diğerlerinin her türlü zorluğun üstesinden gelmek için RTX destekli yapay zekayı nasıl kullandığını gösteren açıklayıcı bakışlar bulacaksınız.