Yapay zeka, bir bilgisayarın ne kadar hızlı olduğunu belirlerken dikkate aldığımız özellikler söz konusu olduğunda oyunu değiştiriyor. Elbette, GHz, Gbps ve MT/s gibi şeyler sistemin genel kullanımı açısından önemli olmaya devam edecek, ancak yerleşik AI özellikleriyle bazı yeni ölçümler devreye giriyor. TOPS (Saniyede Trilyonlarca İşlem), belirteçler ve hatta görüntü oluşturma hızı hakkında bilgiler duyacaksınız ve NVIDIA RTX AI bilgisayarları, tüm bu TOPS ile neler yapabileceğinizi size göstermek için öncülük ediyor. Tüm bunların sizin için ne anlama geldiğini inceleyelim.
Görüntü oluşturma, metin özetleme veya büyük bir hızla kullanıma sunulan birçok yeni özellikten herhangi biri olsun, yapay zekadan yararlanmak için belirli bir performans düzeyine ihtiyacınız var. Bu sadece TOPS’un ölçmek için var olduğu performanstır. Bu TOPS, sistemdeki çipler tarafından işlenen tamsayılı matematik işlemleridir. Bu hız, özel bir NPU’dan (Sinir İşlem Birimi), CPU’dan, GPU’dan veya matematik işlemlerini işlemek için birlikte çalışan bileşenlerin birleşiminden gelebilir. NVIDIA RTX AI PC’ler bu alanda önemli hızlar sundukları için zaten burada büyük bir ayağa sahipler.
40 TOPS hızında, Microsoft’un yeni Copilot+’ın metin oluşturma ve analiz özelliklerini işlemek için hız eşiğini karşılayan bir sistem. Bir sistem önemli ölçüde daha düşük TOPS sunuyorsa, kullanıcı deneyimi, yapay zeka asistan araçlarının başka bir insanla etkileşim kadar hızlı olması gereken inanılmaz derecede yavaş yanıtları nedeniyle engellenebilir.
Jetonlarla burada karşılaşıyoruz. Tüm bu trilyonlarca operasyon, bir LLM’nin (büyük dil modeli) ürettiği karakterler, kelimeler ve ifadeler olan belirteçleri üretmek amacıyla yapay zeka çıkarımına doğru gidiyor. Bir chatbottan sade bir dille yanıt aldığınızda, onun döndürdüğü şey jetonlardır. Belirli bir LLM için, sisteminiz ne kadar fazla TOPS elde edebilirse, her saniyede o kadar fazla token alabilirsiniz ve dolayısıyla LLM’yi kullanırken o kadar duyarlı olursunuz. Yeterince hızlı ve anında hissedilecek. Örneğin sohbet robotlarında yeterince yüksek bir saniye başına jeton oranı, çoğu insanın okuyabileceği hızda etkili bir şekilde metin üretecektir. NVIDIA’nın RTX AI bilgisayarları zaten yüksek lisans (LLM) işlemlerini hızlı bir şekilde gerçekleştirme alanına girmiş durumda.
Saniyede 40 trilyon işlem çok gibi görünebilir; bu, RTX AI bilgisayarların yapabileceklerinin yalnızca yüzeysel bir kısmıdır. Metin oluşturmanın ötesinde, Stable Diffusion’ın görüntü ve video oluşturma yetenekleri, video yazılımı için nesne tanıma ve hatta oyuncuların birkaç yıldır NVIDIA’nın DLSS teknolojisinde gördüğü gibi video içeriğinin yapay zekayla ölçeklendirilmesi gibi çok daha fazla yapay zeka uygulaması var. RTX GPU’larda.
Bu görevler çok daha fazla hesaplama gücünden yararlanabilir. Sonuçta, bir görüntünün oluşturulması bir saniye bile sürse, gerçek zamanlı olarak akıcı bir video oluşturamazsınız. NVIDIA’nın RTX GPU’larının ekstra gücünün gerçekten parlayabileceği yer burasıdır. İster metin veya görüntü oluşturma, yapay zeka destekli içerik oluşturma, PC oyunlarında süper örnekleme veya LLM’leri sorgulama olsun, NVIDIA’nın RTX GPU’ları ciddi bir performans sağlar. Örneğin GeForce RTX 4090 1.700 TOPS’a ulaşabilir. NVIDIA’nın en ekonomik mobil GPU modeli bile 194 TOPS’a ulaşıyor. Bu performans düzeyinde, NVIDIA RTX AI bilgisayarları yalnızca kullanıcı sorgularını doğal dil yanıtlarıyla yanıtlamak gibi şeyler yapmakla kalmaz, aynı zamanda bunu, daha önce gördüğümüz gibi, tamamen animasyonlu bir 3D karakterin bu yanıtı seslendirdiği sanal bir ortamda da yapabilir. NVIDIA ACE.
Bu performansın büyük bir kısmı NVIDIA’nın RTX GPU’larında bulunan Tensör Çekirdeklerinden geliyor. Bunlar, yapay zeka görevlerini hızlandırmak için özel olarak tasarlanmış özel yapay zeka hızlandırıcılardır ve bu da onları üretken yapay zeka uygulamaları için yararlı bir ortak haline getirir.
NVIDIA kullanıldığında performans tavan payı daha da artar TensorRT RTX GPU kullanan milyonlarca Windows PC ve iş istasyonunda kullanılabilen yazılım. TensorRT, NVIDIA’nın RTX donanımından yararlanacak şekilde yapay zeka iş akışlarının optimize edilmesine yardımcı olur, böylece bileşenlerinizin işlem gücünden en iyi şekilde yararlanırsınız. Stable Diffusion’ın Otomatik1111 arayüzü ile TensorRT şunları yaptı: görüntü oluşturma hızını 2 kata kadar artırın. Ayrıca yakın zamanda popüler Stable Diffusion ComfyUI’dan da destek alarak görüntü oluşturma hızını %60’a kadar ve Stable Video Diffusion’da görüntüden videoya dönüştürme hızını %70’e kadar artırdı. Bu avantajlar yeni piyasaya sürülen Stable Diffusion 3’te bile mevcuttur.
AI şaşırtıcı bir hızla yarışırken. En son gelişmeleri ve yeni terminolojiyi takip etmek göz korkutucu olabilir. NVIDIA, birçok karmaşık konuya ayak uydurmanıza ve daha kolay yaklaşmanıza yardımcı olmak için Yapay Zeka Kodu Çözüldü blog serisi. En son haberleri almak için bunu takip edebilir ve kendi sisteminizdeki yapay zeka özelliklerinden yararlanmanıza olanak tanıyan yararlı araçları keşfedebilirsiniz.