NVIDIA, GPU’larıyla yapay zekanın gücünü tüketicilere sunma konusunda ön saflarda yer alıyor ve önümüzdeki yıllarda oyun ve grafiksel doğrulukta yeni bir çağ başlatacak birçok yeni teknoloji geliyor.
NVIDIA’nın DLSS 3.5 ve Ray Yeniden Yapılanması Sadece Başlangıç, Şirket Tüketici GPU’larının Piksel Oluşturma Şeklini Temelden Değiştirecek Birkaç Yeni Nesil Yapay Zeka Teknolojisinden Bahsediyor
Microsoft ve Amazon gibi büyük teknoloji devlerinin, teknolojinin getirdiği devasa avantajlar nedeniyle yapay zeka entegrasyonu yarışına giriştiği göz önüne alındığında, yapay zekanın insan dünyasının bildiği tüm ana akım uygulamalara akması çok yakın görünüyor. ister gelişmiş bilgi işlem şeklinde olsun, ister tüketici deneyiminin iyileştirilmesi olsun.
Ancak konu bilgi işlem ve kurumsal uygulamalarda yapay zekadan yararlanma konusunda NVIDIA en üst sırada yer alıyor; bunun dikkate değer bir örneği NVIDIA’nın ACE’sidir. Firma artık grafik performansını artırmak için yapay zekanın getirdiği gücü birleştirmeye kararlı görünüyor. Bu yazı ana akım bir haber değil, daha ziyade AI’nın GPU’larımızın grafik performansında ne kadar büyük bir rol oynayacağını gösteren olaylar zincirinin bir anlatımıdır ve sonuçta geliştiricilerin fikirlerini “grafiksel olarak” görselleştirmesinde yeni kapılar açar. “
NVIDIA’nın Ray Yeniden Yapılanması: Görselleri Önemli Ölçüde İyileştirmek İçin RT ve Yapay Zekayı Tek Bir Pakette Birleştirme
Modern grafik çağında yarış, mimarinin yerel çözünürlükleri nasıl yükseltebileceği ve tüketicilerin NVIDIA’nın DLSS’si ve AMD’nin FSR’si gibi “yapay olarak beslenen” araçlarla en iyi senaryoları görüntülemesine olanak sağlamasında yatıyor. NVIDIA, AI akışıyla kullanıcılara gösterilen “7’den 8’e” pikselleri geliştirmeyi başardıklarını ve bazı durumlarda çözünürlüğü potansiyel olarak “dört katına” çıkarmayı başardıklarını söylüyor. Bu sayede şirket, geliştiricilerin eski oyunları DLSS’nin gücüyle besleyerek “yeniden oluşturmasına” olanak sağlamayı başardı.
Biraz arka plan kontrolü yapmak gerekirse, NVIDIA’nın önceki ışın izleme ardışık düzenleri, gürültü gidericilerden (gürültü artefaktlarını temizlemek için kullanılır) başlayarak kenar yumuşatma filtresine kadar çeşitli unsurlara bağımlıydı. DLSS 2. Bu işi yapmış olsa da geliştiricilerin “görüntü yükseltme”nin avantajlarından yararlanmasına izin vermedi çünkü bu açıklamada çok fazla karmaşıklık özetlenmiş olsa da ardışık düzen bunu basit terimlerle destekleyemedi.
Bu nedenle, ileriye dönük olarak görüntü yükseltmenin entegrasyonu gerekliydi ve bunu yapmak için NVIDIA “Ray Reconstruction”ı sunmaya karar verdi. Bu özel mekanizma, ışın izleme boru hatlarının ele alınma şeklini değiştirdi ve bunun yerine “birleşik gürültü giderici” yaklaşımı benimsendi. Ray Reconstruction, hareketli gölgeler, ışık kaynakları ve nesneler gibi son derece dinamik sinyalleri işlemek için tasarlanmış birden fazla yapay zeka modelini benimser ve bunun karşılığında el yapımı gürültü gidericilere kıyasla önemli ölçüde geliştirilmiş performans sağlar.
Ray Reconstruction, ışın izleme sürecini optimize ettiği, bunu her tüketici için erişilebilir hale getirdiği ve hatta bazı durumlarda donanım sınırlamalarını ortadan kaldırdığı göz önüne alındığında, “AI destekli” grafikler alanında büyük bir atılım olduğunu kanıtlayacaktır. Sadece bu değil, aynı zamanda grafiksel hesaplamanın sınırlarını da ortadan kaldırarak geliştiricilerin çarpıcı görseller sunmalarına ve hatta modern çağa “grafiksel olarak geçişlerini” sağlamak için klasik başlıkları yeniden oluşturmalarına olanak tanıdı.
NVIDIA’nın Yapay Zeka Grafiklerinde Sonraki Adımları
Peki bundan sonra ne gelecek? NVIDIA’dan John Burgess yakın zamanda Yüksek Performanslı Grafik etkinliği sırasında AI grafiklerinde ortaya çıkan bazı trendlere dikkat çekti ve özellikle GeForce için RTX ve İş İstasyonları için RTX gibi tüketici düzeyindeki GPU’lardan bahsetti. Yapay zekanın, DLSS gibi post-processing dışında çeşitli render görevlerinde de yardımcı olabileceği belirtiliyor. Bu, AI uygulamasını yalnızca yükseltme ve çerçeve oluşturmanın ötesinde gören Intel’in TAP’ının da ima ettiği bir şey. Bunun bir örneği de birazdan ele alacağımız aynı etkinlik sırasında NVIDIA tarafından gösterildi.
NVIDIA’nın ortaya koyduğu yeni yaklaşımlardan bazıları şunlardır:
NVIDIA, Nöral Doku Sıkıştırma, NeuralVDB ve Nöral Parlaklık Önbellek Modelleriyle Önbelleğe Alma ve Performansı Artırıyor
Grafik doğruluğunu artırmak için yapay zekadan yararlanmanın ilk örneği, bağlı nöronlardan oluşan yapay bir sinir ağı olan küçük bir MLP (Çok Katmanlı Algılayıcı) kullanan Sinir Dokusu Sıkıştırmaları’dır. Sinirsel Doku Sıkıştırma modeli, malzeme doku yığını başına 1 MLP ağı kullanır ve 2 gizli katman içerir.
Model, standart blok sıkıştırılmış dokulara veya BC’lere göre 4-16 kat sıkıştırma artışına izin verir. Bu, aynı bellek alanında daha yüksek çözünürlüklü dokulara ve çok daha küçük bir bellek alanında eşdeğer çözünürlüğe izin vererek sınırlı VRAM, Bant Genişliği ve önbelleğe sahip GPU’ların daha yüksek çözünürlüklü dokuları daha etkili bir şekilde işlemesine olanak tanır.
Sırada sıkıştırılmış hacim verilerinin yanı sıra seyrek ağaç topolojisini temsil eden NeuralVDB yer alıyor. 3-4 gizli katmanla birim başına 2-4 MLP kullanır ve 10-100x sıkıştırma oranına ulaşır. Şu tarihte: SİGRAF 2022NVIDIA, modelin bellek ayak izini 100 kata kadar azaltmayla karmaşık hacimsel simülasyonları çalıştırmak için nasıl kullanılabileceğini gösterdi.
Son olarak, parlaklık bilgisini kodlamak için bir sinir ağı kullanan Sinir Parıltı Önbelleği var. Model, 2 gizli katmana sahip prob başına tek bir MLP ağı kullanır ve probları dinamik olarak güncelleyebilir (eğitim) ve sorgulayabilir (çıkarım). Nöral Parlaklık Önbelleğinin Yol İzleme işlemine eklenmesi, örnek kalitesini önemli ölçüde artırır. Bu, dönüşümün daha hızlı yapılmasına yardımcı olur veya görüntü oluşturma işleminin daha kolay giderilmesini sağlayabilir.
NVIDIA’nın Gerçek Zamanlı İşlemeyi Geliştirme Planları, Devasa İyileştirmeler Sağlayan Nöral Görünüm Modellerinin Kullanımını İçeriyor
Artık ışın izlemeyi bıraktığımıza göre, grafik hesaplamanın temel yapı taşları olan gölgeleme performansından ve gerçek zamanlı işlemeden biraz bahsedelim. NVIDIA bu segmenti sınıflandırmak için oldukça ilginç bir yol ortaya çıkardı ve daha önceki haberlerde de vurgulandığı gibi firma, daha sonra açıklayacağımız nöral malzeme modellerinin yeteneklerinden yararlandı. Team Green şimdilik sinir ağlarını, grafiksel hesaplamayı asla hayal edilemeyecek yeni seviyelere çıkarabilecek şekilde çerçevelemeyi başardı.
SIGGRAPH 2024 açılış konuşmasında NVIDIA tanıtıldı Sinirsel Görünüm Modelleri veya geleneksel yöntemlerden oldukça optimize edilmiş yöntemler aracılığıyla malzemelerin görünümünü daha gerçekçi bir şekilde temsil etmek ve işlemek için yapay zekayı kullanan NAM’ler. Bu sinir modelleri, gerçek dünyadaki materyallerin görsel özelliklerini bilecek şekilde eğitilir ve bu tür veri kümelerini görüntülerin işlenmesine uygulayarak, yalnızca son derece gerçekçi değil, aynı zamanda çok daha hızlı bir son ürün yaratırlar.
Sinir Ağlarının inceliklerini açıklamak özellikle ortalama bir okuyucu için yeterince zorlayıcı olsa da, biz olayları en etkili şekilde özetlemeye çalışacağız. Görüyorsunuz, daha önce bahsettiğimiz Sinirsel Görünüm Modelleri, biri BRDF değerlendirmesi ve diğeri önem örneklemesi ve veri örneklemesi için olmak üzere 2 MLP (Çok Katmanlı Algılayıcılar) içeren, ancak tamamen yeni bir seviyeye ölçeklendirilmiş belirli bloklar üzerine inşa edilmiştir. Bununla birlikte NAM’ler, girdi verilerinin işlenmesini ve veri kümesiyle birlikte parametrelere dayalı olarak son malzeme görünümünün oluşturulmasını içeren bir kodlayıcı-kod çözücü mimarisini kullanır.
Artık NAM’lerin nasıl çalıştığına dair bir fikriniz olduğuna göre, ilginç kısma geçelim: potansiyel yetenekleri. NVIDIA’nın Nöral Görünüm Modelleri vitrini, bunların 16K’ya kadar doku çözünürlüğü oluşturma sunabildiklerini ortaya çıkardı ki bu çok büyük bir sıçrama. Bunun dışında, gemideki hesaplama açısından verimli sinir ağlarının, oluşturma sürelerini 12-24 kat gibi devasa bir oranda azalttığı söyleniyor; bu, geleneksel gölgeleme grafiği tekniğiyle bunun imkansız olduğu göz önüne alındığında, yine devasa bir başarı.
NVIDIA ileriye dönük olarak MLP’lerin ve genel olarak yapay zekanın grafik dünyasında bazı büyük gelişmeler sağlayabileceğine inanıyor:
Basit MLP’ler şaşırtıcı derecede güçlüdür (şunlar için):
- Veri Sıkıştırma
- Karmaşık matematiğin yaklaşımı
- Karmaşık sinyal verilerinin önbelleğe alınması
Performans, geleneksel işlemeyle rekabet edebilir:
- Katman füzyonu
- Azaltılmış hassasiyet ve seyreklikten yararlanma
MLP’ler küçük olduğundan performansları geleneksel işlemeyle rekabet edebilir, dolayısıyla bu geliştirmelerin çok büyük bir maliyeti olmayacaktır.
Zorluklar:
- Iraksama
- Geleneksel gölgelendirici çekirdeği ile intermix
Bazı zorluklar, esas olarak GPU içindeki her iş parçacığının kendi texel değeri için kendi sinir ağını sorguluyor/çalıştırıyorsa, bu iş parçacıklarının birlikte çalışması gerektiği için farklılığın üstesinden gelmeleri gerektiğini söyleyen farklılığı içerir. Yani hem yürütme farklılığı hem de veri farklılığı var.
Yapay zeka ile gelecekteki renderlemenin bir örneği, arkasında gerçekçi bir toz izi bırakılarak engebeli bir toprak arazide koşan bir cipi ve araziye dayalı olarak gerçekçi ağırlık ve simülasyon gösteren, Sora kullanılarak oluşturulan yakın tarihli bir OpenAI videosu şeklinde sergilendi. . Bu, bize oyunlar gibi gelecekteki yapay zeka uygulamalarına dair bir fikir veren, tamamen yapay zeka tarafından oluşturulmuş bir videodur. Bu küçük animasyonun küçük bir metin istemi kullanarak eğitilmesi 10 binlerce GPU’yu gerektirdi, ancak AI donanımı daha güçlü hale geldikçe, muhtemelen önümüzdeki yıllarda GPU’ları tüketeceğini görebiliriz.
Oturumdaki diğer ilgi çekici noktalar, NPU ve GPU gibi özel donanımların kullanımına ilişkin yorumlar ve gelecekteki GPU’lara entegre edilebilecek diğer hızlandırıcılara ilişkin yorumlardı:
GPU’ya bağlı olmayan özel donanımda gördüğüm sorun, kullandığınız sinir ağları etrafındaki her şeyi yapmak için kullanabileceğiniz tüm ekosistemi kaybetmenizdir ve bu yüzden onu oldukça sıkı bir şekilde bağlamayı tercih ediyoruz. bir SM’de programlanabilir kod yazabilir, daha sonra tensör çekirdeğine gidebilir ve özel probleminiz için ihtiyaç duyduğunuz sıklıkta geri dönebilirsiniz ve böylece birisi çıkıp sadece evrişimsel kodlayıcıları çalıştıran kendi özel donanımını kurabilir, ancak hepsini nasıl yapabilirsiniz? yapmanız gereken diğer şeyler.
Gelecekteki herhangi bir ürün ya da herhangi bir şey hakkında konuşmak istemiyorum ama sinirsel görünüm modellerinin oluşmaya ve çalışmaya başladığını görene kadar, harika bir Uber malzemesi varmış gibi malzemeleri nasıl hızlandırabileceğimi düşünerek çok zaman harcadım. Arnold shader, biliyorsun ki bu 50 girişli karmaşık bir şeyi alıp içinden geçen özel bir donanım oluşturabilir ya da Monte Carlo ile çok katmanlı örnekler ya da bildiğin bir şey, serbest Monte Carlo’yu konumlandırabilir ve temelde hiçbir yere varmaz ama sanırım görebildiğim kadarıyla özel donanımlardan gelecek bir sonraki kesintinin bariz bir tarafı yok. Sanırım bir sonraki kesinti, donanıma ihtiyaç duymadan bir sonraki adımı atmak için etkinleştirdiğimiz geçiş ücretlerini kullanmakla ilgili olacak çünkü donanım zaten yeni ve heyecan verici bir şey inşa edebileceğimiz yapı taşlarını hızlandırıyor. Ve bence sinirsel görünüm modelleri buna iyi bir örnek; donanımı zaten oluşturduk, ancak deneyene kadar bunun bunun için iyi olduğunu bilmiyorduk.
John Burgess-NVIDIA
Teknolojinin sonsuz olanaklar sunduğu ve grafiksel hesaplama üzerindeki etkisinin potansiyel yeteneklerin küçük bir örneği olduğu göz önüne alındığında, yapay zekanın hesaplama dünyası üzerindeki etkisinin henüz ölçülemediğini söylemek yanlış olmaz. Nöral Görünüm Modelleri ve Işın Yeniden Yapılanması ile yeni nesil grafikler, NVIDIA ve ekibinin gösterdiği çabaların yanı sıra donanım gücünün burada oynadığı rol sayesinde bir zamanlar hayal ettiğimiz noktaya kesinlikle ulaşacak.
