Nvidia’daki yapay zeka araştırmacıları, hızlı oluşturmanın yanı sıra ultra hızlı sinir ağı eğitimi kullanarak bir avuç 2B görüntüyü neredeyse anında bir 3B sahneye dönüştürmenin bir yolunu geliştirdiler.
Ters işleme olarak bilinen süreç, farklı açılardan çekilen 2B görüntüleri 3B sahnelere dönüştürmek için ışığın gerçek dünyada nasıl davrandığını tahmin etmek için AI’dan yararlanır.
Nvidia’nın araştırmacıları, yeni yaklaşımlarını sinirsel parlaklık alanları veya kısaca NeRF adı verilen popüler yeni bir teknolojiye uyguladılar. Şirketin Instant NeRF adını verdiği sonuç, bugüne kadarki en hızlı NeRF tekniği ve bazı durumlarda 1.000 kattan daha hızlı. Kullanılan nöral modelin birkaç düzine fotoğraf üzerinde eğitilmesi sadece saniyeler alıyor, ancak aynı zamanda bunların çekildikleri kamera açıları hakkında da veri gerektiriyor.
Nvidia’da grafik araştırmalarından sorumlu Başkan Yardımcısı David Luebke, NeRF ve Instant NeRF arasındaki fark arasında daha fazla bilgi sağladı. Blog yazısıdiyor ki:
“Çokgen ağlar gibi geleneksel 3B temsiller vektör görüntülerine benziyorsa, NeRF’ler bitmap görüntüler gibidir: ışığın bir nesneden veya bir sahneden yayılma şeklini yoğun bir şekilde yakalarlar. Bu anlamda, Anında NeRF, 3D için dijital kameralar ve JPEG sıkıştırması 2D fotoğrafçılık için ne kadar önemliyse, 3D yakalama ve paylaşmanın hızını, kolaylığını ve erişimini büyük ölçüde artırıyor olabilir.”
Potansiyel kullanım durumları
Sinir ağlarını kullanarak NeRF’ler, 2B görüntülerin girdi koleksiyonuna dayalı olarak gerçekçi 3B sahneler oluşturabilir. Bununla birlikte, en ilginç kısım, onları oluşturmak için kullanılan sinir ağlarının, içindeki nesneler veya insanlar engeller tarafından engellendiğinde bile 2D görüntüler arasındaki boşlukları nasıl doldurabildiğidir.
Normalde, geleneksel yöntemlerle bir 3B sahne oluşturmak, görselleştirmenin karmaşıklığına ve çözünürlüğüne bağlı olarak birkaç saat ile birkaç saat arasında sürebilir. Yine de, AI’yı resme dahil ederek, erken NeRF modelleri bile, birkaç saat eğitildikten sonra birkaç dakika içinde artefakt olmadan net sahneler oluşturabiliyordu.
Nvidia’nın Anında NeRF’leri, şirket tarafından geliştirilen ve Nvidia GPU’larında verimli bir şekilde çalışacak şekilde optimize edilmiş, çok çözünürlüklü karma ızgara kodlaması adı verilen bir teknik kullanarak gerekli oluşturma süresini birkaç büyüklük sırası ile azaltabilir. Şirket tarafından GTC 2022’de sergilenen model, Nvidia CUDA Toolkit ve Tiny CUDA Neural Networks kitaplığını kullanıyor.
İleriye dönük olarak, Anında NeRF teknolojisi sanal dünyalar için hızlı bir şekilde avatarlar veya sahneler oluşturmak, video konferans katılımcılarını ve ortamlarını 3B olarak yakalamak veya sahneleri 3B dijital haritalar için yeniden oluşturmak için kullanılabilir. Alternatif olarak, teknoloji, robotları ve kendi kendini süren arabaları eğitmek için de kullanılabilir, böylece gerçek dünyadaki nesnelerin 2D görüntülerini veya video görüntülerini yakalayarak boyutlarını ve şekillerini daha iyi anlarlar. Aynı zamanda, mimari ve eğlence endüstrileri, yaratıcıların değiştirebileceği ve üzerine inşa edebileceği gerçek ortamların dijital temsillerini hızla oluşturmak için Instant NeRF’yi kullanabilir.
Nvidia’nın araştırmacıları ayrıca yeni girdi kodlama tekniklerinin pekiştirmeli öğrenme, dil çevirisi ve genel amaçlı derin öğrenme algoritmaları gibi çeşitli yapay zeka zorluklarını hızlandırmak için nasıl kullanılabileceğini araştırıyorlar.