GTC 2022’de NVIDIA Araştırma Ekibi, 2D fotoğrafları birkaç saniye içinde 3D sahnelere dönüştürebilen Instant NeRF adlı etkileyici bir teknolojiyi tanıttı.
Bunu yapmak için araştırmacılar, daha özel olarak sözde nöral parlaklık alanları aracılığıyla AI’nın gücünden yararlandı. NeRF’ler, herhangi bir yönde yayılan ışığın rengini tahmin ederek görüntülerden sahneyi yeniden oluşturmak için sinir ağlarını kullanır. NVIDIA, Instant NeRF’nin türünün şimdiye kadarki en hızlı teknolojisi olduğunu iddia ediyor ve bazı durumlarda 1.000x’in üzerinde bir çarpımsal hızlanmaya izin vererek 1080p’de işlemenin yalnızca milisaniyeler içinde gerçekleşmesini sağlıyor.
Baş Araştırma Bilimcisi Thomas Muller tarafından GDC 2022 başlıklı bir konuşmada tartışıldığı gibi Anında Sinirsel Grafik İlkelleri, bu bileşik etki üç ana iyileştirmenin sonucudur: yoğun tensörlerden çok daha hızlı olmak için GPU’nun ince tanecikli kontrol akış yeteneklerini kullanan işleme/eğitim algoritmasının göreve özel GPU uygulaması; genel amaçlı matris çarpma rutinlerinden daha hızlı olan küçük bir sinir ağının tamamen kaynaşmış bir uygulaması; son olarak, NVIDIA, görevden bağımsız olan ve önceden var olan işten daha iyi hız/kalite dengesine sahip olan, çok çözünürlüklü karma ızgara kodlaması adı verilen bir teknik geliştirdi.
Şaşırtıcı olmayan bir şekilde, Instant NeRF modeli, CUDA Araç Takımı ve Minik CUDA Sinir Ağları kütüphane. Araştırmanın derinliklerine inebilir ve hatta koduna erişebilirsiniz. bu sayfada; NVIDIA’ya göre, sinir ağı, özellikle Tensör Çekirdekleri ile donatılmışsa, tek bir GPU’da kolayca çalışacak kadar hafiftir.
NVIDIA grafik araştırmalarından sorumlu başkan yardımcısı David Luebke yaptığı açıklamada şunları söyledi:
Çokgen ağlar gibi geleneksel 3B temsiller vektör görüntülerine benziyorsa, NeRF’ler bitmap görüntüler gibidir: ışığın bir nesneden veya bir sahneden yayılma şeklini yoğun bir şekilde yakalarlar. Bu anlamda, Anında NeRF, 3D için dijital kameralar ve JPEG sıkıştırması 2D fotoğrafçılık için ne kadar önemliyse, 3D yakalama ve paylaşmanın hızını, kolaylığını ve erişimini büyük ölçüde artırıyor olabilir.
Instant NeRF teknolojisine yönelik uygulamalar, oyun yaratıcılarının projelerinde dijital taramaları kullanabilmeleri için gerçek ortamları veya kişileri hızlı bir şekilde taramaktan, gerçek nesnelerin şeklini ve boyutunu anlamak için kendi kendini süren arabaları veya robotları eğitmeye kadar çok çeşitli olabilir.
