Nvidia araştırmacıları, bir avuç 2B görüntüden “neredeyse anında” bir 3B sahneyi yeniden yapılandırmak için bir yaklaşım geliştirdiler. Yeni bir blog yazısı tarif eder Rakip uygulamalara kıyasla 1.000 kata kadar hızlandırılan nöral parlaklık alanları (NeRF) adı verilen popüler yeni bir teknolojiden yararlanan başarı. Nvidia’nın işlem hızı, büyük ölçüde, hem model eğitimini hem de sahne oluşturmayı hızlandıran Tensor Çekirdeklerinden yararlanan AI hızlandırmasından kaynaklanmaktadır. İlgileniyorsanız ancak bir TLDR istiyorsanız, doğrudan aşağıya yerleştirilmiş kısa videoya bir göz atın.
Nvidia, demosuna bir miktar bağlam sağlayarak, önceki NeRF tekniklerinin bir sahne için eğitilmesinin saatler sürebileceğini ve ardından hedef sahneleri oluşturmanın dakikalar alabileceğini söylüyor. Önceki daha yavaş uygulamaların sonuçları iyi olsa da, AI teknolojisinden yararlanan Nvidia araştırmacıları performansa bir roket attı ve bu nedenle Nvidia, teknolojisini “Anında NeRF” olarak tanımlama güvenine sahip.
Muhtemelen zaten tahmin etmişsinizdir, ancak bu NeRF teknolojisi, 2B görüntülerin girdi koleksiyonuna dayalı gerçekçi 3B sahneleri temsil etmek ve işlemek için sinir ağlarını kullanır. Yukarıdaki video, hareket halinde gördüğümüz 3B temsili oluşturmak için sadece dört adet enstantane gerektiğini ima ediyor. Bununla birlikte, blog, “sinir ağının, sahnenin çeşitli noktalarından alınan birkaç düzine görüntü ve bu çekimlerin her birinin kamera konumunu gerektirdiğini” açıklamakta daha gerçekçi olabilir. Sinir ağı, 360 derecelik sahnenin tüm boşluklarını doldurur ve daha fazla gerçekçilik için 3B uzayın herhangi bir noktasından herhangi bir yönde yayılan ışığın rengini tahmin edebilir. Nvidia, tekniğin tıkanmalar üzerinde çalışabileceğini söylüyor.
Anında NeRF ile Nvidia, onlarca milisaniyede yukarıda açıklandığı gibi tam bir 3D sahnenin oluşturulmasını kolaylaştırır. Bu etkileyici, ama ne işe yarayabilir? Nvidia’nın grafik araştırmalarından sorumlu Başkan Yardımcısı David Luebke, teknoloji için büyük umutlara sahip. Luebke, “Çokgen ağlar gibi geleneksel 3B temsiller vektör görüntülerine benziyorsa, NeRF’ler bitmap görüntüleri gibidir: ışığın bir nesneden veya bir sahneden yayılma şeklini yoğun bir şekilde yakalarlar” dedi. “Bu anlamda, Anında NeRF, 3D için dijital kameralar ve JPEG sıkıştırması 2D fotoğrafçılık için ne kadar önemliyse, 3D yakalama ve paylaşmanın hızını, kolaylığını ve erişimini büyük ölçüde artırıyor olabilir.”
Instant NeRF teknolojisi için öngörülen diğer kullanımlar arasında robotlara ve otonom araçlara eksik verilerden gerçek dünyadaki nesnelerin boyutunu ve şeklini anlamaları için yardım sağlanması yer alıyor. Anında NeRF, sanal ortam tasarımı ve hatta mimari için hızın önemli olduğu durumlarda da değerli olabilir. Aynı zamanda oyun ve VR/metaverse geliştiricilerinin de ilgisini çekecektir.
Instant NeRF hakkında daha derinlemesine okumak istiyorsanız, Nvidia araştırması adlı bir makale yayınladı. Çok Çözünürlüklü Karma Kodlama ile Anında Sinirsel Grafik İlkelleri. Son olarak, aynı GitHub bağlantısı üzerinden sunulan demo kodunu da indirebilir, eğitebilir ve çalıştırabilirsiniz.