Geçtiğimiz günlerde Almanya’daki yaşlı annemi ziyaret ettiğimde, bunun onu yirmi yılı aşkın süredir evi olarak gördüğü küçük şirin evinde son kez göreceğimi fark ettim. Ben de herkesin yapacağı şeyi yaptım: Telefonumu çıkardım ve mümkün olduğu kadar çok anıyı saklamak için mekanın bir sürü fotoğrafını çektim: sıcak şömine; tanıdık kitaplarla dolu raflar; yıllar önce özel bir doğum günü kutlaması sırasında herkesin imzaladığı, ön taraftaki cılız eski bahçe bankı.
Daha sonra başka bir şey denedim. açtım Tarama evrenibir 3D tarayıcı uygulaması Pokémon Git yapımcı Niantic ve bu şeylerden bazılarını 3 boyutlu nesneler olarak yakaladım, çömelerek ve parmak uçlarımda dolaşarak etraflarında dolaşırken, ben her açıyı ve santimetreyi kaydetmek için telefonumu yavaşça hareket ettirdim. Sonuçlar kenarlarda biraz kusurluydu, ancak yine de derin hissettirdiler. Daha sonra taramaları hem telefonumda hem de VR kulaklıkla açtığımda, o yıpranmış bahçe bankına, sanki tam önünde duruyormuşum gibi her açıdan bakabildim. Bu deneyim beni hazırlıklı olmadığım şekillerde duygusal olarak etkiledi.
Bu deneyim, iki yıldan kısa bir süre önce icat edilen ve halihazırda teknoloji endüstrisini kasıp kavuran yeni bir 3 boyutlu yakalama yöntemi olan Gaussian sıçrama sayesinde mümkün oldu. Hem Niantic hem de Google bunu kendi haritalama ürünlerini oluşturmak için kullanıyor; Snap, Lens Studio geliştirici platformuna, Gaussian splatting ile yakalanan nesnelere halk arasında verilen isim olan uyarılar için destek ekledi ve Meta, tıpkı gerçek dünyaya benzeyen bir metaveren oluşturmak için Gaussian splatting’i kullanmak istiyor.
Teknoloji şirketleri, üç boyutlu nesneleri fotogerçekçi olarak yakalama ve ardından dijital olarak yeniden oluşturma yeteneği nedeniyle Gaussian sıçramasına hayran kalıyor. Yakında herkesin odaların tamamını taramasına ve Hollywood ve ötesindeki yaratıcıların 3D video kaydetme biçimini değiştirmesine olanak tanıyacak. Üretken yapay zeka ile birleştirildiğinde, yalnızca mevcut alanları korumakla kalmayıp aynı zamanda bizi tamamen yeni 3 boyutlu dünyalara taşıma potansiyeline de sahiptir.
AR/VR uzmanı ve yatırımcı Tipatat Chennavasin, “Bu büyük bir oyun değiştirici” dedi. Kurucu ortağı ve genel ortağı olarak Girişim Gerçeklik FonuChennavasin’in bu teknolojinin başarısında mali çıkarı var. Bir inek ve eski bir 3D sanatçısı olarak ona aşık oldu ve onu bir şeye benzetti. Uzay Yolu Mürettebat üyelerinin gerçek ve hayali alanların holografik 3 boyutlu simülasyonlarına girmelerine olanak tanıyan sanal güverte. “Fotogerçek bir sanal güverteye ulaşmaya başlıyoruz.”
Her seferinde bir uyarıyla dünyanın 3 boyutlu haritasını oluşturmak
Telefonunuzda bile nesneleri 3 boyutlu olarak yakalamak yeni değil. Bununla birlikte, önceki çabaların çoğu, daha önce bir mobil AR uygulaması kullanmışsanız göreceğiniz türden üçgen, siberpunk görünümlü ağlar olan çokgenlere dayanıyordu.
Çokgen ağ tabanlı 3 boyutlu yakalama ve yeniden oluşturma, düz yüzeyli temel nesneler için yeterince iyidir, ancak ayrıntılı dokular ve karmaşık ışıklandırmayla zorluk yaşayabilir. Bu şekilde yakalanan nesneler genellikle plastik gibi ve gerçek dışı görünüyor ve 3D ile çekilen insanlar, tek tek saç tellerine sahip olmak yerine her zaman çok fazla jel kullanmış gibi görünüyor. Chennavasin, “O zamanlar umut vericiydi ancak her zaman büyük sınırlamaları vardı” dedi.
Tüm bunlar, 2023 yazında bir grup Avrupalı bilim insanının “3D Gauss sıçraması” adını verdikleri bir şey üzerine bir makale yayınlamasıyla değişti. Soruna yaklaşımları, ağları bir kenara bırakmak ve bunun yerine 3 boyutlu nesneleri, Gaussian olarak da bilinen bulanık, yarı saydam lekelerden oluşan bir koleksiyon olarak yakalamaktı.
Bu lekelerin her biri, rengi, konumu, ölçeği, dönüşü ve şeffaflık düzeyi hakkında kesin bilgilerle yakalanır ve bunlardan milyonlarcasını birleştirdiğinizde, bir 3B nesnenin, aynı zamanda dışarıdan nasıl göründüğünü de ayrıntılarıyla anlatan çok daha ayrıntılı bir resmini elde edersiniz. Tüm bu ek veriler sayesinde herhangi bir açıda. Makine öğrenimini kullanarak nesneleri çok daha fazla ayrıntıyla, daha yüksek doğrulukla yakalayabildiler ve ağır grafik işleme donanımlarına ihtiyaç duymadan bunları gerçek zamanlı olarak işleyebildiler.
Alandaki uzmanlar sonuçlar karşısında hemen şaşkına döndü. Chennavasin, “Sonunda fotogerçekçi gerçek 3D’ye sahip olma şansına sahibiz” dedi. “Uzamsal hesaplama için JPEG anı.”
Niantic Mühendislikten Sorumlu Kıdemli Başkan Yardımcısı Brian McClendon, Gauss uyarılarının 3D grafik alanında 30 yılı aşkın süredir kaydedilen en derin ilerleme olduğuna inanıyor. Bunu köklü bir değişiklik olarak görüyoruz” dedi.
“Bunu köklü bir değişiklik olarak görüyoruz”
McClendon’a göre Gaussian sıçraması 3D yakalamayı demokratikleştirecek ve Niantic bu değişimin ön saflarında yer almak istiyor. Scaniverse uygulamasını edindikten sonra 2021’deNiantic, yakalama teknolojisi olarak Gauss sıçramasını ekledi geçen sene. Ağustos ayında hizmete açıldı yeni bir versiyon Sıçramayı öne ve merkeze koyan Scaniverse. Şirket ekim ayında açık kaynaklı Uyarılar için kendi dosya formatı. Aralık ayında Scaniverse, VR’ye genişletilerek kullanıcıların Gauss uyarılarına bakmasına olanak tanıdı Meta’nın Quest kulaklıklarında.
Niantic’in sıçramayı zorlamak için kendi nedenleri var. Scaniverse, kişisel hatıra eşyaları ve diğer bireysel nesneleri yakalamaya yönelik bir uygulama olarak yola çıktı, ancak Niantic artık insanları heykelleri, çeşmeleri ve diğer halka açık ilgi çekici yerleri de taramaya teşvik ediyor. Şirket bu taramaları sistemin temel bileşenleri olarak görüyor. İnşa ettiği dünyanın 3 boyutlu haritası — güç veren aynı harita Pokémon Git, Peridotve gelecekteki jeouzaysal AR oyunları ve deneyimleri. McClendon, “Haritaya ve dış mekanı tarayıp yeniden yapılandırmaya çok odaklandık” dedi.
“Bunlardan zaten yüzbinlercesine sahibiz [types of scans] Şu anda Scaniverse’teyiz,” dedi McClendon. “Umarım yakında bir milyona ulaşırız.”
Uyarılar 3D video yakalamayı değiştiriyor
Gauss uyarıları yalnızca statik içeriği yakalamak için değildir. Bilgisayarla görme başlangıcı Gracia AI Meta Quest kulaklıklarında görüntülenebilen hacimsel 3D videoları kaydetmek için bu teknolojiyi kullanıyor. Bu kliplerden biri bir şef gösterir İzleyiciler VR’da aksiyona tüm açılardan bakabiliyor ve hatta yakınlaştırıp bıçağının parlak bir çiğ somon parçasını dilimlediğini gözlemleyebiliyor.
Gracia bu videoyu profesyonel bir 3D yakalama stüdyosunda, şefe her açıdan yönlendirilmiş 40 kamera dizisini kullanarak kaydetti. Profesyoneller yıllardır AR ve VR deneyimleri için holografik içerikleri bu şekilde kaydediyor; ancak bir kez daha, çokgenlerden Gauss uyarılarına geçiş büyük fark yaratıyor.
Daha önce, 3D video çekimi, yakalanan kişiler için sıkı kıyafet kurallarına yol açan bir dizi görsel zorlukla karşılaşıyordu: yoğun desenler yoktu, yarı saydam hiçbir şey yoktu, garip eserlere yol açabilecek gevşek veya sarkan hiçbir şey yoktu. Microsoft birkaç yıl önce David Attenborough’u bu şekilde yakaladığında, yakasını gömleğine bile yapıştırmak zorunda kaldı ve yakalama sürecini bozabilecek yarım kalmış işlerden tam anlamıyla kaçınmak için müstehcen miktarlarda saç spreyi kullanın.
“Gauss uyarılarıyla bu kadar yaratıcı esnekliğe sahip olmanız şaşırtıcı.”
Gauss uyarılarıyla tüm bu sınırlamalar ortadan kalkar. Chennavasin’in Girişim Gerçeklik Fonu’nu şirketinin yatırımcıları arasında sayan Gracia’nın kurucu ortağı ve CEO’su Georgii Vysotskii, “Kıyafet konusunda herhangi bir kısıtlama yok, saç konusunda da herhangi bir kısıtlama yok” dedi. Önceki nesil hacimsel video çekimi, gölgeleri ortadan kaldırmak için göz kamaştırıcı miktarda ışık gerektirirken, Gracia sahneleri neredeyse tamamen karanlıkta kaydetmeyi başardı. Vysotskii, “Tüm gölgeleri bırakıp sanatsal aydınlatmayı kullanabilirsiniz” dedi. “Gauss uyarılarıyla bu kadar yaratıcı esnekliğe sahip olmanız şaşırtıcı.”
Bu, hâlâ zorlukların olmadığı anlamına gelmiyor. Şu anda, Gaussian sıçrayan klipler hala dakika başına 9 GB veri gerektiriyor; bu, akış için veya kısa bir teknoloji demosunun ötesinde herhangi bir şey için çok fazla. Vysotskii, şirketin şu anda bunu dakikada 2-3 GB’a düşürmeye çalıştığını ve 180 derecelik hacimsel VR videolarının dakikada 1 GB kadar az veri gerektirebileceğini söyledi. Bu tür kliplerin, Supernatural veya profesyonel eğitim içerikleri gibi VR egzersiz uygulamalarındaki eğitmenlerin kayıtlarının yerini almasını öngörüyor çünkü bu klipler, kullanıcıların talimatlara her açıdan bakmasına olanak tanıyor.
Meta’nın Gauss uyarılarına yönelik iddialı planları
Gauss uyarılarının bugüne kadarki en iddialı demolarından biri Meta tarafından oluşturuldu. Hiper manzaraŞirketin bu sonbaharda Meta Connect konferansında tanıttığı, Meta’nın Quest kulaklıklarına yönelik, kullanıcıların fotogerçekçi 3D görüntüleri keşfetmesine olanak tanıyan bir uygulamadır. Uygulama, beş sanatçı stüdyosu ve Meta’nın kampüsünde bir zamanlar Mark Zuckerberg’in ofisi olarak hizmet veren bir konferans odası da dahil olmak üzere altı taranmış alanla başlatıldı.
Hyperscape, bu alanlarda özgürce hareket etmenize olanak tanır ve bu, bu tür bir görsel sadakatle büyüleyici bir deneyimdir. Karma medya sanatçısı Dianne Hoffman’ın San Francisco’daki stüdyosunda sayısız oyuncak bebek ve “yılan derisi ve deniz kabukları” etiketli bir kutu içeren pek çok tuhaflığa göz atabilirsiniz. Görsel sanatçı Daniel Arsham’ın kapsamlı Porsche koleksiyonuna hayranlıkla bakabilir ve hatta Zuck’ın eski ofisinin penceresinin dışındaki eğrelti otlarına ve ağaçlara bakabilirsiniz. Çizimler o kadar gerçek ki Meta, tasvir edilen mobilyaların hiçbirine yaslanmama konusunda bir uyarı eklemek zorunda kaldı.
Şu anda Hyperscape, özel bir teknoloji demosundan çok daha fazlası değil. Ancak Meta Horizon OS ve Quest Başkan Yardımcısı Mark Rabkin’in bu sonbaharda Meta Connect’te bana söylediği gibi, Meta’nın Gauss uyarıları için büyük planları var. Rabkin, Meta’nın sosyal VR platformuna atıfta bulunarak, “Gauss uyarıları bizim için zaten Horizon motoruna benzeyen bir motorda çalışıyor” dedi. “Yani teknolojik olarak onu bir dünyada çalıştırmanın yolu oldukça kısa.”
Meta, uyarıları VR yaratıcılarının sürükleyici dünyalar ve deneyimler oluşturması için başka bir araç olarak görüyor. Ufuk Dünyaları. Şirketin sonunda herkesin kendi evini taramasına ve ardından bunun dijital bir kopyasını metaveriye yüklemesine izin verme planları bile var. Kesinlikle, dedi Rabkin. “Biz de bunun için çalışıyoruz.”
“Bunu ölçeklendirmenin bir yolu var mı? Bilmiyorum.”
Bu çalışmanın ne kadar süreceği belli değil Ufuk Dünyaları o zamana kadar mevcut haliyle ayakta kalıp kalmayacağı tamamen başka bir sorudur. Meta bu hikaye için takip röportajlarına katılmayı reddetti ancak Niantic’ten McClendon, Hyperscape gibi bir tarama aracı oluşturmanın karmaşıklığının hafife alınmaması konusunda uyardı.
McClendon, “Temel olarak mükemmel bir görüntü oluşturdular” dedi. Kendisi, Meta’nın muhtemelen her oda için birden fazla taramayı birleştirdiğini ve ayrıca büyük miktarda manuel düzenleme ve temizleme de yaptığını öne sürdü. Ortaya çıkan taramalar bir cihazda gerçek zamanlı olarak işlenemeyecek kadar büyük olduğundan, Meta bunları bulutta işliyor ve doğrudan kulaklıklara aktarıyor.
McClendon, “Bu ölçeklenmiyor ama gerçekten iyi görünüyor” dedi. “Bunu ölçeklendirmenin bir yolu var mı? Bilmiyorum.”
Sanal güverteye net bir atış
Gauss sıçratma teknolojisinin gelişimi hızlı bir şekilde ilerlemektedir. McClendon bana konuyla ilgili yeni bilimsel makalelerin yayınlanma hızının üretken yapay zeka araştırmalarının hızını yansıttığını söyledi. “Makaleler şu anda çok hızlı yayınlanıyor” dedi. “Heyecan gerçek.” Chennavasin, geliştirdikleri teknolojinin hızla hayata geçirildiğini söyledi. “Ya da yeni girişimlere dönüştü.”
Bir atılım için olgunlaşmış alanlardan biri uyarılar ve yapay zekanın birleşimidir. Üretken yapay zeka, Gauss uyarılarının yakalanmasını ve işlenmesini iyileştirerek potansiyel olarak Gracia AI gibi bir şirketin çok daha az kamerayla video çekmesine olanak tanıyabilir. Aynı zamanda, çok daha fazla kişinin 3B nesneleri ve sahneleri yakalaması, üretken 3B video modelleri için yüksek kaliteli eğitim verilerinin miktarını da önemli ölçüde artıracaktır.
“Bu bir gecede olmuyor. Ama artık açık bir atış.”
Tüm bunlar, sıradan insanların yapay zeka yönlendirmeleri, Gauss uyarı görüntüleri veya her ikisinin karışımıyla fotogerçekçi 3 boyutlu alanlar oluşturabileceği ve daha sonra bu alanlara VR kulaklıklar veya AR gözlüklerle girebileceği bir geleceğe işaret ediyor.
Chennavasin, “XR’ın muhteşem uygulaması çok oyunculu bir sanal güvertedir” dedi. “Üretken yapay zeka ve Gauss uyarıları, onu gerçeklikten neredeyse ayırt edilemeyecek bir görsel doğrulukta nasıl yarattığımızı gösteriyor. Bir gecede olmuyor. Ama artık açık bir atış.”
Böylesine ulaşılabilir bir gelecek şu soruyu gündeme getiriyor: Eğer bir sanal güverteniz olsaydı ilk önce neyi ziyaret ederdiniz? Henüz seyahat etme fırsatı bulamadığınız uzak yerlerin fotogerçekçi yorumlamaları mı? Ünlü kayıt stüdyoları, müzeler veya kütüphaneler? Veya ortaçağ kaleleri, zindanlar veya Marvel film setleri gibi fantastik dünyalar mı?
Benim için bu sadece annemin küçük şirin evi ve o köhne bahçe bankı olabilir.
