Austin’deki Texas Üniversitesi’nden (UT Austin) Meta ve bir grup araştırmacı, meta veriye gerçekçi ses getirmek için çalışıyor.
Olarak Meta AI Araştırma Direktörü Kristen Garuman açıklıyor (yeni sekmede açılır), artırılmış ve sanal gerçeklik (sırasıyla AR ve VR) için yalnızca görsellerden daha fazlası var. Ses, bir dünyayı canlı hissettirmede çok önemli bir rol oynar. Garuman, “ses, içinde bulunulan ortam tarafından şekillendirilir” diyor. [it’s] içinde.” Bir odanın geometrisi, söz konusu odada ne olduğu ve birinin bir kaynaktan ne kadar uzakta olduğu gibi sesin nasıl davrandığını etkileyen çeşitli faktörler vardır.
Bunu başarmak için Meta’nın planı, hem sesi hem de videoyu tek bir yerden kaydetmek için AR gözlükleri kullanmak, ardından bir dizi üç AI modeli kullanmak, kaydı dönüştürmek ve temizlemek, böylece oynattığınızda önünüzde oluyormuş gibi hissettirmek. evde. AI’lar, bulunduğunuz odayı hesaba katacak ve böylece çevreye uyum sağlayacaktır.
Projelere bakıldığında Meta’nın AR gözlüklerine odaklandığı görülüyor. Meta’nın VR kulaklıkları planı, bir konser gibi bir ortamın görüntülerini ve seslerini çoğaltmayı içerir, böylece bizzat oradaymışsınız gibi hissettirir.
Meta’ya insanların gelişmiş sesi nasıl dinleyebileceğini sorduk. İnsanların dinlemek için bir çift kulaklığa ihtiyacı olacak mı yoksa kulaklıktan mı gelecek? Cevap alamadık.
Ayrıca Meta’ya geliştiricilerin bu AI modellerini nasıl elde edebileceklerini sorduk. Üçüncü taraf geliştiricilerin teknoloji üzerinde çalışabilmesi için açık kaynak haline getirildiler, ancak Meta daha fazla ayrıntı sunmadı.
AI tarafından dönüştürülmüş
Soru, Meta’nın bir çift AR gözlüğüne nasıl ses kaydedebileceği ve bunun yeni bir ayarı yansıtmasını sağlayabileceğidir.
İlk çözüm, bir AViTAR olarak bilinir. “Görsel Akustik Eşleştirme modeli.” (yeni sekmede açılır) Bu, sesi yeni bir ortama uyacak şekilde dönüştüren yapay zekadır. Meta, bir oditoryumda bir çift AR gözlükle çocuğunun dans resitalini kaydeden bir anne örneğini sunuyor.
Araştırmacılardan biri, söz konusu annenin bu kaydı alıp yapay zekanın sesi değiştireceği evde oynatabileceğini iddia ediyor. Çevreyi tarayacak, bir odadaki engelleri dikkate alacak ve aynı gözlükle tam önünde oluyormuş gibi resital sesine sahip olacak. Araştırmacı, sesin gözlüklerden geleceğini belirtiyor.
Sesi temizlemeye yardımcı olmak için Görsel Bilgili Dereverberation (yeni sekmede açılır). Temel olarak, dikkati dağıtan yankıyı klipten kaldırır. Verilen örnek, bir tren istasyonunda bir keman konseri kaydetmek, onu eve götürmek ve müzikten başka bir şey duymamanız için AI’nın klibi temizlemesini sağlamaktır.
Son AI modeli GörselSes (yeni sekmede açılır)Sesleri diğer seslerden ayırmak için görsel ve işitsel ipuçlarının bir kombinasyonunu kullanan . İki kişinin tartıştığı bir video çektiğinizi hayal edin. Bu AI, bir sesi izole edecek, böylece diğer her şeyi sustururken onları anlayabilirsiniz. Meta, görsel ipuçlarının önemli olduğunu açıklıyor çünkü yapay zekanın belirli nüansları anlamak ve kimin konuştuğunu bilmesi için kimin konuştuğunu görmesi gerekiyor.
Görsellerle ilgili olarak Meta, AI güdümlü sesi daha da geliştirmek için video ve diğer ipuçlarını getirmeyi planladıklarını belirtiyor. Bu teknoloji henüz geliştirme aşamasında olduğundan, Meta’nın bu AI’ları yakınınızdaki bir Quest başlığına getirip getirmeyeceği ve ne zaman getireceği bilinmiyor.
hakkındaki en son incelememizi okuduğunuzdan emin olun. Oculus Görevi 2 eğer bir tane satın almayı düşünüyorsanız. Spoiler uyarısı: beğendik.