Meta (vakti zamanında Facebook) üç yeni yapay zeka inşa etti (yapay zeka) karma ve sanal gerçeklik deneyimlerinde sesi daha gerçekçi hale getirmek için tasarlanmış modeller.
Üç AI modeli — Görsel-Akustik Eşleştirme, Görsel Bilgili Dereverberation ve GörselSes Şirketten yapılan açıklamada, insan konuşmasına ve videodaki seslere odaklanıldığı ve “bizi daha hızlı bir şekilde daha sürükleyici bir gerçekliğe doğru” itmek için tasarlandığı belirtildi.
Meta’nın AI araştırmacıları ve Reality Labs ekibinden ses uzmanları, “Akustik, meta veri tabanında sesin nasıl deneyimleneceği konusunda bir rol oynuyor ve AI’nın gerçekçi ses kalitesi sunmanın özü olacağına inanıyoruz” dedi.
AI modellerini Austin’deki Texas Üniversitesi’nden araştırmacılarla işbirliği içinde oluşturdular ve bu modelleri görsel-işitsel anlayış için geliştiricilere açık hale getiriyorlar.
Kendi kendini denetleyen Görsel-Akustik Eşleştirme modeli, aviTARsesi hedef görüntünün alanıyla eşleşecek şekilde ayarlar.
Kendi kendini denetleyen eğitim hedefi, akustik olarak uyumsuz ses ve etiketlenmemiş veri eksikliğine rağmen, vahşi web videolarından akustik eşleştirmeyi öğrenir, Meta’ya bilgi verdi.
VisualVoice, görsel-işitsel konuşma ayrımı elde etmek için etiketlenmemiş videolardan görsel ve işitsel ipuçlarını öğrenerek, insanların yeni becerilerde nasıl ustalaştığına benzer bir şekilde öğrenir.
Örneğin, dünyanın dört bir yanından meslektaşlarla metaverse’de bir grup toplantısına katılabildiğinizi hayal edin, ancak daha az sohbet eden ve birbirleri hakkında konuşan insanlar yerine, sanal alanda hareket edip katıldıkça yankı ve akustik buna göre ayarlanır. daha küçük gruplar.
“VisualVoice, farklı senaryolardan oluşan zorlu gerçek dünya videolarına genelleme yapıyor” dedi. meta yapay zeka araştırmacılar
FacebookheyecanLinkedin