Bayta, insanların gerçekçi videolarını üretebilen bir AI çerçevesi olan Omnihuman’ı geliştirir

Tiktok’un arkasındaki şirket olan Bytedance, son zamanlarda yeni bir yapay zeka (AI) çerçevesi üzerine araştırmasını paylaştı. Omnihuman olarak adlandırılan, tam vücut hareketi ve dudak senkronizasyonu ile gerçekçi insan videoları oluşturabilen bir video kuşak çerçevesidir. Araştırmacılar, çıktı oluşturmak için video veya ses gibi hareket sinyalleri ile birlikte bir insan imajı gerektirdiğini belirttiler. AI modeli kullanılarak oluşturulan birkaç gösteri videosu da paylaşıldı ve nihai çıktının gerçekçiliğini sergiledi. Özellikle, şirket AI modelinin kamuya açık alanda mevcut olduğunu belirtti.

Omnihuman gerçekçi insan videoları üretebilir

Araştırmacılar birkaç gösteriyi paylaştılar ve çerçeveyi detaylandırdı. web sitesi. Post, yeni bir multimodaliteli hareket koşullandırma karma eğitim stratejisi kullanılarak oluşturulmuş uçtan uca bir sistemdir. Araştırmacılar herhangi bir ölçüt metrikini paylaşmasalar da, AI modelinin “mevcut yöntemleri önemli ölçüde daha iyi performans gösterdiğini” iddia ettiler.

Omnihuman, kişinin görüntüsünü ve bir hareket sinyalini kullanarak videolar oluşturabilir. Hareket sinyalleri yalnızca ses, yalnızca video veya ses ve video kombinasyonu olabilir. AI modeli metin istemlerine dayalı gerçekçi videolar oluşturabilir. Bu videolar, uzuvların, yüz ifadelerinin ve dudak hareketinin arka planda çalan ses veya müzikle senkronize edilebileceği tam vücut olabilir. Omnihuman, kullanıcılara esneklik sağlayarak farklı yön oranlarında videolar oluşturabilir.

Omnihuman çıktı örneği
Fotoğraf Kredisi: Omnihuman

Hareket sinyallerinin kullanımı, şirketin Omni-koşullar eğitimi olarak adlandırdığı yeni bir tekniktir. Bununla birlikte, AI modeli metin, görüntü, ses ve video dahil olmak üzere farklı yöntemler üzerinde eğitilir. Araştırmacılar, bunun modelin yüksek kaliteli verilerin kıtlığını aşan karışık koşullandırma öğrenmesine izin verdiğini söyledi.

Özellikle, model 18.700 saatlik insan video verileri üzerinde eğitildi. Eğitim süreciyle ilgili ayrıntılar bir kağıt Çevrimiçi öncesi basılı dergi Arxiv’de yayınlandı.

Şirket ayrıca model kullanılarak üretilen birkaç video gösterisini paylaştı ve sonuçlar doğal vücut hareketleri, el hareketleri ve dudak hareketleri ile son derece gerçekçi görünüyor. Bu tür gerçekçilik de derin yapraklarla ilgili endişeleri ortaya çıkardı. Ancak şirket, AI modelinin şu anda indirilemeyeceğini ve insanların yeteneklerine erişmek için kullanabileceği hizmet olmadığını belirtmiştir.