Google, yeni bir yapay zeka video modeli başlattı Lumiere tam bir video klipte tutarlı, pürüzsüz ve gerçekçi hareketler oluşturabileceğini iddia ediyor.
Mevcut AI video modellerinin çoğu, hareketin tutarlılığı konusunda zorluk yaşıyor ve doğal bir yürüyüş yakalamayı başarsalar bile, diğer unsurlar dalgalı olacak veya manzarayla birleşecek.
Lumiere video oluşturmaya farklı bir yaklaşım getiriyor. Tek tek kareleri bir araya getirmek yerine, nesnelerin yerleşimini ve hareketlerini aynı anda ele alarak videonun tamamını tek bir süreçte oluşturuyor.
Önizleme klipleri etkileyici görünse de, bu sadece bir araştırma projesi olduğu için kendiniz denemeniz mümkün değil. Bununla birlikte, AI videosuna yönelik temel teknoloji ve yaklaşım, kendisini gelecekteki bir Google ürününe entegre edilmiş halde bulabilir ve bu alanda önemli bir oyuncu olabilir.
Lumiere nasıl çalışır?
Lumier, metinden videoya ve görüntüden videoya çalışarak, videodaki bir öğenin tam olarak nasıl görüneceğine ince ayar yapmak için referans görüntüden stilize edilmiş bir oluşturma olanağı sunuyor. Bunlardan bazıları Runway ve Pika Labs modelleriyle zaten mümkün.
Bu yapay zeka modeli bir uzay-zaman mimarisi üzerine inşa edilmiştir ve bu bir bilim kurgu filminden fırlamış gibi görünse de gerçekte hareket ve konumun tüm yönlerini dikkate aldığı anlamına gelir.
Oluşturma sürecinde model, nesnelerin nereye yerleştirilmesi gerektiğini veya klibin “uzay” yönünün yanı sıra nesnelerin ne zaman ve nasıl hareket ettiğini veya “zaman” unsurunu da inceliyor. Tutarlı hareket oluşturmak için her iki yönü de tek bir geçişte aynı anda gerçekleştirir.
Araştırmacılar şöyle yazdı: ön baskı kağıdı modunda: “Modelimiz, tam kare hızında, düşük çözünürlüklü bir videoyu birden fazla uzay-zaman ölçeğinde işleyerek doğrudan oluşturmayı öğreniyor.”
Lumiere başka ne yapabilir?
Üretken yapay zeka videosu ilk ortaya çıkmaya başladığında öncelikli odak noktası kısa bir video klip oluşturmaktı ancak teknoloji olgunlaştıkça diğer özellikler de ortaya çıkmaya başlıyor. Runway, bir görüntünün farklı bölgelerini vurgulama ve bunların bağımsız olarak canlandırılmasını sağlama yeteneği sunar.
Google Araştırma ekibi, Lumier’in “metinden videoya dönüştürmede son teknoloji sonuçlar” elde ettiğini ve “çok çeşitli içerik oluşturma görevlerini ve video düzenleme uygulamalarını kolaylaştırdığını” söylüyor.
Daha yumuşak hareket vaadinin yanı sıra, görüntünün belirli bölgelerini göreceli olarak kolaylıkla canlandırabildiğini ve bir çerçeve içinde yer alan kıyafet tarzını veya hayvan türünü değiştirmek gibi iç boyama yetenekleri sunabildiğini söylüyorlar.
Lumiere’i gerçek dünyada görme ihtimalimiz var mı?
Google, Microsoft ve Meta gibi şirketlerin ortaya koyduğu pek çok araştırma projesi, ön izleme formunda gün yüzüne çıkmıyor. Bununla birlikte, temeldeki teknoloji kendisini markalı ürünlere dahil edilmiş halde buluyor.
Bu, Google’ın ilk yapay zeka video aracı bile değil. Bunun video versiyonu var Resim Google Cloud’da AI görüntü oluşturmayı destekleyen model ve VideoŞair Sıfır çekimli video üretimi için geniş bir dil modelidir.
Video Şairi ayrıca kılavuz olarak metne ihtiyaç duymadan bir video klipten ses oluşturdu. Google, Video Şairi modelinin aynı zamanda güçlü nesne kimliğine sahip herhangi bir süreye sahip bir video üretmek için sürekli olarak bir saniyelik uzantılar oluşturabildiğini söylüyor. Bu aynı zamanda şu anda halka açık değildir.
Lumiere’yi gerçek dünyada görüp göremeyeceğiz sorusunun cevabı, araştırmacılar tarafından ne kadar iyi karşılandığı ve Google’ın dahil edilmeye değer bir projesinin olup olmadığıyla alakalı. Imagen gibi, büyük ölçüde Google Cloud kullanan üçüncü taraf geliştiricilere ayrılmış olabilir.
Tom’s Guide’dan daha fazlası
Ultrabook Dizüstü Bilgisayarlara Geri Dön
