Google, şaşırtıcı derecede yüksek kaliteli içerik oluşturabilen yeni bir yapay zeka modeli olan Lumiere ile metinden videoya dönüştürme konusunda yeni bir adım atıyor.
Teknoloji devi kesinlikle Imagen Video günlerinden bu yana çok yol kat etti. Konular Lumiere videolar artık yüzleri eriyen bu kabus gibi yaratıklar değil. Artık her şey çok daha gerçekçi görünüyor. Deniz kaplumbağaları deniz kaplumbağalarına benziyor, hayvanların kürkleri doğru dokuya sahip ve AI kliplerindeki insanlar (çoğunlukla) gerçek gülümsemelere sahip. Dahası, diğer metinden videoya üretken yapay zekalarda görülen garip sarsıntılı hareketlerin çok azı var. Hareket büyük ölçüde tereyağı kadar pürüzsüz. Inbar Mosseri, Google Araştırma Araştırma Ekibi Lideri, YouTube kanalında bir video yayınladı Lumiere’nin yeteneklerini gösteriyor.
Google, Lumiere’in içeriğinin mümkün olduğunca gerçeğe yakın görünmesini sağlamak için çok çalıştı. Geliştirici ekip bunu Uzay-Zaman U-Net mimarisi (STUNet) adı verilen bir şeyi uygulayarak başardı. STUNet’in arkasındaki teknoloji oldukça karmaşıktır. Ancak Ars Technica açıklıyorLumiere’in nesnelerin bir videoda nerede olduğunu, nasıl hareket ettiğini ve değiştiğini anlamasına olanak tanır ve bu eylemleri aynı anda oluşturarak akıcı bir yaratım sağlar.
Bu, önce kliplerde ana kareler oluşturan ve daha sonra boşlukları dolduran diğer üretken platformlara aykırıdır. Bunu yapmak, teknolojinin bildiği sarsıntılı hareketle sonuçlanır.
İyi donanımlı
Metinden videoya dönüştürmeye ek olarak, Lumiere’nin araç setinde çok modluluk desteği de dahil olmak üzere çok sayıda özellik bulunmaktadır.
Kullanıcılar kaynak görselleri veya videoları yapay zekaya yükleyebilecek ve böylece yapay zeka bunları kendi spesifikasyonlarına göre düzenleyebilecek. Örneğin, bir resim yükleyebilirsiniz İnci Küpeli Kız Johannes Vermeer’in boş boş bakmak yerine gülümsediği kısa bir klibe dönüştürün. Lumiere ayrıca, resimlerin vurgulanan bölümlerini canlandırabilen Sinemagraf adı verilen bir yeteneğe de sahiptir.
Google bunu bir çiçeğin üzerinde duran kelebeği seçerek gösteriyor. Yapay zeka sayesinde, çıkış videosunda kelebeğin kanatlarını çırpması sağlanırken etrafındaki çiçekler sabit kalıyor.
Konu video olduğunda işler özellikle etkileyici hale geliyor. Başka bir özellik olan Video Inpainting, AI’nın kliplerin bölümlerini düzenleyebilmesi açısından Cinemagraph’a benzer şekilde çalışır. Bir kadının desenli yeşil elbisesi parlak altın ya da siyaha dönüşebilir. Lumiere, video konularını değiştirmek için Video Stilizasyonu sunarak bir adım daha ileri gidiyor. Yolda giden sıradan bir araba, tamamen ahşaptan veya Lego tuğlalarından yapılmış bir araca dönüştürülebilir.
Hala çalışma aşamasında
Lumiere’i halka açma planlarının olup olmadığı veya Google’ın bunu yeni bir hizmet olarak uygulamaya koymayı planlayıp planlamadığı bilinmiyor.
Belki de yapay zekanın gelecekteki bir Pixel telefonda Magic Editor’ın evrimi olarak ortaya çıktığını görebiliriz. Eğer aşina değilseniz, Magic Editor “Yapay Zeka işleme” özelliğini kullanır. [to] Pixel 8’deki fotoğraflardaki alanları veya nesneleri “akıllıca” değiştirin. Video İç Boyama bize teknolojinin doğal bir ilerlemesi gibi görünüyor.
Şimdilik ekip konuyu kapalı kapılar ardında tutacak gibi görünüyor. Bu yapay zeka ne kadar etkileyici olsa da hala sorunları var. Sarsıntılı animasyonlar mevcut. Diğer durumlarda deneklerin uzuvları lapaya dönüşüyor. Daha fazlasını öğrenmek istiyorsanız Google’ın Lumiere hakkındaki araştırma makalesini şu adreste bulabilirsiniz: Cornell Üniversitesi’nin arXiv web sitesi. Dikkatli olun: yoğun bir okumadır.
TechRadar’ın 2024’ün en iyi yapay zeka sanat yaratıcıları listesine göz atmayı da unutmayın.