Hollywood karışmış olabilir AI’yı içeren devam eden iş anlaşmazlıklarında, ancak teknoloji film ve TV’ye çok çok uzun zaman önce sızdı. Şu tarihte: İMGRAF Los Angeles’ta algoritmik ve üretken araçlar sayısız konuşma ve duyuruda sergilendi. Henüz GPT-4 ve Stabil Difüzyon gibi özelliklerin nereye uyduğunu bilmiyor olabiliriz ancak prodüksiyonun yaratıcı tarafı bunları kucaklamaya hazır — eğer sanatçıların yerini almaktan ziyade onları güçlendirecek şekilde yapılabilir.
SIGGRAPH bir film ve TV prodüksiyon konferansı değil, bilgisayar grafikleri ve görsel efektlerle ilgili bir konferanstır (50 yıldır!) ve konular doğal olarak son yıllarda giderek daha fazla örtüşmektedir.
Bu yıl, odadaki fil grevdi ve bu greve çok az sunum veya konuşma dahil edildi; ancak etkinlik sonrası partilerde ve ağ oluşturma etkinliklerinde, aşağı yukarı herkesin gündeme getirdiği ilk şey bu oldu. Öyle olsa bile, SIGGRAPH teknik ve yaratıcı beyinleri bir araya getirmeye yönelik bir konferans ve aldığım izlenim şuydu: “Berbat ama bu arada zanaatımızı geliştirmeye devam edebiliriz.”
Üretimde yapay zekayla ilgili korkuların yanıltıcı olduğu söylenemez ama kesinlikle biraz yanıltıcıdır. Görüntü ve metin modelleri gibi üretken yapay zeka büyük ölçüde gelişti ve yazarların ve sanatçıların yerini alacakları endişesine yol açtı. Ve kesinlikle stüdyo yöneticilerinin yapay zeka araçlarını kullanarak yazarları ve oyuncuları kısmen değiştirme yönünde zararlı ve gerçekçi olmayan umutları var. Ancak yapay zeka, önemli ve sanatçı odaklı görevleri yerine getirerek uzun süredir sinema ve televizyonda varlığını sürdürüyor.
Bunu çok sayıda panelde, teknik makale sunumlarında ve röportajlarda sergilendiğini gördüm. Elbette VFX’te yapay zekanın geçmişi ilginç olurdu, ancak şimdilik burada yapay zekanın çeşitli biçimlerinin, efektlerin ve prodüksiyon çalışmalarının en ileri noktasında gösterilme yollarından bazıları yer alıyor.
Pixar’ın sanatçıları makine öğrenimi ve simülasyonları hayata geçiriyor
İlk örneklerden biri, son filmleri Elemental’de kullanılan animasyon teknikleriyle ilgili bir çift Pixar sunumunda geldi. Bu filmdeki karakterler diğerlerine göre daha soyut ve ateşten, sudan veya havadan yapılmış bir insan yaratma ihtimali hiç de kolay değil. Bu maddelerin fraktal karmaşıklığını, “gerçek” görünmeye devam ederken açıkça hareket edebilen ve kendini açıkça ifade edebilen bir bedene dönüştürdüğünüzü hayal edin.
Animatörlerin ve efekt koordinatörlerinin birbiri ardına açıkladığı gibi, düzinelerce karakteri oluşturan alevleri, dalgaları veya buharları simüle eden ve parametreleyen prosedürel üretim, sürecin temelini oluşturuyordu. Bir karakterden yayılan her küçük alev veya bulut tutamını elle şekillendirmek ve canlandırmak hiçbir zaman bir seçenek olmadı; bu, yaratıcı bir çalışma olmaktan ziyade son derece sıkıcı, emek yoğun ve teknik bir iş olurdu.
Ancak sunumlarda da açıkça görüldüğü gibi, istenen efektleri yaratmak için ağırlıklı olarak simülasyonlara ve gelişmiş malzeme gölgelendiricilere dayanmasına rağmen, sanatsal ekip ve süreç, mühendislik tarafıyla derinden iç içe geçmişti. (Ayrıca bu amaçla ETH Zürih’teki araştırmacılarla da işbirliği yaptılar.)
Bir örnek, ana karakterlerden biri olan, alevden yapılmış Ember’in genel görünümüydü. Sonucu etkilemek için alevleri simüle etmek, renkleri değiştirmek veya birçok kadranı ayarlamak yeterli değildi. Sonuçta alevlerin yalnızca alevlerin gerçek hayatta göründüğü şekli değil, sanatçının istediği görünümü de yansıtması gerekiyordu. Bu amaçla “hacimsel sinir stili aktarımı” veya NST’yi kullandılar; stil aktarımı, çoğu kişinin, örneğin bir selfienin Edvard Munch’un veya benzerlerinin stiline dönüştürülmesiyle deneyimleyeceği bir makine öğrenme tekniğidir.
Bu durumda ekip, “ateş simülasyonunun” ham voksellerini veya üretilen alevleri aldı ve bunu, karakterin alevlerinin nasıl görünmesini istediklerine dair bir sanatçının ifadesine göre eğitilmiş bir stil aktarım ağından geçirdi: daha stilize, daha az simüle edilmiş. Ortaya çıkan vokseller, bir simülasyonun doğal, öngörülemeyen görünümünün yanı sıra, sanatçının seçimine göre şaşmaz bir kadroya da sahip.
Ember’in alevlerine stil katan basitleştirilmiş NST örneği. Resim Kredisi: Pixar’ın
Tabii ki animatörler filmi yapay zeka kullanarak oluşturdukları fikrine karşı hassaslar ama durum böyle değil.
Sunum sırasında Pixar’dan Paul Kanyuk, “Biri size Pixar’ın Elemental’i yapmak için yapay zekayı kullandığını söylerse bu yanlıştır” dedi. “Silüet kenarlarını şekillendirmek için hacimsel NST kullandık.”
(Açık olmak gerekirse, NST, AI şemsiyesi altında tanımlayabileceğimiz bir makine öğrenme tekniğidir, ancak Kanyuk’un vurguladığı nokta, bunun sanatsal bir sonuca ulaşmak için bir araç olarak kullanıldığıydı – hiçbir şey basitçe “AI ile yapılmadı”. )
Daha sonra animasyon ve tasarım ekiplerinin diğer üyeleri, bir manzarayı bir sanatçının paletine veya ruh hali panosuna uyacak şekilde yeniden renklendirmek veya şehir bloklarını “kahraman”dan dönüştürülmüş benzersiz binalarla doldurmak gibi şeyler yapmak için prosedürel, üretken veya stil aktarım araçlarını nasıl kullandıklarını açıkladılar. elle çizilmiş olanlar. Net tema, yapay zeka ve yapay zekaya bitişik araçların sanatçıların amaçlarına hizmet etmek, sıkıcı manuel süreçleri hızlandırmak ve istenen görünümle daha iyi bir eşleşme sağlamak için orada olduğuydu.
Yapay zekayı hızlandıran diyalog
DNEG’in canlandırdığı Nimona’dan görüntüler. Resim Kredisi: DNEG
Benzer bir notu, yakın zamanda VFX ve post prodüksiyon ekibi olan DNEG’de kıdemli yapay zeka araştırmacısı Martine Bertrand’dan da duydum. mükemmel ve görsel olarak büyüleyici Nimona’yı canlandırdı. Pek çok mevcut efektin ve üretim hattının, özellikle de görünüm geliştirme ve çevre tasarımının inanılmaz derecede emek yoğun olduğunu açıkladı. (DNEG ayrıca bir sunum yaptı, “Prosedürelliğin Performansla Buluştuğu Yer” bu konulara değiniyor.)
Bertrand bana “İnsanlar yaratım sürecinde çok fazla zamanın boşa harcandığının farkında değiller” dedi. Bir çekim için doğru bakış açısını bulmak amacıyla bir yönetmenle çalışmak, deneme başına haftalar sürebilir; bu sırada seyrek veya kötü iletişim çoğu zaman bu haftalar süren çalışmanın çöpe atılmasına yol açar. Bu inanılmaz derecede sinir bozucu, diye devam etti ve yapay zeka, bunu ve nihai ürünlerin yakınında olmayan, sadece keşif amaçlı ve genel olan diğer süreçleri hızlandırmanın harika bir yoludur.
Çabalarını çoğaltmak için yapay zekayı kullanan sanatçıların “yaratıcılar ve yönetmenler arasındaki diyaloğu mümkün kıldığını” söyledi. Uzaylı ormanı elbette – ama bunun gibi mi? Veya beğen Bu? Bunun gibi gizemli bir mağara mı? Veya beğen Bu? Nimona gibi içerik oluşturucuların yönlendirdiği, görsel açıdan karmaşık bir hikaye için hızlı geri bildirim almak özellikle önemlidir. Yönetmenin bir hafta sonra reddettiği bir bakışı bir hafta boyunca boşa harcamak ciddi bir yapım gecikmesidir.
Aslında, ön görselleştirme gibi erken yaratıcı çalışmalarda yeni işbirliği ve etkileşim düzeylerine ulaşılıyor. Sokrispy CEO’su Sam Wickert’in bir konuşması açıkladı. Şirketine, HBO’nun sayısız ekstra, kamera hareketi ve efekt içeren bir arabanın içindeki karmaşık bir “oner” dizisi olan “The Last of Us”ın en başındaki salgın sahnesinin ön görselini yapmakla görev verilmişti.
Bu daha temelli sahnede yapay zeka kullanımı sınırlı olsa da, geliştirilmiş ses sentezinin, prosedürel ortam oluşturmanın ve diğer araçların giderek daha ileri teknolojiye sahip bu sürece nasıl katkıda bulunabileceğini ve katkıda bulunduğunu görmek kolaydır.
Wonder Studio tarafından oluşturulan son çekim, mocap verileri, maske ve 3D ortam. Resim Kredisi: Harika Stüdyo
Çeşitli açılış konuşmalarında ve sunumlarda adı geçen Wonder Dynamics, tamamen sanatçıların kontrolünde olan üretimde makine öğrenimi süreçlerinin kullanımına ilişkin başka bir örnek sunuyor. Gelişmiş sahne ve nesne tanıma modelleri, normal görüntüleri ayrıştırır ve insan aktörleri anında 3D modellerle değiştirir; bu, bir zamanlar haftalar veya aylar süren bir süreçti.
Ancak birkaç ay önce bana söyledikleri gibi, otomatikleştirdikleri görevler yaratıcı görevler değil; neredeyse hiçbir yaratıcı karar içermeyen meşakkatli (bazen roto) işler. “Bu onların yaptıklarını aksatmıyor; kurucu ortak Nikola Todoroviç, “Nesnel VFX çalışmasının %80-90’ını otomatikleştiriyor ve onları öznel çalışmaya bırakıyor” dedi. Onu ve kurucu ortağı aktör Tye Sheridan’ı SIGGRAPH’ta yakaladım ve kasabanın şerefine olmanın tadını çıkarıyorlardı: sektörün yıllar önce başladıkları yönde ilerlediği açıktı. (Bu arada Sheridan’ı Eylül ayında TechCrunch Disrupt’ta AI sahnesinde izleyin.)
Bununla birlikte, grev yapan yazarların ve aktörlerin uyarıları VFX topluluğu tarafından hiçbir şekilde göz ardı edilmiyor. Aslında onları tekrarlıyorlar ve kaygıları da aynı -varoluşsal olmasa da- benzer. Bir aktör için kişinin benzerliği veya performansı (veya bir yazar için kişinin hayal gücü ve sesi) geçim kaynağıdır ve bunların ele geçirilmesi ve tamamen otomatik hale getirilmesi tehdidi dehşet vericidir.
Üretim sürecinin başka yerlerinde yer alan sanatçılar için de otomasyon tehdidi gerçektir ve teknolojiden çok bir insan sorunudur. Konuştuğum birçok kişi, asıl sorunun bilgisiz liderlerin verdiği kötü kararlar olduğu konusunda hemfikirdi.
Bertrand, “Yapay zeka o kadar akıllı görünüyor ki karar verme sürecinizi makineye erteleyebilirsiniz” dedi. “Ve insanlar sorumluluklarını makinelere ertelediğinde, bu korkutucu hale geldiği yer.
Tekrarlanan görevlere harcanan süreyi azaltmak veya daha küçük ekiplere veya bütçelere sahip yaratıcıların daha iyi kaynaklara sahip meslektaşlarıyla eşleşmesini sağlamak gibi yaratıcı süreci geliştirmek veya kolaylaştırmak için yapay zekadan yararlanılabilirse, dönüştürücü olabilir. Ancak yaratıcı süreç, bazı yöneticilerin keşfetmeye istekli göründüğü bir yol olan yapay zekaya devredilirse, Hollywood’da halihazırda yaygın olan teknolojiye rağmen grevler daha yeni başlayacak.