OpenAI’nin yenisi ve ilki! – video üreten model Sora, gerçekten etkileyici bazı sinematografik beceriler ortaya çıkarabilir. Ama model eşit Daha En azından teknik açıdan değerlendirildiğinde, OpenAI’nin başlangıçta ortaya koyduğundan daha yetenekli olduğu ortaya çıktı. kağıt bu akşam yayınlandı.
Bir dizi OpenAI araştırmacısının ortak yazdığı “Dünya simülatörleri olarak video oluşturma modelleri” başlıklı makale, Sora’nın mimarisinin önemli yönleri üzerindeki perdeleri kaldırıyor; örneğin Sora’nın keyfi çözünürlükte ve en boy oranında videolar oluşturabildiğini ortaya koyuyor ( 1080p’ye kadar). Makaleye göre Sora, döngüsel videolar oluşturmaktan videoları zamanda ileri veya geri uzatmaya ve mevcut bir videonun arka planını değiştirmeye kadar çeşitli görüntü ve video düzenleme görevlerini gerçekleştirebiliyor.
Ancak bu yazar için en ilgi çekici şey, OpenAI ortak yazarlarının ifadesiyle Sora’nın “dijital dünyaları simüle etme” yeteneğidir. Bir deneyde OpenAI, Sora’yı Minecraft’ta serbest bıraktı ve oyuncuyu aynı anda kontrol ederken dünyayı ve onun fizik dahil dinamiklerini oluşturmasını sağladı.
Sora, Minecraft’ta bir oyuncuyu kontrol ediyor ve video oyun dünyasını bu şekilde canlandırıyor. Grenliliğin Sora tarafından değil, videodan GIF’e dönüştürme aracı tarafından oluşturulduğunu unutmayın. Resim Kredisi: OpenAI
Peki Sora bunu nasıl yapabiliyor? Ayrıca gözlemlendi Kıdemli Nvidia araştırmacısı Jim Fan (Kuvars aracılığıyla), Sora da bir yaratıcıdan ziyade “veriye dayalı bir fizik motoru”. Bu sadece tek bir fotoğraf veya video oluşturmak değil, ortamdaki her nesnenin fiziğini belirlemek ve bu hesaplamalara dayanarak bir fotoğraf veya video (veya duruma göre etkileşimli 3 boyutlu dünya) oluşturmaktır.
Ortak yazarlar şöyle yazıyor: “Bu yetenekler, video modellerinin sürekli ölçeklendirilmesinin, fiziksel ve dijital dünyanın ve bunların içinde yaşayan nesnelerin, hayvanların ve insanların son derece yetenekli simülatörlerinin geliştirilmesine yönelik umut verici bir yol olduğunu gösteriyor.”
Artık video oyunu alanında Sora’nın olağan sınırlamaları geçerli. Model, camın kırılması gibi temel etkileşimlerin fiziğini doğru bir şekilde tahmin edemiyor. Ve etkileşimlerde bile olabilmek Model, Sora’nın çoğu zaman tutarsızdır; örneğin, hamburger yiyen ancak ısırık izi oluşturmayan bir kişinin görüntüsü.
Yine de, makaleyi doğru okuyorsam, Sora’nın daha gerçekçi, hatta belki de fotogerçekçi, prosedürel olarak oluşturulmuş oyunların önünü açabileceği anlaşılıyor. Bu hem heyecan verici hem de korkutucu (birincisi deepfake sonuçlarını düşünün) – muhtemelen OpenAI’nin Sora’yı bir kapının arkasına koymayı seçmesinin nedeni de bu. çok şimdilik sınırlı erişim programı.
Er ya da geç daha fazlasını öğreneceğimizi umuyoruz.