Hesaplamalı fotoğrafçılık, telefonlarımızla fotoğraf çekme şeklimizi değiştirdi. Yine de fark etmemiş olabilirsiniz, çünkü nihai sonuç, artık telefon kameralarının sınırlamalarını ve belirli bir sahnenin onlar için çok fazla olup olmadığını düşünmemize gerek kalmamasıdır.
Akıllı telefonların ilk yıllarına baktığımızda, “iyi” bir telefon kamerasını temsil ettiğini düşündüğümüz şey bugün neredeyse komik görünüyor.
Fotoğrafların aşırı pozlanmış kısımları daha sık ortaya çıktı ve en iyi kameralar bile 2022’de uygun fiyatlı orta sınıf bir akıllı telefona kıyasla kasvetli düşük ışıkta fotoğraflar çekti.
Her şey, hesaplama teknikleriyle desteklenen radikal dinamik aralık geliştirme ve çoklu pozlamalı gece modlarına bağlı. Genellikle, bir bebeğin tırnağı büyüklüğünde kamera sensörlü telefonların, Photoshop’ta düzenlenip ince ayar yapıldıktan sonra, bir DSLR görüntüsüyle karşılaştırılabilir sonuçlar vermesine izin verirler.
En çok yararlanan ana sahne türleri, düşük ışıklı ortamlar ve eski günlerde resmin bölümlerinin çok parlak veya loş olduğu ultra yüksek kontrastlı ortamlardır. Örneğin gün batımları.
Hesaplamalı video devrimini bekliyorum
Ancak, şimdiye kadar videoda gerçekten aynı deneyimi yaşamadık. İleri teknoloji telefonlar, fotoğraflar için olağanüstüdür, ancak çoğu, daha zorlu ışıklandırmada video çekerken düşer. Harika fotoğraf deneyimi yalnızca sorunu vurgular. Hesaplamalı videonun çözmek için burada olduğu şey budur.
Hesaplamalı video, yeni bir dizi zorluk doğuruyor çünkü zaman bizden yana değil. Bir telefon, kamerasından alınan durağan bir görüntünün nasıl görünmesi gerektiğini çözmek için birkaç saniye alabilir, onu bir düzine ayrı pozdan oluşturabilir ve bunları bir araya getirmek için önemli ölçüde zaman harcayabilir.
Görüntünün her saniyesinin saniyede 30 veya 60 ayrı görüntü içerebildiği video ile böyle bir lüksümüz yok. Bir telefon, bir videonun her karesini birden fazla pozlamadan oluşturamaz, çünkü onları işlemek şöyle dursun, onları yakalamak için bile zaman yoktur.
Hesaplamalı video için yeni bir dizi çözüm bulmak, şu anda her büyük üst düzey telefon üreticisi için en önemli hedeftir. Ve bu, şu anda telefonların diğer bölümlerinden daha hızlı güç sağlayan NPU işlemcileri için en büyük işlerden biri haline geldi.
Yazılımın arkasındaki teknoloji
NPU, makine öğrenimi ve “AI” iş yüklerini yöneten bir sinirsel işlem birimidir. İlk ortaya çıktıklarında, oyun parçalarının kamera tarafından görülen gerçek dünyanın görünümüne dönüştürüldüğü oyunlar gibi artırılmış gerçeklik deneyimlerini güçlendirmek için kullanılacaklarını düşündük. Öyleler, ancak ortaya çıktı ki AI, makine öğrenimi ve sinirsel işlemenin fotoğrafçılık için kullanılabileceği yollar aslında çok daha önemli.
Bu nöral işlemcilerin özel gücü, çok az güç kullanarak kısa sürede çok sayıda talimatı işleyebilmeleridir. Daha önce keşfettiğimiz gibi, hesaplamalı video için tam olarak ihtiyacımız olan şey bu.
Ancak, bu sadece kaynaktır. Telefon üreticileri bununla ne yapabilir ve hangi teknikler hesaplamalı videoyu hareketsiz görüntüler kadar güçlü hale getirebilir? Kullanabilecekleri bazı tekniklere bakalım.
Bir takım teknikler
Temellere geri dönersek, 2DNR ve 3DNR, iki boyutlu ve üç boyutlu gürültü azaltma var. Bu, resimdeki gerçek görsel bilgiyi azaltmadan gürültüyü yumuşatmak amacıyla ayrıntıları gürültüden ayırma işlemidir.
Tüm kameralar zaten gürültü azaltma kullanıyor, ancak daha fazla sinirsel işlem gücü, yeni telefonların işi daha etkili bir şekilde yapmak için daha gelişmiş NR algoritmaları kullanmasını sağlıyor.
2D ve 3D NR arasındaki fark nedir? 2D gürültü azaltmada, bir kareyi kendi başına analiz edersiniz. Başkalarının çekmiş olduğu benzer görünümlü milyonlarca fotoğrafın bilgisine sahip makine öğrenimi tekniklerini hayata geçirebilirsiniz, ancak her kare etkin bir şekilde durağan bir resim olarak ele alınır. Pikseller, görüntü parazitini belirlemek ve zaplamak için yakındaki piksel kümeleriyle karşılaştırılır.
3DNR tarafından eklenen ek boyut derinlik değil, zamandır. Gürültü azaltma, yalnızca tek bir görüntü verisine değil, ardışık karelerde görünenlere dayanır.
Hesaplamalı videonun görevi, aynı anda, ancak sahnenin doğru kısımlarında doğru tekniği kullanarak, her iki tür gürültü azaltmayı da gerçekleştirmektir. 3DNR, görüntünün nispeten hareketsiz alanları için güzel bir şekilde çalışır.
Düşük ışıkta çekim yaparken, gereken yüksek hassasiyet seviyeleri, resmin parazitli bir şekilde köpürmesine neden olabilir. Geçici 3D gürültü azaltma, bir telefona, çerçeveden çerçeveye zap yapıyormuş gibi görünmeden gerçek ayrıntıları tutma şansını çok daha iyi verir.
Ancak 3DNR, hareketli nesneler için harika bir çözüm değildir, çünkü temelde farklı görüntü verisi kümelerini karşılaştırmaya çalışırsınız. Telefonun görüntünün hareket halindeki kısımlarını, durağan alanları ayırması, farklı işleme biçimleri uygulaması ve bu alanları yarım saniyeden yarım saniyeye değiştirmeye hazır olması gerekir.
Ve elbette, ışık seviyesi klibin ortasında değiştikçe, işlemenin yoğunluğunun da vites değiştirmesi gerekiyor.
Kaynağa gitmek
Ayrıca ilk aşamada daha az gürültü oluşturmak için daha iyi veri yakalamak için telefona ihtiyacımız var. Daha yüksek doğal ışık hassasiyetine sahip daha büyük bir sensör kullanmadan bunu nasıl yaparız?
Optik stabilizasyonun (OIS) daha iyi kullanılması bir yoldur. Telefonlarda bu, tipik olarak, kullanıcının elindeki herhangi bir hareketi telafi etmek için merceği hafifçe hareket ettiren bir motor içerir, ancak artık telefonlarda sensör kaydırma sabitlemesi de mevcuttur. İkincisi, üst düzey aynasız kameraların temel özelliğidir.
Bu hareket telafisi, bir telefonun bulanık görüntü verilerinden kaçınırken daha yavaş bir deklanşör hızı kullanmasını sağlar. Gece çekim yaparken, pozlama ne kadar uzun olursa, bir telefon kamerasının bir çerçeve oluşturması için o kadar iyi veri gerekir. Ve 30 fps’de çekim yaparken, maksimum teorik pencere, açıkçası, saniyenin 1/30’udur.
Hesaplamalı video, lens stabilize edici OIS’nin yardımıyla bu maksimum pozlama penceresi konseptini dinamik olarak kullanabilir.
Bazı düşük ışık koşullarında, 60 fps yakalamayı seçmiş olsanız bile, bir telefon kare hızını 30 fps’ye düşürmenin faydasını görecektir. Bu, maksimum pozlama süresini iki katına çıkararak kameranın kareleri daha ayrıntılı ve daha az parazitle yakalamasını sağlar.
“Eksik” kareler daha sonra, sahip olduğumuz kareler arasındaki resim verilerindeki farka bakılarak geçiş reklamlarının oluşturulduğu interpolasyon yoluyla oluşturulabilir. Bu, geleneksel fotoğrafçılara sapkınlık gibi gelebilir, ancak görüntülemeye yönelik hesaplamalı bir yaklaşımın ne anlama geldiğinin özüne iner.
Sonuçlar önemli. Oraya nasıl gittiğin daha az önemli.
Neden 30 fps’de dursun? Bir telefon, 15 fps gibi çok daha düşük bir kare hızına bile düşebilir ve yine de 60 fps video oluşturabilir; bu, sahne makul derecede sabitse harika görünebilir.
Kare hızı ne kadar düşükse, maksimum pozlama penceresi o kadar uzun olur. Yine de bu noktada teorik tekniklerden bahsediyoruz. Bildiğimiz kadarıyla henüz hiçbir telefon bu kadar ileri gitmiyor.
Sorunları ortaya çıkarmak
Ancak, bir sorun var. Yavaş bir deklanşör hızını uygulanabilir kılmak için güvendiğimiz teknoloji olan OIS, yalnızca bir uçtaki hareketi telafi edebilir. Çerçevede koşan birinin hareket bulanıklığını değil, el sıkışma bulanıklığını önleyebilir.
Gürültü azaltmada gördüğümüz gibi, çerçevede neler olduğuna bağlı olarak en iyi hesaplama çözümü her an değişebilir. Hesaplamalı videonun rollerinden biri, anında yakalama oranını değiştirerek bununla uğraşmaktır.
DOL-HDR adı verilen yardımcı olabilecek bir donanım tekniği de vardır. Fotoğraflar için “normal” HDR modlarına aşina olabilirsiniz. Bir resim yapmak için birkaç karenin harmanlandığı yerdir. Telefon dünyasında bu, üç ila 36 görüntü arasında herhangi bir anlama gelebilir.
Video ile bunun için zaman yoktur ve bu pozlar çekilirken sahnede meydana gelen ince değişiklikleri hesaba katmak için minimum zaman vardır – bu da kötü işlenmiş HDR modlarında gölgelenme olarak adlandırılan bir etkiye neden olur. DOL-HDR, tek bir kamera sensörü kullanarak aynı anda iki fotoğraf çekerek bu sorunları ortadan kaldırır.
Nasıl? Tipik bir kamera sensöründen gelen veriler, bir kağıt parçası üzerinde çalışan bir yazıcı kafası gibi satır satır okunur. Bir sonraki piksel sırasını takip eder.
DOL-HDR, biri daha uzun pozlama görüntüsünden, diğeri daha kısa pozlama görüntüsünden olmak üzere her satırın iki versiyonunu aynı anda kaydeder. Bu tür HDR, gün batımı gibi ışık seviyesinde çok sayıda kontrastın olduğu sahnelerde harika bir şekilde kullanılabilir.
Ancak, yalnızca farklı hassasiyet ayarları (ISO) yerine farklı deklanşör hızlarına sahip video kareleri setlerini yakalamak için kullanılabiliyorsa, DOL-HDR gece videosunun hareket ayrıntısını ve dinamik aralığını en üst düzeye çıkarmak için de kullanılabilir.
Daha önce bahsettiğimiz sahneyi hayal edin. Nispeten düşük ışıkta bir video çekiyoruz, ancak bir kişi kareden geçiyor ve hareketle bulanık görünmesini istemiyoruz.
DOL-HDR ile, hareketli figürümüzün daha keskin bir görüntüsünü elde etmek için kısa pozlamayı kullanabiliriz, daha uzun pozlamayı sahnenin sonucu için daha iyi sonuçlar elde etmek için kullanabiliriz. DOL-HDR’deki “HDR”, yüksek dinamik aralığı temsil edebilir, ancak başka şekillerde de faydalı olabilir.
Hesaplamalı videonun işi, sayısız farklı çekim stili ve tekniği arasında sorunsuz bir şekilde geçiş yapmak ve sürekli artan işlem yükünü üstlenmektir.
Ana hatlarıyla belirttiklerimiz, muhtemelen telefon üreticilerinin de istihdam edeceği kişilerden sadece birkaçı. Şimdi soru, 2022 ve sonrasında hangi telefonların hesaplamalı videoyu en iyi şekilde kullanacağıdır?