Samsung, akıllı telefonlarının fotoğraf deneyimini geliştirmek için yapay zekaya (AI) güvenmeye devam ediyor. Teknoloji devi, amiral gemisi akıllı telefonu Galaxy S22 Ultra’nın kamera işlevlerini optimize etmek için nöral işlem birimi (NPU) tarafından yönetilen en az 60 yeni AI modeli uygulayacaktı.
Güney Koreli grubun, sıradan kullanıcıları mümkün olan en iyi fotoğraflarla ve profesyonel kullanıcıları, bilindiği gibi dijital SLR fotoğraf makinelerinde çekilenlere eşdeğer RAW dosyalarıyla tatmin edebilecek kamera deneyimleri sunmasına yetecek kadar Joshua Sungdae Cho, Başkan Yardımcısı ve Başkan Yardımcısı. ZDNet ile yapılan bir röportajda Samsung MX Business’ta Görsel Yazılım Ar-Ge.
“NPU’ları ilk olarak üç yıl önce akıllı telefonlarımıza uyguladık” dedi. “O zamanlar bu NPU’lar yaklaşık 10 AI modeli çalıştırıyordu. Galaxy S22 Ultra’da artık 60 AI modeli var. Temel olarak, NPU neredeyse her kamera işlevinde yer alıyor.” Bir hatırlatma olarak, AI modelleri, belirli görevlere uygulanacak bir dizi veri aracılığıyla eğitilen karar verme algoritmalarıdır; NPU’lar ise bu algoritmaları işlemek için özel olarak tasarlanmış çiplerdir.
AI destekli kameralar
Samsung’un Galaxy S22 Ultra için kullandığı belirli bir AI modelinde, kişi ile arka plan arasındaki derinliği tanımanın onları ayırmak için (segmentasyon olarak da bilinir) çok önemli olduğu portre modu bulunur.
Joshua Sungdae Cho, “Yalnızca kameralarla derinliği yargılamak zor. Bazı kameralar derinlik sensörleri kullanır, ancak bunun yerine AI modellerinin çeşitli arka planlar ve nesnelerle çok büyük miktarda derinlikle ilgili görüntüleri incelemesini sağladık” diyor. “S22’de çeşitli kameralarımız olduğu için, AI modelinden iki kamera kullanarak da eğitim vermesini istiyoruz ve kablolar, bardaklar, gözlükler ile görüntüleri çeşitli terimlerle inceliyor.”
Galaxy S22 Ultra’nın kameraları 10x optik yakınlaştırmayı ve 100x dijital yakınlaştırmayı destekler. Ancak bu, bu tür başarılara ulaşan ilk model değil. Samsung, iki yıl önce Galaxy S20 Ultra ile 100x dijital yakınlaştırmayı tanıtmıştı, ancak o sırada karışık tepkiler aldı. Yine de, yeni AI modellerinin geliştirilmesi ve en son Galaxy S22 Ultra’daki 4nm mobil işlemcinin sunduğu bilgi işlem gücüyle birleştiğinde, Samsung, en son 100x dijital yakınlaştırma yinelemesinden emin olabilir.
Rahatsızlıklar olmadan gece
“100x yakınlaştırma gibi bir özellik için işlem süresi kritik öneme sahip ve bunu ele alacak bilgi işlem kaynaklarına sahibiz. İşin bir kısmı NPU, bir kısmı da GPU tarafından yapılıyor. Makul bir süre çünkü yakınlaştırma esasen bilgisayarın belirli bir alanı. sensör – örneğin, bir 108 MP sensörde 12 MP’lik bir alan, yani anında yakınlaştırma, bu daha küçük 12 MP’lik alandan çok fazla girdi alır,” diyor Joshua Sungdae Cho. “30x’ten daha büyük bir dijital zoom ile çekilen görüntüler için, cihaz tek bir tıklama ile on ila yirmi arasında arka plan görüntüsü alıyor. Ardından birden fazla görüntüyü sentezlemeye devam ediyor. Ardından, geliştirmek istediği ayrıntıları belirlemek için başka bir son işlem gerçekleştiriyor. “
Lider, Galaxy S22 Ultra’nın 108MP fotoğraf sensörünün, geceleri ışığı daha iyi emmek için dokuz piksele kadar tek bir pikselde gruplayabildiğini belirtiyor. Ve bu teknolojinin, gürültüyü azaltmak için eğitilmiş AI modelleriyle birleştiğinde, parlaklık arttıkça görüntülerde “gece hissi” uyandırabileceğini açıklamak. “Sinyal-gürültü oranı karanlık olduğunda çok etkilenir. Bu yüzden gürültüyü azaltmak için yeni bir yapay zeka modeli geliştirdik. Bu yapay zeka modelinden, ister bir DSLR kamerayla çekilmiş olsun, ister gece çekilen farklı fotoğraflar üzerinde eğitim almasını istedik. veya yarattığımız, parlaklık veya gürültü açısından kasıtlı olarak artırılmış sentetik görüntüler.”
Samsung ayrıca, kameraların genel olarak gece fotoğrafçılığına yaklaşma şeklini de değiştirdi: “108MP kameralı önceki Galaxy S telefonlarında, piksel sayısını 12MP’ye düşürdük ve ardından görüntü boyutunu 108MP olarak artırdık. Galaxy S22 Ultra için, fotoğraf çekilirken Gece ise 108MP kamera ve 12MP kamera ile görüntü alınmaktadır.Görüntünün kaba detayları 12MP kamera tarafından, ince detaylar ise 108MP ile sağlanmaktadır.”
Dijital SLR’lere yakın bir seviye
Üç Galaxy S22 serisi modelin tümü, normal kamera uygulamasında otomatik ve profesyonel modların yanı sıra Adobe Lightroom ile düzenlenebilen çok kareli RAW dosyaları sağlayan indirilebilir Expert RAW uygulaması sunar.
Cho, “Galaxy S22 serisi kameraların sıradan kullanıcıları ve profesyonel kullanıcıları kapsamasını gerçekten istedik” dedi. “Günümüzdeki müşteriler akıllı telefon kameraları hakkında çok bilgili. Kullanıcıların çoğuna hitap eden otomatik modla, Sahne Optimize Edici’yi varsayılan olarak sık fotoğraflanan sahneler için en iyi renkleri verecek şekilde etkinleştirdik. Ayrıca ekranın net olmasını istedik. simgeler, kamera değerleri artık sayısal olarak görüntülenirken, kullanıcı arayüzünün olabildiğince basit olmasını istedik.”
Pro modu RAW dosyalarını alabilirken, Expert RAW uygulaması 16 bit çok kareli RAW dosyaları sunar. Samsung başkan yardımcısı, “16-bit RAW dosyaları için NPU ve AI modellerinden tam olarak yararlandık. Bir anlık görüntü, arka planın yirmi fotoğrafını toplar ve kullanıcılar Ultra model için aynı anda dört adede kadar kamera kullanabilir,” diye açıklıyor. fotoğrafçılık ücreti.
Profesyonel kalite?
Bu belirleyici bir değişikliktir. Hatırlatmak gerekirse, DSLR fotoğraf makineleri gürültüsüz RAW görüntüler çekmelerini sağlayan büyük sensörlere sahipken, daha küçük sensörleri nedeniyle şimdiye kadar akıllı telefonlarda durum böyle değildi.
Bu, artık Samsung’un en yeni amiral gemisi akıllı telefonlarının DSLR fotoğraf makineleriyle karşılaştırılabilir 16 bit RAW dosyalara sahip olmasını sağlayan Galaxy S22 serisi NPU’nun sunduğu bilgi işlem gücü sayesinde yapılıyor.
“Günümüzde profesyoneller akıllı telefonlarında RAW dosyaları istiyor. Bir akıllı telefon onlar için çok kullanışlı bir araçtır çünkü tek bir akıllı telefon onlara avucunun içinde dört lens verebilir. DSLR fotoğraf makinelerinde dört lensi de taşımanız gerekir. Gerçekten istedik. bu gruba akıllı telefonlarımızda bir DSLR’dekiyle aynı eşleştirme deneyimini yaşatmak için. DSLR’nin her işlevi, son düzenleme de dahil olmak üzere Galaxy S22 serisinde sunulmaktadır.”
En iyi kamera kurulumunu bulma
Joshua Sungdae Cho, NPU’ların işlem gücünün iki katına çıktığını ve bu eğilimin en az önümüzdeki beş yıl boyunca devam etmesinin beklendiğini savunuyor. “Bugün, NPU’lar 16-bit aritmetik ve kayan nokta aritmetiğini işleyebilir ve yürütme hızları ve doğruluğu önümüzdeki yıllarda artmaya devam etmelidir.” Aynı zamanda, hesaplamalı fotoğrafçılığın evrimi – veya dijital görüntüleri yakalama ve işleme teknikleri – gelişmeye devam etmelidir, diyor.
“Dijital fotoğrafçılıkta en çok tartışılan konu çoklu kamera teknolojisidir. Araştırmacılar ve şirketler her zaman en iyi kamera kurulumunu arıyorlar. Daha fazla veya daha az kamera ekleyebiliriz. En iyi çoklu kamera konfigürasyonu arayışı” diye belirtiyor.
“Kameralar bugün akıllı telefonların merkezinde yer alıyor ve bu eğilimin önümüzdeki on yılda da devam etmesini bekliyoruz. Şu anda 60 AI modeli uyguladığımız için, yüzlerce algoritma tarafından gerçekleştirilen tüm kamera işlevlerinin NPU tarafından yürütülmesini bekliyoruz.” 16 bit RAW dosyalarının şu anda çözünürlük açısından sınırlamaları vardır. Bu sürekli iyileştirme gerektirecektir. 4K ve 8K videolar söz konusu olduğunda, çözünürlüğü gerçek zamanlı olarak iyileştirmek için bugünden daha fazla bilgi işlem gücüne ihtiyacımız var. O zamana kadar iki ila üç yıl sürer.”
Kaynak: ZDNet.com