Microsoft cihazları için tüm donanım yeniliklerini denetleyen Steven Bathiche, “Surface Hub 2’nin ilk gününden itibaren kameralarımızı akıllı hale getireceğimizi biliyorduk” diyor. Sınır. Microsoft’un sürpriz 799,99 $’lık Surface Hub 2 Akıllı Kamerası geçen hafta piyasaya çıktı ve diğer konferans odası kameralarında tipik olarak görebileceğiniz çarpıtma ve bozulmalar olmadan otomatik yeniden çerçeveleme sunuyor.
Toplantılar sırasında bir odadaki herkesin kameraya yakın veya sekiz metreye kadar uzakta olduklarından emin olmak için yüzleri ve vücutları algılayabilir. Surface Hub 2 Akıllı Kamera, öndeki insanları arkadakilerle birlikte odakta tutan 136 derecelik görüş alanı sayesinde neredeyse tüm konferans salonunu görebiliyor.
Microsoft, her zaman pandemi hibrit toplantılara odaklanmadan önce Surface Hub 2 kamerasını yükseltmeyi planlamıştı, bu yüzden modülerdir ve 55 veya 85 inç ekranların tepesinden ayrılabilir. “Deneyimi geliştireceğimizi biliyorduk. Tam olarak nasıl olduğunu bilmiyorduk, ancak bunun değişeceğini ve insanların ihtiyaçları, konferans odasının gelişimi ve hatta kültürümüzün esas olarak toplantılara nasıl uyum sağlayacağı ile değişmesi gerektiğini biliyorduk” diyor Bathiche.
85 inçlik Surface Hub 2 gibi büyük cihazlar, geleneksel bir kamerayla toplantı odasındaki herkesi yakalamak için zorluklar ortaya çıkardı. Bathiche, “Daha büyük odaları idare etmek için bir kameraya ihtiyacımız vardı” diyor ve Microsoft işe koyuldu.
Bathiche ve ekibi, Surface Hub 2 Akıllı Kameraya girmek ve hesaplama fotoğrafçılığını güçlendirmek için Microsoft’un kendi optik, yapay zeka modeli ve uç bilgisayarını yarattı. Bathiche, “Yerleşik hesaplamaya sahip, temelde bizim oluşturduğumuz gerçekten büyük bir AI modelini barındıran 1 teraflopluk hesaplama var” diyor. “Otomatik çerçeveleme uygulamasını içeriyor, kamerada bulunuyor, yani ortaya çıkan şey sadece 4K bir görüntü, bu yüzden kelimenin tam anlamıyla Surface Hub’a bir web kamerası gibi görünüyor.”
Bu, tüm AI çalışmalarının kameranın kendisinde yapıldığı ve işlemek için hiçbir zaman buluta veya hatta kablo üzerinden Surface Hub 2’ye gönderilmediği anlamına gelir. Kamera AI modelini çalıştırır, tüm verileri işler ve görüntüyü buna göre kırpma kararı verir. Otomatik çerçeveleme, bir odadaki herkesi otomatik olarak yakalayabilirken, Akıllı Kamera, görüntüyü kamera konumuna göre ayarlamak ve bunun yerine daha doğal göz teması oluşturmak için eğim telafisini de kullanır. Ayrıca geniş açılı lenslerdeki balık gözü efektini ortadan kaldırarak insanların toplantı odalarında çarpık veya gergin görünmemesini sağlıyor.
Bathiche, “Süper keskin odaklı ve temelde kırılma sınırlarına yakın, 11 elementli, tamamen cam bir lens tasarladık” diye açıklıyor. Objektifin arkasında, tümü 4K kırpılmış görüntüyü oluşturan f/1.8 diyafram açıklığına sahip 12 megapiksellik bir sensör (4000 x 3000) bulunur. “Gerçek lens 184 derecelik bir görüş alanıdır, böylece kamera kendi arkasına bakabilir.”
Tüm bu donanım, Surface Smart Camera’ya güç veren AI modelleri olmadan hiçbir şey değildir. Microsoft bu projeye pandemiden önce başladı, ancak AI modellerini eğitmesi gerekiyordu. sırasında toplantı odalarını insanlarla doldurmanın bariz zorluklarını sunan pandemi.
Bathiche, “Yeni Zelanda’ya gittik çünkü sıfır COVID-19 vakaları vardı ve orada ofislerimiz vardı” diye açıklıyor. “Her türden odada veri toplaması için aktörler ve aktrisler tuttuk. Veri setimiz kesinlikle çok büyük.”
Microsoft, tamamen kapsayıcı olduğundan emin olmak için AI modelini yüzler ve vücutlar üzerinde eğitti ve her zaman kameraya bakmayan insanları tespit edecek. Durumlar ve insanlar arasındaki çeşitliliğini geliştirmek için sentetik insanları ve yüzleri bile kullandı. Bathiche, “Sentetik veriler üretebilen gerçekten harika bir dahili teknolojimiz var, bu nedenle sentetik insanlar ve yüzler oluşturabildik” diye ekliyor.
Akıllı Kamera, evcil hayvanları veya hayvanları algılamak için eğitilmemiştir. Bu, bir ofis kedisi veya köpeği görüş alanına girerse toplantıyı otomatik olarak yeniden çerçevelemeye çalışmadığı anlamına gelmelidir. Microsoft da uygulamış sorumlu yapay zeka ilkeleri AI’nın adilliğini ve kapsayıcılığını sağlamak için bir komite ve bir dizi araç içeren bu projeye.
Bathiche, “Veri kümemize bakarsanız, farklı gruplar arasındaki eşitsizlik açısından kesinlikle harika: ırk, cinsiyet, cilt tonu, saç stilleri,” diye açıklıyor Bathiche. “Bence insanların kutuda göremeyebileceği kamerada yerleşik olan şeylerden biri, modelin sahip olduğu sağlamlık ve kapsayıcılıktır.”
Bathiche, Microsoft’un geçen yıl içinde Akıllı Kamerasının otomatik çerçeveleme yeteneklerini “orada oturup, içeriği kaçırmak için çok gergin veya çok yavaş olmadığından emin olmak için ayarladığını” söyledi. “Kameranın aldığı her kare, görüntüyü hareket ettirmeye veya yeniden kırpmaya değip değmeyeceğine karar verir.”
Bu 799,99 dolarlık kamerayı normal bir Windows PC’de kullanıp kullanamayacağınızı merak ediyor olabilirsiniz, ancak bu o kadar basit değil. Tüm bilgi işlem ve yapay zeka modelleri Surface Hub 2 Akıllı Kameranın içine yerleştirilmiş olsa da, aslında normal bir web kamerası olacak şekilde tasarlanmamıştır. “Tasarım noktası özellikle Hub içindi. Yükselti, açılar ve yapay zeka, hem yakın hem de uzaktaki birden fazla kişi için tasarlandı” diye açıklıyor Bathiche. “Teknik olarak bir montaj düzeneği tasarlayıp bir PC’ye takabilseniz de, istediğiniz kadar iyi çalışacağını sanmıyorum.”
Bu, Microsoft’un web kameralarını ve kameralarını geliştirmeye odaklandığı ilk sefer değil. Surface Pro X, görüntülü arama sırasında neye bakarsanız bakın her zaman göz teması kuruyormuşsunuz gibi görünmesini sağlayan AI destekli bir göz teması özelliğine sahiptir. Apple, iOS 13’e benzer bir FaceTime Dikkat Düzeltme özelliği ekledi. “Göz temasında kullandığımız algoritmalar [for the Surface Pro X] Bu kamerada kullandığımız yüzler için algoritmalar aynı,” diyor Bathiche.
Microsoft, bu Akıllı Kamerayı Surface Hub 2 için açıkça tasarladı, ancak Surface markalı web kameraları hakkında devam eden söylentilerle, bugün mevcut olan uygun fiyatlı web kameraları yerine bir gün Microsoft’tan güçlü bir web kamerası görmemiz mümkün. “İnsanları bir araya getirmek ve insanları aynı odadaymış gibi hissettirmek için hesaplamayı kullanma alanı… Bence her zaman tutkulu olduğumuz ve tutkulu olmaya devam edeceğimiz bir şey ve kendimizi geliştirmeye devam edeceğiz. Surface Pro X’te gördüğünüz gibi cihazlar” diyor Bathiche.
