Aramak istediğiniz şeyi yalnızca bir resimle yakalayamıyorsanız, Google Lens artık bir video çekmenize ve hatta sesinizi kullanarak ne gördüğünüzü sormanıza olanak tanıyacak. Bu özellik, videonun içeriğine ve sorunuza göre bir Yapay Zeka Genel Bakışı ve arama sonuçları ortaya çıkaracaktır. Bugün Android ve iOS’taki Arama Laboratuvarlarında kullanıma sunuluyor.
Google, arama yapmak için video kullanarak ilk kez Mayıs ayındaki I/O’da önizleme yaptı. Örnek olarak Google, bir akvaryumda gördüğü balıkları merak eden birinin telefonunu sergiye doğru tutabileceğini, Google Lens uygulamasını açabileceğini ve ardından deklanşöre basabileceğini söylüyor. Lens kayda başladığında şu soruyu sorabilirler: “Neden birlikte yüzüyorlar?” Google Lens daha sonra aşağıdaki GIF’te gördüğünüze benzer bir yanıt sağlamak için Gemini AI modelini kullanır.
Google’ın mühendislikten sorumlu başkan yardımcısı Rajan Patel, bu özelliğin arkasındaki teknolojiden bahsederken şunları söyledi: eşik Google’ın videoyu “bir dizi görüntü karesi olarak yakaladığını ve ardından daha önce Lens’te kullanılan bilgisayarla görme tekniklerinin aynısını uyguladığını” söyledi. Ancak Google, bilgileri “birden fazla kareyi sırayla anlamak ve ardından web’e dayalı bir yanıt sağlamak” için geliştirilen “özel” bir Gemini modeline aktararak işleri bir adım daha ileri götürüyor.
Henüz bir videodaki sesleri tanımlamaya yönelik bir destek yok (örneğin, duyduğunuz bir kuşu tanımlamaya çalışıyorsanız) ancak Patel, bunun Google’ın “denediği” bir şey olduğunu söylüyor.
Google Lens ayrıca fotoğraf arama özelliğini sesinizi kullanarak soru sorabilme özelliğiyle güncelliyor. Bunu denemek için kameranızı nesnenize doğrultun, deklanşör düğmesini basılı tutun ve ardından sorunuzu sorun. Bu değişiklik öncesinde Lens’e sorunuzu ancak fotoğraf çektikten sonra yazabiliyordunuz. Sesli sorular dünya çapında Android ve iOS’ta kullanıma sunuluyor ancak şimdilik yalnızca İngilizce olarak mevcut.