Bilgisayar bilimcilerinden oluşan bir ekip yakın zamanda yapay zeka kullanarak UNESCO Dünya Mirası listesindeki kayıp kabartma panellerin 3 boyutlu rekonstrüksiyonlarını yaptı.
Araştırmacılar, üç boyutlu bir nesnenin tek 2 boyutlu fotoğrafını çekebilen ve üç boyutlu dijital yeniden yapılandırma üretebilen bir sinir ağı geliştirdi. Aslında 21. yüzyıl için bir stereoskop geliştirdiler. Ekip sunumunu yaptı kavram kanıtı Geçen ay ACM Multimedya konferansının 32. sunumunda.
Bilim insanları, araştırmalarının amaçları doğrultusunda, UNESCO Dünya Mirası Alanı olan Endonezya’nın Borobudur tapınağındaki kabartmaların resimlerini kullandılar. Tapınak 2.672 adet kabartmayla kaplıdır ve bu da onu dünyadaki en büyük Budist kabartma koleksiyonu haline getirmektedir. 19. yüzyılın sonlarında, tapınağın ayak kaplaması yeniden yerleştirildi ve 156 kabartma taş duvarların arkasına gizlendi ve bugün gömülü durumdalar. Ancak gömülmeden önce her panelin gri tonlamalı fotoğrafları çekildi. Son ekibin sinir ağı, 134 yıl öncesine ait eski bir siyah beyaz fotoğrafı kullanarak, şu anda gizli olan bu kabartmalardan birini yeniden oluşturmayı başardı.
Daha önce girişimlerde bulunulmuştu, ancak bu önceki yeniden yapılanmalar, kabartmaların daha ince ayrıntılarını kopyalayamadı. Derinlik değerlerinin sıkıştırılması nedeniyle bu ayrıntılar kaybedildi; başka bir deyişle, bu üç boyutlu rölyefler, bakana en yakın ve en uzaktaki oymalardan detaylara sahip ve daha önceki rekonstrüksiyon girişimleri, bu değişen derinliklerdeki detayları düzleştirdi. Adı geçen ekip kaybolan özellikler “yumuşak kenarlar” olarak adlandırdılar ve 3 boyutlu alanda hesaplanan eğrilik değişikliklerine dayanarak bu kenarların bir haritasını geliştirdiler.
Yeni makalede ekip, mevcut haliyle kenar haritasının modelin doğruluğunu azalttığını, 3 boyutlu eğrilikteki değişiklikleri düzgün bir şekilde iletemediğini ve ağa dahil edilme şeklinin, derinlik tahmini üzerindeki etkisini sınırladığını öne sürdü. fiziksel nesneler.
Japonya’daki Ritsumeikan Üniversitesi’nden araştırmacı ve çalışmanın ortak yazarı Satoshi Tanaka, bir üniversitede şunları söyledi: “Yüzde 95 yeniden yapılandırma doğruluğu elde etmemize rağmen, insan yüzleri ve dekorasyonlar gibi daha ince ayrıntılar hâlâ eksikti.” serbest bırakmak. “Bunun nedeni, 2 boyutlu kabartma görüntülerdeki derinlik değerlerinin yüksek oranda sıkıştırılmasıydı, bu da kenarlar boyunca derinlik değişimlerinin çıkarılmasını zorlaştırıyordu. Yeni yöntemimiz, yeni bir kenar algılama yaklaşımı kullanarak özellikle yumuşak kenarlar boyunca derinlik tahminini geliştirerek bu sorunun üstesinden geliyor.”
Yukarıdaki görüntüler, temel gerçek verilerle (üst sıra) karşılaştırıldığında, örnek kabartmanın yumuşak kenarlı haritası (solda) ve anlamsal haritası (sağda) için ekibin en iyi deneysel sonuçlarını (alt sıra) temsil etmektedir. Kenar haritası tam da budur; rölyefteki eğrilerin ona derinlik kazandırdığı noktaları takip eder, bu da önceki modellerin kafasını karıştırır.
Belli belirsiz anımsatan semantik harita Ellsworth Kelly’nin Mavi Yeşil Kırmızısı—modelin bilgi tabanının ilgili kavramları nasıl ilişkilendirdiğini gösterir. Bu görüntüde model, ön plandaki özellikleri (mavi), insan figürlerini (kırmızı) ve arka planı birbirinden ayırıyor. Araştırmacılar ayrıca kendi modellerinin temel gerçek görüntülerle ilgili olarak diğer son teknoloji modellerle nasıl karşılaştırıldığını da eklediler.
Yapay zeka da eleştirilerden nasibini alıyor, ancak bilimde görüntü tanıma ve kültürel mirasın korunması konularındaki sorunları çözme konusunda oldukça usta olduğunu kanıtlıyor. Eylül ayında farklı bir ekip, Raphael tarafından boyanmış panellerdeki daha önce görülmeyen ayrıntıları belirlemek için bir sinir ağı kullandı ve farklı bir ekip, Peru’daki ünlü jeoglifler olan bilinen Nazca çizgilerinin sayısını neredeyse iki katına çıkarmak için evrişimli bir sinir ağı kullandı.
Model çok modlu anlama yeteneğine sahiptir, yani hedef nesnesini anlamlandırmak için birden fazla veri kanalından yararlanabilmektedir. Bu durumda, rölyefteki eğrileri ölçmek için kullanılan yumuşak kenar detektörü, derinliği algılamak için yalnızca parlaklıkta hafif değişiklikler görmekle kalmıyor, aynı zamanda oymaların kendisindeki eğrileri de görüyor. Her iki bilgi kanalının da kullanılması, yeni modelin, önceki girişimlere göre rölyefte daha keskin, daha ayrıntılı bir yeniden yapılandırma oluşturmasına olanak sağladı.
Tanaka, “Teknolojimiz kültürel mirasın korunması ve paylaşılması açısından büyük bir potansiyele sahip” dedi. “Yalnızca arkeologlar için değil, aynı zamanda VR ve meta veri teknolojileri aracılığıyla sürükleyici sanal deneyimler için de yeni fırsatlar açarak küresel mirası gelecek nesiller için koruyor.”
Kültürel mirasın korunması gerekiyor. Ancak bazı kültürel miraslar özellikle risk altında ve yapay zeka tarafından oluşturulan bu yeniden yapılandırmalar gerçek McCoy’un yerini alamasa da, kullanım alanları var. Son makalede açıklanana benzer sinir ağları, yalnızca görüntülerde var olan kayıp mirası (örneğin Bamiyan Budaları, 2001’de Taliban tarafından havaya uçurulan anıtsal heykeller) artırılmış veya sanal gerçeklik ortamında da olsa yeniden canlandırabilir.
Modeller aynı zamanda, Avustralya’nın Tanami Çölü’ndeki boab ağaçlarındaki asırlık yerli oymalar gibi, yıkımın eşiğindeki kültürel mirası korumak için de kullanılabilir.
Kültürel miras, bizden önce gelen topluluklar ve kültürler aracılığıyla kim olduğumuzu tanımlar. Bu yapay zeka modelleri sanat tarihçilerinin ve korumacıların tarihin yalnızca bir parçasını kurtarmasına yardımcı oluyorsa, iyi iş yapmışlar demektir. Elbette yapay zeka modelleri aynı zamanda büyük miktarda enerji gerektiriyor ve bu da kültürel mirasın kaybına yüzeysel yollardan katkıda bulunabiliyor. Ancak yapay zekayı güçlendirme yöntemleri sorunlu olmaya devam etse bile teknolojiyi iyi amaçlar için kullanmak, özellikle de eserler söz konusu olduğunda tarihin doğru tarafında olmaktır.