Lego’nun kalıcı çekiciliği, setlerin karmaşıklığından veya pop kültürü ikonlarının sevimli minifigür versiyonlarından değil, yapım sürecinin kendisinden ve görünüşte bir kutuyu döndürmekten geliyor. tamamlanmış bir modele rastgele parçalar. Bu tatmin edici bir deneyim ve başka bir robotlar bir gün sizden çalabilirsayesinde Stanford Üniversitesi’ndeki araştırmacılar.

Lego’nun kullanım kılavuzları, geçmişleri, deneyim düzeyleri veya konuştukları dil ne olursa olsun, bir montaj sürecini bir inşaatçıya görsel olarak nasıl ileteceğiniz konusunda bir ustalık sınıfıdır. Gerekli parçalara ve kısmen monte edilmiş modelin bir görüntüsü ile bir sonraki arasındaki farklara çok dikkat edin ve bir sonraki adıma geçmeden önce tüm parçaların nereye gitmesi gerektiğini anlayabilirsiniz. Lego, kullanım kılavuzlarının tasarımını yıllar içinde geliştirdi ve cilaladı, ancak insanlar için takip etmesi kolay olduğu kadar, makineler yalnızca adım adım kılavuzları nasıl yorumlayacaklarını öğreniyor.

Lego ile inşa etmeyi öğrenen makineler söz konusu olduğunda en büyük zorluklardan biri, geleneksel basılı talimat kılavuzlarındaki 3B modellerin iki boyutlu görüntülerini yorumlamaktır (ancak,everal Lego modelleri artık şirketin mobil uygulaması aracılığıyla monte edilebilir, her adımın döndürülebilen ve herhangi bir açıdan incelenebilen tam 3D modellerini sağlar). İnsanlar bir Lego tuğlasının resmine bakabilir ve onu bir tuğla yığını içinde bulmak için anında 3D yapısını belirleyebilir, ancak robotların bunu yapması için, Stanford Üniversitesi’ndeki araştırmacıların Manuel-Yürütülebilir Plan Ağı veya kısaca MEPNet olarak adlandırdıkları yeni bir öğrenme tabanlı çerçeve geliştirmekt—olarak yakın zamanda yayınlanan bir makalede ayrıntılı olarak.

Sinir ağının her adım için kılavuzda tanımlanan tek tek parçaların 3B şeklini, biçimini ve yapısını yalnızca tahmin etmesi gerekmez, aynı zamanda her adımda yer alan yarı birleştirilmiş modellerin genel şeklini de yorumlaması gerekir. onların yönelimi. Bir parçanın nereye eklenmesi gerektiğine bağlı olarak, Lego kılavuzları genellikle bir önceki adımdan tamamen farklı bir perspektiften yarı monte edilmiş bir modelin görüntüsünü sağlar. MEPNet çerçevesi, gördüklerini ve önceki adımlarda gösterildiği gibi oluşturduğu 3B modelle nasıl ilişkili olduğunu deşifre etmelidir.

makine öğrenimi ile 3D modele dönüştürülen lego eğitiminin fotoğrafı

Ekran görüntüsü: Ruocheng Wang, Yunzhi Zhang, Jiayuan Mao, Chin-Yi Cheng ve Jiajun Wu

Ardından çerçevenin, her adımdaki yeni parçaların önceden oluşturulmuş 3B modele nerede uyduğunu belirlemesi gerekir. yarı birleştirilmiş modelin bir sonraki yinelemesini öncekilerle karşılaştırarak. Lego kılavuzları, parça yerleşimini belirtmek için okları kullanmaz ve en fazla, yeni parçaların nereye yerleştirilmesi gerektiğini belirtmek için biraz farklı bir renk kullanır – bu, yazdırılan bir sayfanın taranmış bir görüntüsünden algılanamayacak kadar ince olabilir. MEPNet çerçevesi bunu kendi başına çözmeli, ama ne süreci biraz daha kolaylaştırır a benzersiz özellik Lego tuğlaları: üstte çıtçıtlar ve altta birbirine güvenli bir şekilde bağlanmalarını sağlayan çıtçıtlar. MEPNet, bir parçanın dikmelerinin konumuna bağlı olarak Lego tuğlalarının gerçekte nasıl istiflenip eklenebileceğinin konumsal sınırlamalarını anlar, bu da yarı montajlı modelde nereye eklenebileceklerini daraltmaya yardımcı olur.

Yani bir robot kolunun önüne bir yığın plastik tuğla ve bir kullanım kılavuzu bırakıp birkaç saat içinde tamamlanmış bir modele geri dönmeyi bekleyebilir misiniz? Henüz değil. Bu araştırmanın amacı, bir Lego kılavuzunun 2D görüntülerini, bir makinenin işlevsel olarak anlayabileceği montaj adımlarına basitçe dönüştürmekti. Bir robota Lego tuğlalarını manipüle etmeyi ve birleştirmeyi öğretmek tamamen başka bir zorluktur – bu sadece ilk adımdır – ancak dışarıda bir makinede gerçek yapım sürecini rehin almak isteyen herhangi bir Lego hayranı olup olmadığından emin değiliz.

Bu araştırmanın daha ilginç uygulamalara sahip olabileceği yer, potansiyel olarak eski Lego talimat kılavuzlarını şimdi Lego mobil uygulamasında bulunan etkileşimli 3D yapım kılavuzlarına otomatik olarak dönüştürmektir. Ve 2D görüntüleri üç boyutlu tuğladan yapılmış yapılara çevirmenin daha iyi anlaşılmasıyla, bu çerçeve potansiyel olarak herhangi bir nesnenin görüntülerini çevirebilecek ve bir Lego modeline nasıl dönüştürüleceğine dair talimatlar verebilecek bir yazılım geliştirmek için kullanılabilir.



genel-7