MIT și Autodesk dezvoltă AI care poate da seama de instrucțiuni Lego confuze

Te-ai uimit de un set Lego? Un nou cadru de învățare automată poate interpreta acele instrucțiuni pentru dvs. 

Cercetătorii de la Universitatea Stanford, Laboratorul de Informatică și Inteligență Artificială al MIT și Laboratorul Autodesk AI au colaborat pentru a dezvolta un cadru nou bazat pe învățare, care poate interpreta instrucțiunile 2D pentru a construi obiecte 3D. 

Rețeaua Manual-to-Executable-Plan sau MEPNet, a fost testat pe seturi Lego generate de computer, instrucțiuni de set Lego reale și planuri de construcție voxel în stil Minecraft, iar cercetătorii au spus că a depășit metodele existente în general. 

Ideea inedită a lui MEPNet

Interpretarea instrucțiunilor 2D nu este ușoară pentru inteligența artificială. Cercetătorii au spus că există câteva probleme cheie care provin de la instrucțiunile vizuale care, la fel ca seturile Lego, constau în întregime din imagini: identificarea corespondenței dintre obiectele 2D și 3D și tratarea cu o mulțime de piese de bază, cum ar fi Lego. 

Cărămizile Lego de bază, au spus cercetătorii, sunt adesea asamblate în forme complexe înainte de a fi adăugate la corpul principal al modelului. Acest lucru „crește dificultatea mașinilor de a interpreta manualele Lego: necesită deducerea unor poziții 3D ale obiectelor nevăzute compuse din primitive văzute”, au spus cercetătorii.

Metodele existente de analiză a pașilor manuali în planuri executabile de mașină constau în principal din două forme, au spus cercetătorii: metode bazate pe căutare care sunt simple și precise, dar costisitoare din punct de vedere computațional; și modele bazate pe învățare care sunt rapide, dar nu sunt foarte bune la manipularea formelor 3D nevăzute.

MEPNet, au spus cercetătorii, combină ambele.

Pornind de la un model 3D al componentelor, starea actuală a setului Lego și imagini manuale 2D, MEPNet „prevestește un set de puncte cheie și măști 2D pentru fiecare componentă”, au scris cercetătorii.

Odată ce s-a terminat, punctele cheie 2D „sunt proiectate înapoi în 3D prin găsirea de posibile conexiuni între forma de bază și noile componente”. Combinația „menține eficiența modelelor bazate pe învățare și generalizează mai bine componentele 3D nevăzute”, a scris echipa.

Dar poate să-mi construiască șifonierul Ikea?

În lucrare, cercetătorii au spus că scopul lor este de a crea mașini care îi ajută pe oameni să asambleze obiecte complexe și includ mobilier alături de cărămizi Lego și lumi voxel în lista lor de aplicații.

I-am întrebat pe cercetătorii din spatele MEPNet despre mai multe utilizări potențiale ale noului lor cadru, dar încă nu am primit răspuns. Între timp, ar putea fi rezonabil să presupunem că MEPNet ar putea construi un raft de cărți – cel puțin virtual – având în vedere biblioteca necesară de componente și instrucțiuni.

Tot ce ar trebui să facă un om ar fi să interpreteze redările 3D ale MEPNet, care, sperăm, ar fi mai ușor decât instrucțiunile de mobilă pachete.

Cei care doresc să testeze MEPNet și sunt familiarizați cu Pytorch, pot găsi codul său pe Github🇧🇷 🇧🇷