MIT, Autodesk utvikler AI som kan finne ut forvirrende Lego-instruksjoner

Stumpet av et Lego-sett? Et nytt rammeverk for maskinlæring kan tolke disse instruksjonene for deg. 

Forskere ved Stanford University, MITs Computer Science and Artificial Intelligence Lab og Autodesk AI Lab har samarbeidet om å utvikle et nytt læringsbasert rammeverk som kan tolke 2D-instruksjoner for å bygge 3D-objekter. 

Manual-to-Executable-Plan-nettverket, eller MEPNet, ble testet på datagenererte Lego-sett, ekte Lego-sett-instruksjoner og Minecraft-stil voxel-byggeplaner, og forskerne sa at det overgikk eksisterende metoder over hele linja. 

MEPNets nye idé

Å tolke 2D-instruksjoner er ikke lett for kunstig intelligens. Forskerne sa at det er et par nøkkelproblemer som går fra visuelle instruksjoner som, som Lego-sett, utelukkende består av bilder: Identifisere korrespondanse mellom 2D- og 3D-objekter, og håndtere mange grunnleggende deler, som Lego. 

Grunnleggende legoklosser, sa forskerne, er ofte satt sammen til komplekse former før de legges til hoveddelen av modellen. Dette "øker vanskelighetene for maskiner å tolke Lego-manualer: det krever å utlede 3D-positurer av usynlige objekter sammensatt av sett primitiver," sa forskerne.

Eksisterende metoder for å analysere manuelle trinn til maskinkjørbare planer består hovedsakelig av to former, sa forskerne: Søkebaserte metoder som er enkle og nøyaktige, men beregningsmessig dyre; og læringsbaserte modeller som er raske, men som ikke er så gode til å håndtere usynlige 3D-former.

MEPNet, sa forskerne, kombinerer begge deler.

Med utgangspunkt i en 3D-modell av komponentene, den nåværende tilstanden til Lego-settet og 2D manuelle bilder, forutsier MEPNet et sett med 2D-nøkkelpunkter og masker for hver komponent, skrev forskerne.

Når det er gjort, blir 2D-nøkkelpunktene "tilbakeprojisert til 3D ved å finne mulige forbindelser mellom basisformen og de nye komponentene." Kombinasjonen "opprettholder effektiviteten til læringsbaserte modeller, og generaliserer bedre til usynlige 3D-komponenter," skrev teamet.

Men kan den bygge min Ikea-kommode?

I papiret sa forskerne at målet deres er å lage maskiner som hjelper folk å sette sammen komplekse gjenstander, og de inkluderer møbler sammen med legoklosser og voxel-verdener i listen over applikasjoner.

Vi har spurt forskerne bak MEPNet om flere potensielle bruksområder for deres nye rammeverk, men har ikke hørt tilbake ennå. I mellomtiden kan det være rimelig å anta at MEPNet kan bygge en bokhylle – i det minste virtuelt – gitt det nødvendige biblioteket med komponenter og instruksjoner.

Alt et menneske trenger å gjøre ville være å tolke MEPNets 3D-gjengivelser, som forhåpentligvis ville være enklere enn instruksjoner for flatpakkede møbler.

De som ønsker å teste MEPNet, og er kjent med Pytorch, kan finne sin kode på Github. ®