MIT, Autodesk udvikler AI, der kan finde ud af forvirrende Lego-instruktioner

Forbløffet over et Lego sæt? En ny maskinlæringsramme kan fortolke disse instruktioner for dig. 

Forskere ved Stanford University, MIT's Computer Science and Artificial Intelligence Lab og Autodesk AI Lab har samarbejdet om at udvikle en ny læringsbaseret ramme, der kan fortolke 2D-instruktioner til at bygge 3D-objekter. 

Manual-to-Executable-Plan-netværket, eller MEPNet, blev testet på computer-genererede Lego-sæt, rigtige Lego-sæt-instruktioner og Minecraft-stil voxel-byggeplaner, og forskerne sagde, at det overgik eksisterende metoder over hele linjen. 

MEPNets nye idé

Fortolkning af 2D-instruktioner er ikke let for kunstig intelligens. Forskerne sagde, at der er et par nøgleproblemer, der kommer fra visuelle instruktioner, der ligesom Lego-sæt udelukkende består af billeder: Identifikation af korrespondance mellem 2D- og 3D-objekter og håndtering af en masse grundlæggende stykker, som Lego. 

Grundlæggende legoklodser, sagde forskerne, samles ofte i komplekse former, før de føjes til modellens hoveddel. Dette "øger vanskeligheden for maskiner at fortolke Lego-manualer: det kræver at udlede 3D-positurer af usete objekter sammensat af sete primitiver," sagde forskerne.

Eksisterende metoder til at parse manuelle trin til maskineksekverbare planer består hovedsageligt af to former, sagde forskerne: Søgebaserede metoder, der er enkle og nøjagtige, men beregningsmæssigt dyre; og læringsbaserede modeller, der er hurtige, men som ikke er særlig gode til at håndtere usete 3D-former.

MEPNet, sagde forskerne, kombinerer begge dele.

Startende med en 3D-model af komponenterne, den aktuelle tilstand af Lego-sættet og 2D manuelle billeder, forudsiger MEPNet "et sæt 2D-nøglepunkter og masker for hver komponent," skrev forskerne.

Når det er gjort, bliver 2D-nøglepunkterne "tilbageprojiceret til 3D ved at finde mulige forbindelser mellem basisformen og de nye komponenter." Kombinationen "bevarer effektiviteten af ​​læringsbaserede modeller og generaliserer bedre til usete 3D-komponenter," skrev teamet.

Men kan den bygge min Ikea kommode?

I papiret sagde forskerne, at deres mål er at skabe maskiner, der hjælper folk med at samle komplekse genstande, og de inkluderer møbler sammen med Lego-klodser og voxel-verdener i deres liste over applikationer.

Vi har spurgt forskerne bag MEPNet om flere potentielle anvendelser af deres nye rammer, men har ikke hørt tilbage endnu. I mellemtiden kan det være rimeligt at antage, at MEPNet kunne bygge en bogreol – i det mindste virtuelt – givet det nødvendige bibliotek af komponenter og instruktioner.

Det eneste, et menneske skulle gøre, ville være at fortolke MEPNets 3D-gengivelser, hvilket forhåbentlig ville være nemmere end instruktioner til fladpakkemøbler.

De, der ønsker at teste MEPNet, og er fortrolige med Pytorch, kan finde dens kode på Github. ®