MIT, Autodesk mengembangkan AI yang dapat memecahkan instruksi Lego yang membingungkan

Bingung dengan set Lego? Kerangka kerja pembelajaran mesin baru dapat menginterpretasikan instruksi tersebut untuk Anda. 

Para peneliti di Universitas Stanford, Lab Ilmu Komputer dan Kecerdasan Buatan MIT, dan Lab AI Autodesk telah berkolaborasi untuk mengembangkan kerangka kerja berbasis pembelajaran baru yang dapat menginterpretasikan instruksi 2D untuk membangun objek 3D. 

Jaringan Paket Manual-to-Executable, atau MEPNet, telah diuji pada set Lego yang dihasilkan komputer, instruksi set Lego asli, dan rencana pembuatan voxel bergaya Minecraft, dan para peneliti mengatakan itu mengungguli metode yang ada di seluruh papan. 

Ide baru MEPNet

Menafsirkan instruksi 2D tidak mudah untuk kecerdasan buatan. Para peneliti mengatakan ada beberapa masalah utama dari instruksi visual yang, seperti set Lego, seluruhnya terdiri dari gambar: Mengidentifikasi korespondensi antara objek 2D dan 3D, dan menangani banyak bagian dasar, seperti Lego. 

Bata Lego dasar, kata para peneliti, sering dirakit menjadi bentuk kompleks sebelum ditambahkan ke badan utama model. Ini "meningkatkan kesulitan bagi mesin untuk menafsirkan manual Lego: itu membutuhkan kesimpulan pose 3D dari objek tak terlihat yang terdiri dari primitif yang terlihat," kata para peneliti.

Metode yang ada untuk menguraikan langkah-langkah manual ke dalam rencana yang dapat dieksekusi mesin terutama terdiri dari dua bentuk, kata para peneliti: Metode berbasis pencarian yang sederhana dan akurat tetapi mahal secara komputasi; dan model berbasis pembelajaran yang cepat tetapi tidak terlalu baik dalam menangani bentuk 3D yang tidak terlihat.

MEPNet, kata para peneliti, menggabungkan keduanya.

Dimulai dengan model 3D dari komponen, keadaan set Lego saat ini, dan gambar manual 2D, MEPNet “memprediksi satu set titik kunci dan topeng 2D untuk setiap komponen,” tulis para peneliti.

Setelah selesai, titik kunci 2D “diproyeksikan kembali ke 3D dengan menemukan kemungkinan hubungan antara bentuk dasar dan komponen baru.” Kombinasi tersebut “mempertahankan efisiensi model berbasis pembelajaran, dan menggeneralisasi lebih baik ke komponen 3D yang tidak terlihat,” tulis tim tersebut.

Tapi bisakah itu membangun lemari Ikea saya?

Dalam makalah tersebut, para peneliti mengatakan tujuan mereka adalah untuk membuat mesin yang membantu orang merakit objek yang kompleks, dan mereka memasukkan furnitur di samping batu bata Lego dan dunia voxel dalam daftar aplikasi mereka.

Kami telah bertanya kepada para peneliti di belakang MEPNet tentang potensi penggunaan kerangka kerja baru mereka yang lebih banyak, tetapi belum mendapat tanggapan. Sementara itu, mungkin masuk akal untuk menganggap MEPNet dapat membangun rak buku – setidaknya secara virtual – dengan perpustakaan komponen dan instruksi yang diperlukan.

Yang harus dilakukan manusia hanyalah menafsirkan rendering 3D MEPNet, yang diharapkan akan lebih mudah daripada instruksi furnitur flat-pack.

Mereka yang ingin menguji MEPNet, dan akrab dengan Pytorch, dapat menemukan kodenya di Github. ®