MIT و Autodesk هوش مصنوعی را توسعه می‌دهند که می‌تواند دستورالعمل‌های گیج کننده لگو را کشف کند

از مجموعه لگو گیر کرده اید؟ یک چارچوب جدید یادگیری ماشینی می تواند این دستورالعمل ها را برای شما تفسیر کند. 

محققان دانشگاه استنفورد، آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT و آزمایشگاه هوش مصنوعی Autodesk برای توسعه یک چارچوب مبتنی بر یادگیری جدید که می‌تواند دستورالعمل‌های دو بعدی را برای ساخت اشیاء سه بعدی تفسیر کند، همکاری کرده‌اند. 

شبکه Manual-to-Executable-Plan یا MEPNet، روی مجموعه‌های لگو تولید شده توسط رایانه، دستورالعمل‌های مجموعه واقعی لگو و طرح‌های ساخت وکسل به سبک Minecraft آزمایش شد و محققان گفتند که این روش از روش‌های موجود در کل عملکرد بهتری داشت. 

ایده جدید MEPNet

تفسیر دستورالعمل های دو بعدی برای هوش مصنوعی آسان نیست. محققان گفتند چند مشکل کلیدی از دستورالعمل‌های بصری وجود دارد که مانند مجموعه‌های لگو، کاملاً از تصاویر تشکیل شده‌اند: شناسایی متناظر بین اشیاء دو بعدی و سه بعدی، و برخورد با بسیاری از قطعات اساسی، مانند لگو. 

به گفته محققان، آجرهای اصلی لگو اغلب قبل از اضافه شدن به بدنه اصلی مدل، به اشکال پیچیده مونتاژ می شوند. به گفته محققان، این "مشکل ماشین‌ها در تفسیر کتابچه‌های راهنمای لگو را افزایش می‌دهد: این امر مستلزم استنباط حالت‌های سه‌بعدی از اجسام نادیده متشکل از موارد بدوی است."

به گفته محققان، روش‌های موجود برای تجزیه مراحل دستی در برنامه‌های اجرایی ماشینی عمدتاً از دو شکل تشکیل شده است: روش‌های مبتنی بر جستجو که ساده و دقیق هستند اما از نظر محاسباتی گران هستند. و مدل های مبتنی بر یادگیری که سریع هستند اما در مدیریت اشکال سه بعدی دیده نشده خیلی خوب نیستند.

محققان گفتند MEPNet هر دو را ترکیب می کند.

محققان نوشتند که با مدل سه بعدی اجزا، وضعیت فعلی مجموعه لگو و تصاویر دستی دو بعدی، MEPNet "مجموعه ای از نقاط کلیدی و ماسک های دو بعدی را برای هر جزء پیش بینی می کند."

هنگامی که این کار انجام شد، نقاط کلیدی دوبعدی "با یافتن ارتباطات احتمالی بین شکل پایه و اجزای جدید به صورت سه بعدی پیش بینی می شوند." این تیم نوشت: این ترکیب «کارایی مدل‌های مبتنی بر یادگیری را حفظ می‌کند و بهتر به اجزای سه‌بعدی دیده نشده تعمیم می‌دهد».

اما آیا می تواند کمد Ikea من را بسازد؟

در این مقاله، محققان گفتند که هدف آنها ایجاد ماشین‌هایی است که به افراد کمک می‌کند اشیاء پیچیده را جمع‌آوری کنند و مبلمان را در کنار آجرهای لگو و جهان‌های وکسل در فهرست برنامه‌های خود قرار دهند.

ما از محققان MEPNet در مورد استفاده‌های بالقوه بیشتر از چارچوب جدیدشان سؤال کرده‌ایم، اما هنوز پاسخی نشنیده‌ایم. در این بین، ممکن است منطقی باشد که فرض کنیم MEPNet می تواند یک قفسه کتاب بسازد - حداقل به صورت مجازی - با توجه به کتابخانه لازم از اجزا و دستورالعمل ها.

تنها کاری که یک انسان باید انجام دهد این است که رندرهای سه بعدی MEPNet را تفسیر کند، که امیدواریم از دستورالعمل های مبلمان با بسته بندی تخت راحت تر باشد.

کسانی که می خواهند MEPNet را آزمایش کنند و با Pytorch آشنا هستند، می توانند پیدا کنند کد آن در Githubبه ®