Цей робот навчився ходити в симуляції, а потім пішов на прогулянку в Берклі

Нещодавно в лабораторії Берклі, робот на ім'я Кессі сам навчився ходити, схоже на малюка. Шляхом проб і помилок він навчився рухатися в змодельованому світі. Потім його менеджери відправили його прогулюватися через мінне поле реальних випробувань, щоб побачити, як він пройде.

І, як виявилося, це вийшло дуже добре. Без додаткових налаштувань робот, який, по суті, є просто парою ніг, міг ходити в усіх напрямках, присідати під час ходьби, виправлятися, коли його штовхали з рівноваги, і пристосовуватися до різних типів поверхонь.

Це перший випадок, коли підхід до машинного навчання, відомий як навчання з підкріпленням, був настільки успішно застосований у двоногих роботах.

Ймовірно, це не перше відео про робота, яке ви бачили, і не найдосконаліше.

Протягом багатьох років Інтернет був у захваті від відео роботів, які роблять набагато більше, ніж просто ходять і відновлюють рівновагу. У ці дні все це настільні ставки. Boston Dynamics, чемпіон у важкій вазі з відео про роботів, регулярно випускає приголомшливі кадри роботів, які займаються паркуром, сальто назад та складні танцювальні номери. Часом це може здатися світом IROBOT не за горами.

Це почуття благоговіння заслужено. Boston Dynamics є одним із провідних у світі виробників передових роботів.

Але вони все одно повинні ретельно програмувати та хореографувати рухи роботів у своїх відео. Це потужний підхід, і команда Boston Dynamics зробила з ним неймовірні речі.

Однак у реальних ситуаціях роботи мають бути міцними та стійкими. Їм потрібно регулярно мати справу з несподіваним, і ніяка хореографія не підійде. Сподіваємося, що машинне навчання може допомогти.

Навчання з підкріпленням було найвідоміше використано DeepMind від Alphabet для навчання алгоритмів, які бити людей у ​​найважчих іграх. Спрощено кажучи, це моделюється за тим, як ми навчаємося. Торкнися печі, обпечись, більше не чіпай прокляту; скажіть, будь ласка, візьміть драже, ввічливо попросіть інший.

У випадку Кессі команда Берклі використовувала навчання з підкріпленням, щоб навчити алгоритм ходити в симуляції. Це не перший ШІ, який навчився ходити таким чином. Але перехід від симуляції до реального світу не завжди приносить значення.

Незначні відмінності між ними можуть (буквально) збити молодого робота, коли він вперше випробуває свої навички симулятора.

Щоб подолати цю проблему, дослідники використали дві симуляції замість однієї. Перше моделювання, навчальне середовище з відкритим вихідним кодом під назвою MuJoCo, де алгоритм спирався на велику бібліотеку можливих рухів і шляхом проб і помилок навчився їх застосовувати. Друга симуляція під назвою Matlab SimMechanics слугувала тестовим полігоном із низькими ставками, який точніше відповідав умовам реального світу.

Коли алгоритм виявився достатньо хорошим, він перейшов до Кессі.

І що дивно, він не потребував подальшого полірування. Іншими словами, коли воно народилося у фізичному світі, воно чудово вміло ходити. Крім того, він був досить міцним. Дослідники пишуть, що два двигуни в коліні Кессі вийшли з ладу під час експерименту, але робот зміг налаштуватися і продовжив рух.

Інші лабораторії наполегливо працювали над застосуванням машинного навчання до робототехніки.

Минулого року використовував Google підкріплення навчання дресирування (простішого) чотириногого робота. і OpenAI використовував його з роботами. Boston Dynamics також, ймовірно, шукатиме шляхи доповнюють своїх роботів машинним навчанням. Нові підходи — як цей спрямовані на навчання багатонавикових роботів або цей пропонуючи безперервне навчання поза навчанням, також може змінити циферблат. Однак ще рано, і невідомо, коли машинне навчання перевищить більш традиційні методи.

А тим часом боти Boston Dynamics є тестування промислових вод.

Тим не менш, дослідники робототехніки, які не були частиною команди Берклі, вважають цей підхід багатообіцяючим. Едвард Джонс, керівник лабораторії навчання роботів Імперського коледжу Лондона, сказав MIT Technology Review, «Це один із найуспішніших прикладів, які я бачив».

Команда Берклі сподівається розвинути цей успіх, випробовуючи «більш динамічну та спритну поведінку». Отже, може, самоучка паркур-Кессі прямує до нас? Ми побачимо.

Зображення Фото: Гібридна робототехніка Каліфорнійського університету Берклі через YouTube

Джерело: https://singularityhub.com/2021/04/11/this-robot-taught-itself-to-walk-in-a-simulation-then-went-for-a-stroll-in-berkeley/