Este robô ensinou-se a andar em uma simulação - depois foi dar um passeio em Berkeley

Recentemente, em um laboratório de Berkeley, um robô chamado Cassie aprendeu sozinho a andar, um pouco como uma criança faria. Por tentativa e erro, aprendeu a se mover em um mundo simulado. Em seguida, seus manipuladores o enviaram para um campo minado de testes do mundo real para ver como ele se sairia.

E, ao que parece, funcionou muito bem. Sem ajustes adicionais, o robô – que é basicamente apenas um par de pernas – foi capaz de andar em todas as direções, agachar-se enquanto caminhava, endireitar-se quando desequilibrado e ajustar-se a diferentes tipos de superfícies.

É a primeira vez que uma abordagem de aprendizado de máquina conhecida como aprendizado por reforço foi aplicada com tanto sucesso em robôs de duas pernas.

Este provavelmente não é o primeiro vídeo de robô que você viu, nem o mais sofisticado.

Durante anos, a internet ficou encantada com vídeos de robôs fazendo muito mais do que caminhar e recuperar o equilíbrio. Tudo isso é uma aposta de mesa hoje em dia. Boston Dynamics, o campeão peso-pesado de vídeos de robôs, lança regularmente imagens alucinantes de robôs fazendo parkour, cambalhota e rotinas de dança complexas. Às vezes, pode parecer que o mundo iRobot está ao virar da esquina.

Esse sentimento de admiração é merecido. A Boston Dynamics é um dos maiores fabricantes mundiais de robôs avançados.

Mas eles ainda precisam programar meticulosamente à mão e coreografar os movimentos dos robôs em seus vídeos. Esta é uma abordagem poderosa e a equipe da Boston Dynamics fez coisas incríveis com ela.

Em situações do mundo real, porém, os robôs precisam ser robustos e resilientes. Eles precisam lidar regularmente com o inesperado, e nenhuma coreografia servirá. É assim que se espera que o aprendizado de máquina possa ajudar.

O aprendizado por reforço foi explorado de forma mais famosa pelo DeepMind da Alphabet para treinar algoritmos que derrote humanos em alguns dos jogos mais difíceis. De forma simplista, é modelado na maneira como aprendemos. Toque no fogão, se queime, não toque mais naquela maldita coisa; diga por favor, pegue uma jujuba, peça educadamente outra.

No caso de Cassie, a equipe de Berkeley usou o aprendizado por reforço para treinar um algoritmo para caminhar em uma simulação. Não é a primeira IA a aprender a andar dessa maneira. Mas passar da simulação para o mundo real nem sempre se traduz.

Diferenças sutis entre os dois podem (literalmente) atrapalhar um robô novato enquanto ele testa suas habilidades de simulação pela primeira vez.

Para superar esse desafio, os pesquisadores usaram duas simulações em vez de uma. A primeira simulação, um ambiente de treinamento de código aberto chamado MuJoCo, foi onde o algoritmo recorreu a uma grande biblioteca de movimentos possíveis e, por tentativa e erro, aprendeu a aplicá-los. A segunda simulação, chamada Matlab SimMechanics, serviu como um campo de testes de baixo risco que correspondia com mais precisão às condições do mundo real.

Assim que o algoritmo ficou bom o suficiente, ele passou para Cassie.

E, surpreendentemente, não precisou de mais polimento. Dito de outra forma, quando nasceu no mundo físico – ele sabia andar muito bem. Além disso, também era bastante robusto. Os pesquisadores escrevem que dois motores no joelho de Cassie funcionaram mal durante o experimento, mas o robô foi capaz de se ajustar e continuar andando.

Outros laboratórios têm trabalhado arduamente na aplicação do aprendizado de máquina à robótica.

No ano passado, o Google usou aprendizagem por reforço para treinar um robô de quatro patas (mais simples). E OpenAI usou isso com braços robóticos. A Boston Dynamics também provavelmente explorará maneiras de aumentar seus robôs com aprendizado de máquina. Novas abordagens - como este destinado a treinar robôs multi-qualificados ou este oferecer aprendizagem contínua além do treinamento – também pode mudar o rumo. Ainda é cedo, porém, e não se sabe quando o aprendizado de máquina excederá os métodos mais tradicionais.

Enquanto isso, os bots do Boston Dynamics estão testando as águas comerciais.

Ainda assim, os investigadores de robótica, que não fizeram parte da equipa de Berkeley, consideram que a abordagem é promissora. Edward Johns, chefe do Laboratório de Aprendizagem de Robôs do Imperial College London, disse MIT Technology Review, “Este é um dos exemplos de maior sucesso que já vi.”

A equipe de Berkeley espera aproveitar esse sucesso experimentando “comportamentos mais dinâmicos e ágeis”. Então, será que Cassie, uma parkour autodidata, está vindo em nossa direção? Veremos.

Crédito de imagem: Robótica Híbrida da Universidade da Califórnia em Berkeley via YouTube

Fonte: https://singularityhub.com/2021/04/11/this-robot-taught-itself-to-walk-in-a-simulation-then-went-for-a-stroll-in-berkeley/