Den här roboten lärde sig att gå i en simulering - gick sedan en promenad i Berkeley

Nyligen i ett laboratorium i Berkeley, en robot som heter Cassie lärde sig att gå, lite som ett småbarn kanske. Genom försök och fel lärde det sig att röra sig i en simulerad värld. Sedan skickade dess hanterare den på promenad genom ett minfält av verkliga tester för att se hur det skulle gå.

Och som det visar sig gick det ganska jävligt bra. Utan ytterligare finjustering kunde roboten - som i grunden bara är ett par ben - gå i alla riktningar, huka sig ner medan han gick, rätta sig själv när den skjuts ut ur balans och anpassa sig till olika typer av ytor.

Det är första gången en maskininlärningsmetod som kallas förstärkningslärande har använts så framgångsrikt i tvåbenta robotar.

Det här är troligen inte den första robotvideon du har sett eller den mest polerade.

I åratal har Internet varit förtrollad av videor av robotar som gör mycket mer än att gå och återfå sin balans. Allt det här är bordssats nuförtiden. Boston Dynamics, den tunga mästaren av robotvideor, släpper regelbundet fantastiska bilder av robotar som gör parkour, bakåtvolteroch komplexa dansrutiner. Ibland kan det verka som iRobot är precis runt hörnet.

Denna känsla av vördnad är välförtjänt. Boston Dynamics är en av världens främsta tillverkare av avancerade robotar.

Men de måste fortfarande noggrant handprogrammera och koreografera rörelserna av robotarna i deras videor. Detta är ett kraftfullt tillvägagångssätt, och Boston Dynamics-teamet har gjort otroliga saker med det.

I verkliga situationer måste dock robotar vara robusta och motståndskraftiga. De måste regelbundet hantera det oväntade, och ingen koreografi kommer att göra det. Det är hur man hoppas att maskininlärning kan hjälpa till.

Förstärkningsinlärning har mest känt utnyttjats av Alfabetets DeepMind för att träna algoritmer som thrash människor på några av de svåraste spelen. Förenklat är det modellerat på det sätt vi lär oss. Rör vid kaminen, bli bränd, rör inte den jävla saken igen; säg snälla, få en geléböna, fråga artigt efter en annan.

I Cassies fall använde Berkeley-teamet förstärkningsinlärning för att träna en algoritm för att gå i en simulering. Det är inte den första AI som lär sig att gå på detta sätt. Men att gå från simulering till den verkliga världen kan inte alltid översättas.

Subtila skillnader mellan de två kan (bokstavligen) utlösa en nystartad robot när den testar sina simfärdigheter för första gången.

För att övervinna denna utmaning använde forskarna två simuleringar istället för en. Den första simuleringen, en öppen källkodsutbildningsmiljö som heter MuJoCo, var där algoritmen utnyttjade ett stort bibliotek med möjliga rörelser och genom försök och fel lärde sig att tillämpa dem. Den andra simuleringen, kallad Matlab SimMechanics, fungerade som en testplats med låga insatser som mer exakt matchade verkliga förhållanden.

När algoritmen var tillräckligt bra tog den examen till Cassie.

Och förvånansvärt behövde den inte ytterligare polering. Sagt ett annat sätt, när det föddes i den fysiska världen - det visste hur man skulle gå bra. Dessutom var det också ganska robust. Forskarna skriver att två motorer i Cassies knä fungerade felaktigt under experimentet, men roboten kunde justera och fortsätta åka.

Andra laboratorier har jobbat hårt med maskininlärning på robotik.

Förra året använde Google förstärkning lärande att träna en (enklare) fyrbenta robot. Och OpenAI har använt det med robotarmar. Boston Dynamics kommer också sannolikt att utforska sätt att förstärka sina robotar med maskininlärning. Nya tillvägagångssätt - som denna syftar till att utbilda flerkunniga robotar eller denna erbjuder kontinuerligt lärande utöver träning - kan också flytta ratten. Det är dock tidigt ännu, och det finns inget som säger när maskininlärning kommer att överstiga mer traditionella metoder.

Och under tiden är Boston Dynamics-bots testa det kommersiella vattnet.

Ändå tycker robotforskare, som inte ingick i Berkeley-teamet, att metoden är lovande. Edward Johns, chef för Imperial College Londons Robot Learning Lab, berättade MIT Technology Review, "Detta är ett av de mest framgångsrika exemplen jag har sett."

Berkeley-teamet hoppas kunna bygga vidare på den framgången genom att testa "mer dynamiska och smidiga beteenden." Så kan en självlärd parkour-Cassie vara på väg mot oss? Vi får se.

Image Credit: University of California Berkeley Hybrid Robotics via YouTube

Källa: https://singularityhub.com/2021/04/11/this-robot-taught-itself-to-walk-in-a-simulation-then-went-for-a-stroll-in-berkeley/