Procgeni ja MineRLi võistlused

Procgeni võistlus

Registreeruge Procgeni kasutajaks

. Procgeni võistlus keskendub valimi tõhususe ja üldistamise parandamisele tugevdamisõppes. Osalejad püüavad maksimeerida agentide jõudlust, kasutades fikseeritud arvu keskkonna interaktsioone. Agente hinnatakse kõigis 16 keskkonnas, mis on juba avalikult välja antud Procgeni võrdlusalus, samuti neljas spetsiaalselt selle võistluse jaoks loodud salajases testkeskkonnas. Summeerides jõudlust nii paljudes erinevates keskkondades, saame aluseks olevate algoritmide hindamiseks kvaliteetseid mõõdikuid. Lisateavet iga vooru üksikasjade kohta leiate siin.

Kuna kogu sisu luuakse protseduuriliselt, nõuab iga Procgeni keskkond sisuliselt agentidelt üldistamist ennenägematutele olukordadele. Need keskkonnad pakuvad seega tugevat testi agendi õppimisvõime kohta paljudes erinevates seadetes. Lisaks kujundasime Procgeni keskkonnad nii, et neid oleks kiire ja lihtne kasutada. Piiratud arvutusressurssidega osalejad saavad meie lähtetulemusi hõlpsalt reprodutseerida ja uusi katseid läbi viia. Loodame, et see annab osalejatele võimaluse kiiresti leida uusi meetodeid, et parandada valimi tõhusust ja üldistamist RL-is.

MineRL võistlus

Registreeruge MineRL-i kasutajaks

Paljud hiljutised, tähistatud tehisintellekti edusammud, nagu AlphaStar, AlphaGo ja meie oma OpenAI viis, kasutage sügavat tugevdamisõpet, et saavutada järjestikuste otsustusülesannete täitmisel inim- või inimtasemel jõudlus. Need tipptasemel täiustused on seni nõudnud eksponentsiaalselt kasvav arvutus- ja simulaatorinäidiste hulk ning seetõttu on paljusid neist süsteemidest raske rakendada otse reaalsete probleemide lahendamiseks, kus keskkonnaproovid on kallid. Üks hästi tuntud viis keskkonnaproovide keerukuse vähendamiseks on kasutada inimeste eelarvamusi ja soovitud käitumise demonstratsioone.

MineRL 1 konkursi 2019. koha esituse renderdus rauast kirka hankides.

Sellesuunaliste uuringute edasiseks katalüseerimiseks korraldame kaastööd MineRL 2020 võistlus mille eesmärk on soodustada selliste algoritmide väljatöötamist, mis suudavad tõhusalt kasutada inimeste demonstratsioone, et vähendada järsult keeruliste, hierarhiliste ja hõredate keskkondade lahendamiseks vajalike proovide arvu. Sel eesmärgil võistlevad osalejad, et töötada välja süsteeme, mis võimaldavad saada teemanti Minecraft töötlemata pikslitest, kasutades ainult 8,000,000 XNUMX XNUMX proovi MineRL simulaator ja 4 päeva koolitust ühel GPU masinal. Osalejatele antakse MineRL-v0 andmestik (veebisait, paber), mis koosneb enam kui 60 miljonist inimesitluse kaadrist, mis võimaldab neil kasutada ekspertide trajektoore, et minimeerida oma algoritmi ja Minecrafti simulaatori vastasmõju.

See võistlus on järg MineRL 2019 võistlus milles tippmeeskonna agent suutis rauast kirka hankima (võistluse eelviimane eesmärk) selle äärmiselt piiratud arvutus- ja simulaatori-interaktsiooni eelarve raames. Kui vaadata perspektiivi, siis tipptasemel standardsed tugevdamisõppesüsteemid nõuavad sama eesmärgi saavutamiseks sadu miljoneid keskkonnamõjusid suurtes mitme GPU-ga süsteemides. Sel aastal eeldame, et konkurendid suruvad tipptasemel tehnikat veelgi kaugemale.

Tagamaks, et konkurendid töötaksid välja tõeliselt tõhusaid näidisalgoritme, koolitavad MineRL-i võistluste korraldajad tippmeeskonna viimase vooru mudeleid nullist, piirates rangeid riistvara, arvutusi ja simulaatorite interaktsiooni. MineRL 2020 võistlus sisaldab ka uudset meedet, et vältida käsitsi insenerifunktsioone ja lahenduste ülepaigutamist domeenile. Võistluse ülesehituse kohta leiate täpsemat teavet siin.

Allikas: https://openai.com/blog/procgen-minerl-competitions/