Competiții Procgen și MineRL

Concursul Procgen

Înscrieți-vă la Procgen

Concursul Procgen se concentrează pe îmbunătățirea eficienței eșantionului și generalizarea în învățarea prin consolidare. Participanții vor încerca să maximizeze performanța agenților folosind un număr fix de interacțiuni cu mediul. Agenții vor fi evaluați în fiecare dintre cele 16 medii deja lansate public în Procgen Benchmark, precum și în patru medii secrete de testare create special pentru această competiție. Prin agregarea performanței în atât de multe medii diverse, obținem valori de înaltă calitate pentru a judeca algoritmii de bază. Mai multe informații despre detaliile fiecărei runde pot fi găsite aici.

Deoarece tot conținutul este generat procedural, fiecare mediu Procgen necesită în mod intrinsec agenți să generalizeze la situații nemaivăzute până acum. Prin urmare, aceste medii oferă un test robust al capacității unui agent de a învăța în multe setări diverse. Mai mult, am proiectat mediile Procgen pentru a fi rapide și simplu de utilizat. Participanții cu resurse de calcul limitate vor putea să reproducă cu ușurință rezultatele noastre de referință și să efectueze noi experimente. Sperăm că acest lucru va permite participanților să repete rapid noi metode pentru a îmbunătăți eficiența eșantionului și generalizarea în RL.

Concursul MineRL

Înscrieți-vă la MineRL

Multe dintre succesele recente și celebrate ale inteligenței artificiale, cum ar fi AlphaStar, AlphaGo și ale noastre OpenAI Cinci, utilizați învățarea de întărire profundă pentru a obține performanțe la nivel uman sau supra-uman în sarcini de luare a deciziilor succesive. Aceste îmbunătățiri ale stadiului tehnicii au necesitat până acum un crescând exponențial cantitatea de eșantioane de calcul și simulator și, prin urmare, este dificil să se aplice multe dintre aceste sisteme direct la problemele din lumea reală în care mostrele de mediu sunt costisitoare. O modalitate binecunoscută de a reduce complexitatea eșantionului de mediu este de a valorifica antecedentele umane și demonstrațiile comportamentului dorit.

O redare a înscrierii pentru locul 1 la concursul MineRL 2019, primind un târnăcop de fier.

Pentru a cataliza și mai mult cercetarea în această direcție, co-organizăm Concursul MineRL 2020 care își propune să stimuleze dezvoltarea algoritmilor care pot folosi eficient demonstrațiile umane pentru a reduce drastic numărul de eșantioane necesare pentru a rezolva medii complexe, ierarhice și rare. În acest scop, participanții vor concura pentru a dezvolta sisteme care pot obține un diamant minecraft din pixeli bruti folosind doar 8,000,000 de mostre din Simulator MineRL și 4 zile de antrenament pe o singură mașină GPU. Participanților li se va furniza setul de date MineRL-v0 ( , hârtie), o colecție la scară largă de peste 60 de milioane de cadre de demonstrații umane, permițându-le să utilizeze traiectorii experți pentru a minimiza interacțiunile algoritmului lor cu simulatorul Minecraft.

Această competiție este o continuare a Concursul MineRL 2019 în care agentul echipei de top a fost in stare sa obțineți un târnăcop de fier (penultimul obiectiv al competiției) în cadrul acestui buget extrem de limitat de calcul și interacțiune simulator. Puse în perspectivă, sistemele de învățare standard de ultimă generație necesită sute de milioane de interacțiuni cu mediul pe sisteme mari multi-GPU pentru a atinge același obiectiv. Anul acesta, anticipăm că concurenții vor împinge și mai departe stadiul tehnicii.

Pentru a garanta că concurenții dezvoltă algoritmi cu adevărat eficienți, organizatorii competiției MineRL antrenează modelele rundei finale ale echipei de vârf de la zero, cu constrângeri stricte privind hardware-ul, calculul și interacțiunea cu simulatorul disponibil. Competiția MineRL 2020 include, de asemenea, o măsură nouă pentru a evita funcțiile de inginerie manuală și soluțiile de supraadaptare la domeniu. Mai multe detalii despre structura competiției pot fi găsite aici.

Sursa: https://openai.com/blog/procgen-minerl-competitions/