Competições Procgen e MineRL

Competição Procgen

Inscreva-se no Procgen

A Competição Procgen concentra-se em melhorar a eficiência da amostra e generalização na aprendizagem por reforço. Os participantes tentarão maximizar o desempenho dos agentes usando um número fixo de interações ambientais. Os agentes serão avaliados em cada um dos 16 ambientes já divulgados publicamente em Benchmark Procgen, bem como em quatro ambientes de teste secretos criados especificamente para esta competição. Ao agregar o desempenho em tantos ambientes diversos, obtemos métricas de alta qualidade para avaliar os algoritmos subjacentes. Mais informações sobre os detalhes de cada rodada podem ser encontradas SUA PARTICIPAÇÃO FAZ A DIFERENÇA.

Como todo o conteúdo é gerado processualmente, cada ambiente Procgen exige intrinsecamente que os agentes generalizem para situações nunca antes vistas. Esses ambientes, portanto, fornecem um teste robusto da capacidade de aprendizado de um agente em diversos ambientes. Além disso, projetamos ambientes Procgen para serem rápidos e simples de usar. Os participantes com recursos computacionais limitados poderão reproduzir facilmente nossos resultados básicos e realizar novos experimentos. Esperamos que isso capacite os participantes a iterar rapidamente em novos métodos para melhorar a eficiência e generalização da amostra em RL.

Competição MineRL

Inscreva-se no MineRL

Muitos dos recentes e célebres sucessos da inteligência artificial, como AlphaStar, AlphaGo e o nosso próprio OpenAI Cinco, utilizam aprendizagem por reforço profundo para alcançar desempenho de nível humano ou super-humano em tarefas sequenciais de tomada de decisão. Estas melhorias no estado da arte exigiram até agora uma aumentando exponencialmente quantidade de amostras de computação e simuladores e, portanto, é difícil aplicar muitos desses sistemas diretamente a problemas do mundo real onde as amostras de ambiente são caras. Uma maneira bem conhecida de reduzir a complexidade da amostra do ambiente é aproveitar os antecedentes humanos e as demonstrações do comportamento desejado.

Uma representação do 1º colocado da competição MineRL 2019 recebendo uma picareta de ferro.

Para catalisar ainda mais a pesquisa nesta direção, estamos co-organizando o Competição MineRL 2020 que visa promover o desenvolvimento de algoritmos que possam aproveitar de forma eficiente as demonstrações humanas para reduzir drasticamente o número de amostras necessárias para resolver ambientes complexos, hierárquicos e esparsos. Para isso, os participantes competirão para desenvolver sistemas que possam obter um diamante em Minecraft de pixels brutos usando apenas 8,000,000 de amostras do Simulador MineRL e 4 dias de treinamento em uma única máquina GPU. Os participantes receberão o conjunto de dados MineRL-v0 (site do Network Development Group, papel), uma coleção em grande escala de mais de 60 milhões de quadros de demonstrações humanas, permitindo-lhes utilizar trajetórias especializadas para minimizar as interações de seu algoritmo com o simulador Minecraft.

Este concurso é uma continuação do Competição MineRL 2019 em que o agente do time principal era capaz de obter uma picareta de ferro (o penúltimo objetivo da competição) sob este orçamento extremamente limitado de computação e interação com simuladores. Colocados em perspectiva, os sistemas de aprendizagem por reforço padrão de última geração exigem centenas de milhões de interações ambientais em grandes sistemas multi-GPU para atingir o mesmo objetivo. Este ano, prevemos que os concorrentes levarão o que há de mais moderno ainda mais longe.

Para garantir que os competidores desenvolvam algoritmos verdadeiramente eficientes, os organizadores da competição MineRL treinam os modelos da rodada final da equipe principal do zero, com restrições estritas de hardware, computação e interação do simulador disponíveis. A Competição MineRL 2020 também apresenta uma nova medida para evitar recursos de engenharia manual e soluções de overfitting para o domínio. Mais detalhes sobre a estrutura da competição podem ser encontrados SUA PARTICIPAÇÃO FAZ A DIFERENÇA.

Fonte: https://openai.com/blog/procgen-minerl-competitions/