O rastreamento de mãos foi disponibilizado pela primeira vez no Oculus Quest no final de 2019. Com entusiasmo por esse novo método de entrada, publiquei uma demonstração de Cubismo para SideQuest com suporte de rastreamento de mão experimental apenas alguns dias depois. Desnecessário dizer que esta demonstração inicial tinha várias falhas e realmente não levou em consideração as limitações da tecnologia, razão pela qual decidi inicialmente omitir o suporte de rastreamento de mão do lançamento completo do Cubismo na Oculus Store. Foi preciso mais desenvolvimento, apoiado nas lições aprendidas com o trabalho de outros desenvolvedores, para construir algo que fiquei feliz em lançar recentemente Cubismo atualização de rastreamento de mão. Aqui está uma visão interna do processo de design.
Artigo convidado por Thomas Van Bouwel
Thomas é um desenvolvedor de RV belga-brasileiro atualmente baseado em Bruxelas. Embora sua formação original seja em arquitetura, seu trabalho atual em RV abrange jogos independentes como Cubismo a software empresarial para arquitetos e engenheiros como Resolver.
Esta atualização se baseia nas lições aprendidas com muitos outros jogos e desenvolvedores que têm explorado o rastreamento manual no ano passado (O conto curioso dos animais roubados, Simulador de férias, Lucas Mefisto, Dannys Kuhnerte vários outros).
Neste artigo, gostaria de compartilhar algumas coisas que aprendi ao enfrentar os desafios específicos de Do cubismo interações de mão.
Otimizando para interações precisas
Do cubismo as interações giram em torno da colocação de pequenas peças irregulares em uma grade de quebra-cabeça. Isso significava que o principal requisito para a entrada de rastreamento de mão era a precisão, tanto ao pegar e colocar as peças na grade, quanto ao separar com precisão as peças de um quebra-cabeça completo. Isso informou a maioria das decisões de design com relação à entrada manual.
Mãos fantasma
Eu decidi logo no início não faça as mãos com base na física, mas, em vez disso, deixe-as passar pelas peças até que uma seja ativamente agarrada.
Isso evitou empurrar desajeitadamente as peças flutuantes do quebra-cabeça quando você estava tentando agarrá-las no ar, mas mais importante, tornou mais fácil arrancar peças no meio de um quebra-cabeça completo, pois você pode simplesmente enfiar os dedos e pegar uma peça em vez de precisando descobrir como retirá-los fisicamente.
Sinalizadas por sua transparência, as mãos não são físicas, facilitando a escolha das peças do meio de um quebra-cabeça.
Captura de contato
Existem várias abordagens para detectar a intenção do usuário de agarrar e soltar objetos, como focar em beliscar os dedos ou na rotação total da articulação do dedo enquanto verifica uma zona de interação geral na palma da mão.
Escolha Do cubismo No entanto, peças pequenas e irregulares do quebra-cabeça, a abordagem que parecia atender melhor aos requisitos de precisão era uma abordagem baseada em contato, em que uma peça é agarrada assim que o polegar e o indicador cruzam a mesma peça e são aproximados por uma pequena distância, sem exigir uma pitada completa.
Semelhante ao abordagem em O conto curioso dos animais roubados, os dedos são travados no lugar assim que uma garra começa, para ajudar a dar a impressão de uma garra de aparência mais estável. A peça é fixada na raiz da mão (o pulso) enquanto é agarrada. Uma vez que esta parece ser a junta rastreada mais estável, ajuda a produzir uma pegada mais estável e garante que a peça permaneça alinhada com os dedos travados.
A peça é agarrada quando o polegar e o indicador a cruzam e são levemente aproximados. A rotação do indicador e do polegar são travadas no lugar para ajudar a dar a impressão de uma pegada estável.
Assim que uma peça é agarrada, a distância entre o polegar e o índice é salva e uma margem de liberação é calculada com base nessa distância. Depois que o polegar e o indicador se separam além dessa margem, a peça é solta.
Diversas salvaguardas tentam evitar liberações não intencionais: não verificamos a liberação quando a confiança do rastreamento está abaixo de um certo limite e, depois que a confiança do rastreamento é reconquistada, esperamos vários frames até verificar a liberação novamente. Os dedos também devem estar além da margem de liberação por vários quadros antes de realmente serem liberados.
Visualização de depuração: durante uma captura, a distância inicial de captura entre as pontas dos dedos é salva (círculo vermelho externo). A peça é liberada quando a posição real das pontas dos dedos se move além de uma certa margem (círculo azul).
Também existe um sistema semelhante ao Método overgrab do simulador de férias. Devido à falta de feedback tátil ao agarrar uma peça, não é incomum que os dedos se aproximem um do outro durante uma pegada. Se eles fecharem além de um certo limite, as margens de liberação são ajustadas para facilitar a liberação da peça.
Experimente você mesmo: para ver essas visualizações de depuração no jogo, vá para 'Configurações> Rastreamento de mãos> Visualizações de depuração' e ative 'Widgets de interações'.
Visualização de depuração: Se os dedos se moverem um para o outro durante uma captura sobre um determinado limite (círculo vermelho interno), as margens de liberação são reajustadas para fazer com que a liberação da peça pareça menos “pegajosa”.
Um limite para essa abordagem é que ela torna um pouco mais difícil apoiar agarrar com outros dedos além do indicador. Uma implementação anterior também permitia agarrar entre o dedo médio e o polegar, mas isso geralmente levava a falsos positivos ao pegar peças de uma grade de quebra-cabeça completa, uma vez que era difícil avaliar com qual dedo o jogador pretendia agarrar uma peça específica.
Isso não teria sido um problema se agarrar girasse em torno de pinças de dedo, uma vez que isso resulta em um binário de entrada mais claro a partir do qual determinar a intenção do usuário (ao custo de uma pose de agarrar menos natural).
Verificação de ponto médio
Além de verificar qual peça o indicador e o polegar estão se cruzando, uma verificação adicional acontece no ponto médio entre a ponta do dedo indicador e a ponta do polegar.
Qualquer peça sobre a qual este ponto médio pairar será priorizada para agarrar, o que ajuda a evitar falsos positivos quando um jogador tenta agarrar uma peça em uma grade completa.
No exemplo abaixo, se o jogador pretende agarrar a peça verde pela borda direita, ele agarraria involuntariamente a peça amarela se não fizéssemos essa verificação do ponto médio.
Esquerda: polegar, índice e ponto médio entre as pontas dos dedos estão em amarelo → amarelo. Direita: o polegar e o índice estão em amarelo, o ponto médio está em verde → pegue o verde
Agarrando o quebra-cabeça
Agarrar o quebra-cabeça funciona de maneira semelhante a pegar as peças do quebra-cabeça, exceto que é iniciado executando uma pinça completa dentro da zona de agarrar ao redor do quebra-cabeça.
O tamanho desta zona é aumentado dinamicamente ao mudar de controladores para mãos. Isso torna um pouco mais fácil de agarrar e ajuda a reduzir a probabilidade de agarrar acidentalmente uma peça na grade em vez da própria grade.
A zona de agarrar ao redor do quebra-cabeça se expande ao mudar dos controladores para as mãos, tornando-o mais fácil de agarrar. Embora exija uma pinça completa, agarrar o quebra-cabeça funciona de forma semelhante a pegar as peças do quebra-cabeça.
Suavização dinâmica de mãos
Os dados de rastreamento de mão fornecidos pelo Oculus Quest ainda podem ter um pouco de instabilidade, mesmo quando a confiança de rastreamento é alta. Isso pode realmente afetar o jogo também, uma vez que o jitter pode ser muito mais perceptível ao segurar a grade do quebra-cabeça ou uma peça longa do quebra-cabeça pela borda, tornando mais difícil o posicionamento preciso das peças na grade.
Suavizar os dados de rastreamento pode percorrer um longo caminho para produzir garras com aparência mais estável, mas precisa ser feito com moderação, pois o excesso de suavização resultará em uma sensação de "atraso" nas mãos. Para equilibrar isso, alise à mão Cubismo é ajustado dinamicamente dependendo se sua mão está segurando algo ou não.
Experimente você mesmo: para ver o impacto do alisamento manual, tente desligá-lo em
'Configurações> Rastreamento de mão> Alisamento de mão'.
Aumentar a suavização das posições das mãos enquanto segura os objetos ajuda a produzir uma pegada mais estável, tornando o posicionamento preciso na grade um pouco mais fácil.
Botões de pressão
Uma coisa que notei com Do cubismo A demonstração original de rastreamento de mão foi que a maioria das pessoas tentava pressionar os botões, embora isso não fosse compatível na época. Portanto, um dos meus objetivos com esta nova versão de rastreamento de mão era fazer os botões realmente empurráveis.
Os botões podem ser pairados quando um raycast da ponta do dedo indicador atinge um colisor na parte de trás do botão. Se o dedo indicador cruzar com o colisor, uma pressão será registrada. Se o índice cruza o colisor sem primeiro pairar sobre ele, nenhuma imprensa é registrada. Isso ajuda a evitar falsos positivos quando o dedo se move de baixo para cima.
Existem mais algumas verificações para evitar falsos positivos: o raycast é desativado quando o dedo não está voltado para o botão ou quando o jogador não está olhando para o dedo ao pressionar.
Experimente você mesmo: para ver essa visualização de depuração no jogo, vá para 'Configurações> Rastreamento de mãos> Visualizações de depuração' e ative 'Widgets de interações'.
Visualização de depuração: um raycast da ponta do índice verifica se o dedo está pairando sobre um botão. Para ajudar a prevenir falsos positivos, a interação é desativada quando o dedo não está voltado para o botão ou quando o jogador não está olhando para o dedo.
Interações de orientação
Um dos principais desafios de construir qualquer interação para rastreamento de mão é que, ao contrário dos botões em um controlador que são pressionados ou não, existem muitas maneiras diferentes de as pessoas tentarem abordar uma interação com as mãos enquanto esperam o mesmo resultado .
Testar com um conjunto diversificado de pessoas pode ajudá-lo a aprender como as pessoas estão abordando as interações apresentadas a elas e pode ajudar a refinar as dicas de interação que as orientam para os gestos esperados. O teste de reprodução também pode ajudá-lo a aprender alguns dos outliers que você pode querer detectar, adicionando alguma redundância de interação.
Dicas de interação
Existem várias dicas ao pegar uma peça. Quando um usuário passa o mouse sobre uma peça pela primeira vez, seu indicador e polegar assumem a cor dessa peça, tanto para indicar que ela pode ser agarrada, quanto para sinalizar quais dedos podem agarrá-la (inspirado em trabalhos anteriores de Lucas Mefisto, Barrett Fox e Martin Schubert) A peça também é destacada para indicar que pode ser agarrada.
Várias dicas também indicam quando a captura é bem-sucedida: as pontas dos dedos ficam sólidas, os destaques da peça piscam e uma pequena dica de áudio é reproduzida.
Várias dicas na mão e no guia da peça do quebra-cabeça confirmam a interação de agarrar.
Os botões têm várias dicas para ajudar a indicar que podem ser pressionados. Muito parecido com as peças do quebra-cabeça, a ponta do dedo indicador é destacada em branco quando você passa o mouse sobre um botão, indicando qual dedo pode interagir. Como fizeram com os controladores, os botões se estendem para fora quando pairados, mas desta vez o botão estendido pode realmente ser pressionado: uma vez que o índice o toca, ele segue o dedo até que seja totalmente pressionado, momento em que uma sugestão de áudio confirma o clique.
Uma sombra sutil na superfície do botão indica a posição e a distância do índice ao botão e ajuda a orientar a interação com a imprensa.
Várias dicas orientam as interações com os botões: os botões se estendem para fora quando pairados, a ponta do dedo indicador é destacada, uma sombra mostra onde a ponta irá interagir e o botão segue o dedo quando pressionado.
Redundância de interação
Visto que algumas pessoas podem abordar algumas interações de maneiras não intencionais, pode ser bom tentar explicar isso sempre que possível, adicionando alguma redundância às maneiras como as pessoas podem usar as mãos para interagir. As dicas de interação ainda podem orientá-los para a interação pretendida, mas a redundância pode ajudar a evitar que fiquem presos desnecessariamente.
Quando se trata de agarrar peças, alguns jogadores de teste tentariam agarrar as peças fechando o punho em vez de usar as pontas dos dedos. Tendo os aceleradores cobrindo todo o dedo em vez de apenas a ponta do dedo, uma quantidade razoável dessas primeiras pegadas ainda será registrada.
Devo observar que essa abordagem ainda precisa de algumas melhorias, pois também introduz alguns problemas que produzem agarramentos não intencionais nos casos em que há muitas peças flutuando na área de jogo. Uma abordagem melhor no futuro pode ser também realizar uma verificação na rotação total do dedo para contabilizar, em vez disso, agarrar com os punhos.
Embora agarrar seja projetado em torno da ponta dos dedos, os coletores no indicador e no polegar cobrem todo o dedo para ajudar a pegar diferentes formas de agarrar.
Com os botões, havia alguns jogadores de teste que tentavam beliscá-los em vez de pressioná-los. Em parte, isso parecia ocorrer quando eles aprenderam como apertar botões na tela inicial do Oculus, logo antes de iniciar o jogo.
Por esse motivo, os botões também podem ser clicados por beliscar uma vez que são movidos, e esperançosamente dicas como o índice realçado e a sombra projetada irão eventualmente guiá-los para pressionar os botões.
Pinçar enquanto passa o mouse sobre os botões também é registrado como um clique.
O primeiro botão que os jogadores encontram ao usar as mãos também afirma explicitamente “Push to Start”, para ajudar a fazer a transição das pessoas de beliscar para empurrar depois de sair do menu inicial do Oculus.
Limitações de ensino
Embora a qualidade do rastreamento de mãos da Quest tenha melhorado no último ano, ainda tem suas limitações - e a consciência de um jogador dessas limitações pode ter um grande impacto em quão boa eles percebem sua experiência.
Cubismo implementa algumas maneiras de ensinar os jogadores sobre as limitações atuais de rastreamento de mãos no Quest.
Quando o jogador muda pela primeira vez para rastreamento de mãos (no lançamento ou no meio do jogo), um modal informa sobre algumas das melhores práticas, como jogar em um espaço bem iluminado e evitar cruzar as mãos.
Quando um usuário muda para rastreamento manual, um modal o informa sobre as limitações e as melhores práticas. A instrução “Push to Start” ajuda a ensinar aos novos usuários que os botões podem ser pressionados naturalmente neste jogo.
É importante reconhecer que a maioria das pessoas tende a rejeitar imediatamente modais como este ou esquecer rapidamente suas diretrizes, portanto, sinalizar por que as coisas podem dar errado durante a experiência também é importante.
In Cubismo, os ponteiros ficarão vermelhos para sinalizar quando o rastreamento foi perdido. Em alguns playtests, as pessoas mantinham uma mão no colo e brincavam com a outra, e ficavam intrigadas por que sua mão no colo parecia congelada. Para ajudar a informar casos como este, uma mensagem é exibida na mão para indicar claramente porque a mão está congelada se a perda de rastreamento persistir. Se o rastreamento for perdido especificamente porque o jogador está cruzando as mãos, a mensagem muda para informá-lo para não fazer isso.
Esquerda: mãos ficam vermelhas quando o rastreamento é perdido pela primeira vez. Meio: quando a perda de rastreamento persiste, uma mensagem informa o jogador sobre o que está acontecendo. Direita: se o rastreamento for perdido devido à oclusão das mãos, isso também é indicado
Para jogadores mais experientes, ou jogadores que preferem jogar com uma mão, este recurso pode ser substituído nas configurações fazendo com que as mãos desapareçam quando perdem o controle, se assemelhando mais ao comportamento no menu inicial do Oculus.
Os ponteiros vermelhos e as mensagens de advertência podem ser substituídos nas configurações por ponteiros esmaecidos.
Trabalho futuro
O rastreamento de mãos na Quest ainda tem suas limitações, e embora Do cubismo o suporte para ele já está em sua segunda versão, ainda há muito espaço para melhorias.
Independentemente disso, estou animado para começar a explorar e oferecer suporte a esses novos métodos de entrada. A curto prazo, acho que eles podem ajudar a tornar experiências como essa mais acessíveis e fáceis de compartilhar com novos usuários de RV.
Imagens de realidade mista capturadas em um iPhone com o app Reality Mixer de Fabio Dela Antonio dão uma ideia de como pode ser jogar cubismo em um fone de ouvido AR no futuro.
A longo prazo, parece haver uma boa chance de que o rastreamento de mãos seja a entrada para futuros dispositivos AR autônomos, então, esperançosamente, esta atualização pode ser um primeiro pequeno passo em direção a uma versão AR de Cubismo.
Se você gostou deste olhar sobre o design de rastreamento de mão no cubismo, certifique-se de dar uma olhada Artigo anterior de Thomas, que apresenta uma visão geral do design do jogo mais amplo.
O posto Estudo de caso: The Design Behind 'Cubism's' Hand-tracking apareceu pela primeira vez em Estrada para VR.
- Conta
- Adicional
- app
- AR
- Fone de ouvido AR
- arquitetura
- ÁREA
- por aí
- artigo
- auditivo
- MELHOR
- melhores práticas
- Pouco
- construir
- Prédio
- estudo de caso
- casos
- luta
- a verificação
- Cheques
- Círculo
- mais próximo
- vinda
- confiança
- conteúdo
- controlador
- Atual
- dados,
- Design
- Developer
- desenvolvedores
- Desenvolvimento
- Dispositivos/Instrumentos
- DID
- distância
- Cair
- Cedo
- borda
- Engenheiros
- Empreendimento
- software corporativo
- expande
- Experiências
- enfrentando
- Característica
- Figura
- Primeiro nome
- Flash
- falhas
- cheio
- futuro
- jogo
- Games
- Geral
- Bom estado, com sinais de uso
- agarrar
- Verde
- Grade
- Locatário
- Artigo convidado
- guia
- orientações
- rastreamento de mão
- fone
- Alta
- Destaque
- Início
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- idéia
- Impacto
- índice
- intenção
- interação
- iPhone
- questões
- IT
- lançamento
- APRENDER
- aprendido
- levou
- longo
- Fazendo
- mover
- movimentos
- líquido
- Oculus
- Missão Oculus
- Oculus loja
- Outros
- Outros
- Pessoas
- jogador
- Abundância
- Precisão
- imprensa
- quebra-cabeça
- qualidade
- busca
- Realidade
- reduzir
- Releases
- Requisitos
- Resultados
- Peneira
- conjunto
- Shadow
- Partilhar
- Baixo
- Missão secundária
- Tamanho
- pequeno
- So
- Software
- Espaço
- começo
- Estado
- Unidos
- roubado
- loja
- Estudo
- bem sucedido
- ajuda
- Suportado
- superfície
- .
- Ensino
- Equipar
- O Futuro
- tempo
- dicas
- topo
- Rastreamento
- Transparência
- Atualizar
- usuários
- visualização
- vr
- esperar
- O que é a
- QUEM
- dentro
- Atividades:
- trabalho
- ano
- Youtube