El seguimiento manual estuvo disponible por primera vez en Oculus Quest a fines de 2019. Con entusiasmo por este nuevo método de entrada, publiqué una demostración de Cubismo a SideQuest con soporte experimental de seguimiento manual solo unos días después. No hace falta decir que esta demostración inicial tenía varios defectos y realmente no tenía en cuenta las limitaciones de la tecnología, razón por la cual decidí inicialmente omitir el soporte de seguimiento manual del lanzamiento completo de Cubismo en la tienda de Oculus. Tomó más desarrollo, apoyándome en las lecciones aprendidas del trabajo de otros desarrolladores, para construir algo que estaba feliz de lanzar en el reciente Cubismo actualización de seguimiento manual. Aquí hay una mirada al interior del proceso de diseño.
Artículo invitado por Tomás Van Bouwel
Thomas es un desarrollador de realidad virtual belga-brasileño que actualmente vive en Bruselas. Aunque su experiencia original es la arquitectura, su trabajo actual en realidad virtual abarca desde juegos independientes como Cubismo al software empresarial para arquitectos e ingenieros como Resolve.
Esta actualización se basa en las lecciones aprendidas de muchos otros juegos y desarrolladores que han estado explorando el seguimiento manual durante el último año (El curioso cuento de las mascotas robadas, Simulador de vacaciones, luca mefisto, Dennys Kuhnerty varios otros).
En este artículo, me gustaría compartir algunas cosas que he aprendido al abordar los desafíos específicos de El cubismo interacciones con las manos.
Optimización para interacciones precisas
El cubismo las interacciones giran en torno a colocar pequeñas piezas irregulares en una cuadrícula. Esto significaba que el requisito principal para la entrada de seguimiento manual era la precisión, tanto para recoger y colocar piezas en la cuadrícula como para seleccionar con precisión las piezas de un rompecabezas completo. Esto informó la mayoría de las decisiones de diseño con respecto a la entrada manual.
Manos fantasma
Decidí desde el principio no haga que las manos se basen en la física, pero en cambio déjelas pasar a través de las piezas hasta que una sea agarrada activamente.
Esto evitó empujar torpemente las piezas flotantes del rompecabezas cuando intentas agarrarlas en el aire, pero lo que es más importante, facilitó el arranque de piezas en medio de un rompecabezas completo, ya que puedes meter los dedos y agarrar una pieza en lugar de necesitando descubrir cómo sacarlos físicamente.
Señaladas por su transparencia, las manos no son físicas, lo que facilita la selección de piezas del centro de un rompecabezas.
Toma de contacto
Hay varios enfoques para detectar la intención de un usuario de agarrar y soltar objetos, como enfocarse en pellizcar los dedos o en la rotación total de la articulación de los dedos mientras verifica una zona de interacción general en la palma de la mano.
El cubismo piezas de rompecabezas pequeñas e irregulares, sin embargo, el enfoque que parecía manejar mejor los requisitos de precisión fue un enfoque basado en el contacto, donde una pieza se agarra tan pronto como el pulgar y el índice se cruzan en la misma pieza y se juntan en una pequeña distancia, sin requerir un pellizco completo.
Similar a la acercarse en El curioso cuento de las mascotas robadas, los dedos se bloquean en su lugar tan pronto como comienza un agarre, para ayudar a dar la impresión de un agarre más estable. La pieza se empareja con la raíz de la mano (la muñeca) mientras se agarra. Dado que esta parece ser la unión con orugas más estable, ayuda a producir un agarre más firme y garantiza que la pieza permanezca alineada con los dedos bloqueados.
La pieza se agarra cuando el pulgar y el índice se cruzan y se juntan ligeramente. La rotación del índice y el pulgar se bloquea en su lugar para ayudar a dar la impresión de un agarre estable.
Tan pronto como se agarra una pieza, se guarda la distancia entre el pulgar y el índice, y se calcula un margen de liberación en función de esa distancia. Una vez que el pulgar y el índice se separan más allá de ese margen, se suelta la pieza.
Varias salvaguardas intentan evitar lanzamientos involuntarios: no verificamos el lanzamiento cuando la confianza del seguimiento está por debajo de un cierto umbral, y después de recuperar la confianza del seguimiento, esperamos varios fotogramas hasta verificar el lanzamiento nuevamente. También se requiere que los dedos estén más allá del margen de liberación durante varios fotogramas antes de soltarlos.
Visualización de depuración: durante un agarre, se guarda la distancia de agarre inicial entre las yemas de los dedos (círculo rojo exterior). La pieza se suelta cuando la posición real de las yemas de los dedos se mueve más allá de un cierto margen (círculo azul).
También existe un sistema similar al Método de overgrab de Vacation Simulator. Debido a la falta de retroalimentación háptica al agarrar una pieza, no es raro que los dedos se acerquen unos a otros durante un agarre. Si se cierran más allá de un cierto umbral, los márgenes de liberación se ajustan para facilitar la liberación de la pieza.
Pruébelo usted mismo: para ver estas visualizaciones de depuración en el juego, vaya a 'Configuración> Seguimiento de manos> Visualizaciones de depuración' y active 'Widgets de interacciones'.
Visualización de depuración: si los dedos se mueven entre sí durante un agarre por encima de un cierto umbral (círculo rojo interior), los márgenes de liberación se reajustan para que la liberación de la pieza se sienta menos "pegajosa".
Un límite de este enfoque es que dificulta un poco el agarre con otros dedos además del índice. Una implementación anterior también permitía agarrar entre el dedo medio y el pulgar, pero esto a menudo conducía a falsos positivos al agarrar piezas de una cuadrícula de rompecabezas completa, ya que era difícil evaluar con qué dedo el jugador intentaba agarrar una pieza específica.
Esto no habría sido un problema si el agarre girara en torno a pellizcos completos de los dedos, ya que eso da como resultado un binario de entrada más claro a partir del cual determinar la intención del usuario (a costa de una pose de agarre de sensación menos natural).
Verificación de punto medio
Además de verificar qué pieza se cruzan el índice y el pulgar, se realiza una verificación adicional en el punto medio entre la yema del dedo índice y la yema del dedo pulgar.
Cualquier pieza sobre la que se sitúe este punto medio tendrá prioridad para agarrar, lo que ayuda a evitar falsos positivos cuando un jugador intenta agarrar una pieza en una cuadrícula completa.
En el siguiente ejemplo, si el jugador tiene la intención de agarrar la pieza verde por su borde derecho, sin querer agarraría la pieza amarilla si no hiciéramos esta comprobación del punto medio.
A la izquierda: pulgar, índice y punto medio entre las yemas de los dedos están en amarillo → agarre amarillo. A la derecha: el pulgar y el índice están en amarillo, el punto medio está en verde → agarre verde
Agarrando el rompecabezas
Agarrar el rompecabezas funciona de manera similar a agarrar las piezas del rompecabezas, excepto que se inicia realizando un pellizco completo dentro de la zona de agarre alrededor del rompecabezas.
El tamaño de esta zona aumenta dinámicamente cuando se cambia de controladores a manos. Esto hace que sea un poco más fácil de agarrar y ayuda a reducir la probabilidad de agarrar accidentalmente una pieza de la cuadrícula en lugar de la cuadrícula en sí.
La zona de agarre alrededor del rompecabezas se expande cuando se cambia de controladores a manos, lo que facilita su agarre. Aunque requiere un pellizco completo, agarrar el rompecabezas funciona de manera similar a agarrar las piezas del rompecabezas.
Suavizado dinámico de manos
Los datos de seguimiento de manos proporcionados por Oculus Quest aún pueden tener un poco de nerviosismo, incluso cuando la confianza en el seguimiento es alta. En realidad, esto también puede afectar el juego, ya que la fluctuación puede ser mucho más notoria cuando se sujeta la cuadrícula del rompecabezas o una pieza larga del rompecabezas por el borde, lo que dificulta la colocación precisa de las piezas en la cuadrícula.
Suavizar los datos de seguimiento puede ser de gran ayuda para producir agarres de apariencia más estable, pero debe hacerse con moderación ya que demasiado suavizado dará como resultado una sensación de "retraso" en las manos. Para equilibrar esto, alisar con la mano Cubismo se ajusta dinámicamente dependiendo de si su mano sostiene algo o no.
Pruébelo usted mismo: para ver el impacto del suavizado de manos, intente apagarlo debajo
'Configuración> Seguimiento de manos> Suavizado de manos'.
Aumentar el suavizado de las posiciones de las manos mientras sostiene objetos ayuda a producir un agarre más estable, lo que facilita un poco la colocación precisa en la cuadrícula.
Pulsando botones
Una cosa que noté con El cubismo La demostración de seguimiento manual original fue que la mayoría de las personas intentaron presionar los botones a pesar de que no era compatible en ese momento. Por lo tanto, uno de mis objetivos con esta nueva versión de seguimiento manual era hacer que los botones se pudieran presionar.
Se puede pasar el cursor sobre los botones cuando un raycast de la punta del dedo índice golpea un colisionador en la parte posterior del botón. Si el dedo índice se cruza con el colisionador, se registra una pulsación. Si el índice se cruza con el colisionador sin moverlo primero, no se registra ninguna presión. Esto ayuda a prevenir falsos positivos cuando el dedo se mueve de abajo hacia arriba.
Hay algunas comprobaciones más para evitar falsos positivos: el raycast se desactiva cuando el dedo no está frente al botón, o cuando el jugador no está mirando su dedo al presionar.
Pruébelo usted mismo: para ver esta visualización de depuración en el juego, vaya a 'Configuración> Seguimiento de manos> Visualizaciones de depuración' y active 'Widgets de interacciones'.
Visualización de depuración: un raycast de la punta del índice comprueba si el dedo está sobre un botón. Para ayudar a prevenir falsos positivos, la interacción se desactiva cuando el dedo no está frente al botón o cuando el jugador no está mirando su dedo.
Interacciones de orientación
Uno de los principales desafíos de crear cualquier interacción para el seguimiento manual es que, a diferencia de los botones de un controlador que se presionan o no, hay muchas formas diferentes en que las personas pueden intentar abordar una interacción con sus manos mientras esperan el mismo resultado. .
Hacer pruebas de juego con un conjunto diverso de personas puede ayudarlo a aprender cómo las personas se acercan a las interacciones que se les presentan y puede ayudar a refinar las señales de interacción que las guían hacia los gestos esperados. Las pruebas de juego también pueden ayudarlo a aprender algunos de los valores atípicos que quizás desee detectar agregando algo de redundancia de interacción.
Señales de interacción
Hay varias señales al agarrar una pieza. Cuando un usuario pasa por primera vez sobre una pieza, su índice y pulgar toman el color de esa pieza, tanto para indicar que se puede agarrar como para señalar qué dedos pueden agarrarla (inspirado en trabajos anteriores de luca mefisto, Barrett Fox y Martin Schubert). La pieza también se resalta para indicar que se puede agarrar.
Varias señales también indican cuándo el agarre tiene éxito: las yemas de los dedos se vuelven sólidas, los aspectos más destacados de la pieza parpadean y se reproduce una breve señal de audio.
Varias señales tanto en la mano como en la pieza del rompecabezas guían y confirman la interacción de agarre.
Los botones tienen varias señales para ayudar a indicar que se pueden presionar. Al igual que con las piezas de un rompecabezas, la punta del dedo índice se resalta en blanco una vez que pasa el mouse sobre un botón, lo que indica qué dedo puede interactuar. Al igual que hicieron con los controladores, los botones se extienden hacia afuera cuando se mantienen suspendidos, pero esta vez el botón extendido se puede presionar: una vez que el índice lo toca, sigue al dedo hasta que se presiona por completo, momento en el que una señal de audio confirma el clic.
Una sutil sombra en la superficie del botón indica dónde está la posición y la distancia del índice al botón y ayuda a guiar la interacción de la prensa.
Varias señales guían las interacciones con los botones: los botones se extienden hacia afuera cuando se mantienen suspendidos, la punta del dedo índice está resaltada, una sombra muestra dónde interactuará la punta y el botón sigue al dedo cuando se presiona.
Redundancia de interacción
Dado que algunas personas pueden abordar algunas interacciones de formas no deseadas, puede ser bueno intentar y dar cuenta de esto siempre que sea posible agregando algo de redundancia a las formas en que las personas pueden usar sus manos para interactuar. Las señales de interacción aún pueden guiarlos hacia la interacción deseada, pero la redundancia puede ayudar a evitar que se atasquen innecesariamente.
Cuando se trata de agarrar piezas, algunos probadores intentarían agarrar piezas cerrando el puño al principio en lugar de usar la punta de los dedos. Al hacer que los colisionadores cubran todo el dedo en lugar de solo la punta del dedo, aún se registrará una cantidad decente de estos primeros agarres.
Debo señalar que este enfoque aún necesita algunas mejoras, ya que también presenta algunos problemas que producen agarres no deseados en los casos en que hay muchas piezas flotando alrededor del área de juego. Un mejor enfoque en el futuro podría ser realizar también una verificación de la rotación total de los dedos para tener en cuenta los agarres de puños.
Aunque el agarre está diseñado alrededor de las yemas de los dedos, los colisionadores en el índice y el pulgar cubren todo el dedo para ayudar a atrapar diferentes formas de agarre.
Con los botones, hubo algunos expertos que intentaron pellizcarlos en lugar de presionarlos. En parte, esto pareció ocurrir cuando aprendieron previamente cómo pellizcar botones en la pantalla de inicio de Oculus, justo antes de iniciar el juego.
Por esta razón, también se puede hacer clic en los botones pellizcándolos una vez que están suspendidos y, con suerte, señales como el índice resaltado y la sombra paralela eventualmente los guiarán a presionar los botones.
Pellizcar mientras se coloca el cursor sobre los botones también se registra como un clic.
El primer botón que encuentran los jugadores cuando usan las manos también dice explícitamente "Push to Start", para ayudar a las personas a pasar de pellizcar a empujar después de salir del menú de inicio de Oculus.
Limitaciones de la enseñanza
Aunque la calidad del seguimiento de manos de Quest ha mejorado durante el último año, todavía tiene sus limitaciones, y la conciencia de un jugador de estas limitaciones puede tener un gran impacto en lo bien que perciben que es su experiencia.
Cubismo implementa algunas formas de enseñar a los jugadores sobre las limitaciones actuales del seguimiento de manos en Quest.
Cuando el jugador cambia por primera vez al seguimiento de manos (ya sea en el lanzamiento o en la mitad del juego), un modal le informa de algunas de las mejores prácticas, como jugar en un espacio bien iluminado y evitar cruzar las manos.
Cuando un usuario cambia al seguimiento manual, un modal le informa sobre las limitaciones y las mejores prácticas. La instrucción "Push to Start" ayuda a enseñar a los nuevos usuarios que los botones se pueden presionar naturalmente en este juego.
Es importante reconocer que es probable que la mayoría de las personas descarten de inmediato modales como este u olviden rápidamente sus pautas, por lo que también es importante señalar por qué las cosas pueden salir mal durante la experiencia.
In Cubismo, las manecillas se volverán rojas para señalar cuando se perdió el seguimiento. En algunas pruebas de juego, las personas mantenían una mano en su regazo y jugaban con la otra, y se sorprendían por qué su mano de regazo parecía congelada. Para ayudar a informar casos como este, se muestra un mensaje en la mano para indicar claramente por qué la mano está congelada si la pérdida de seguimiento persiste. Si el seguimiento se pierde específicamente porque el jugador está cruzando las manos, el mensaje cambia para informarle que no lo haga.
A la izquierda: las manos se vuelven rojas cuando se pierde el seguimiento por primera vez. Medio: cuando la pérdida de seguimiento persiste, un mensaje informa al jugador sobre lo que está sucediendo. A la derecha: si se pierde el seguimiento debido a manos ocluidas, esto también está indicado
Para los jugadores más experimentados, o los jugadores que prefieren jugar con una mano, esta función se puede reemplazar en la configuración haciendo que las manos se desvanezcan cuando pierden el seguimiento, lo que se asemeja más al comportamiento en el menú de inicio de Oculus.
Las manecillas rojas y los mensajes de advertencia se pueden reemplazar en la configuración por manecillas que se desvanecen.
Trabajo Futuro
El seguimiento de manos en Quest todavía tiene sus limitaciones, y aunque El cubismo el soporte ya está en su segunda versión, todavía hay mucho margen de mejora.
Independientemente, estoy emocionado de comenzar a explorar y respaldar estos nuevos métodos de entrada. A corto plazo, creo que pueden ayudar a que experiencias como esta sean más accesibles y fáciles de compartir con los nuevos usuarios de realidad virtual.
Las imágenes de realidad mixta capturadas en un iPhone con la aplicación Reality Mixer de Fabio Dela Antonio dan una idea de cómo será jugar Cubism en un auricular AR en el futuro.
A largo plazo, parece haber una buena posibilidad de que el seguimiento manual sea la entrada de referencia para futuros dispositivos AR independientes, por lo que es de esperar que esta actualización pueda ser un primer pequeño paso hacia una versión AR de Cubismo.
Si disfrutó de este vistazo al diseño de seguimiento manual en el cubismo, asegúrese de revisar Artículo invitado anterior de Thomas que describe el diseño del juego en general.
El puesto Estudio de caso: el diseño detrás del seguimiento manual del 'cubismo' apareció por primera vez en Camino a la realidad virtual.
- Mi Cuenta
- Adicionales
- applicación
- AR
- Auriculares AR
- arquitectura
- Reservada
- en torno a
- artículo
- audio
- MEJOR
- y las mejores prácticas
- Poco
- build
- Construir la
- ejemplo
- cases
- lucha
- comprobación
- Cheques
- Círculo
- más cerca
- viniendo
- confianza
- contenido
- controlador
- Current
- datos
- Diseño
- Developer
- desarrolladores
- Desarrollo
- Dispositivos
- HIZO
- distancia
- Soltar
- Temprano en la
- Southern Implants
- certificados
- Empresa
- software empresarial
- se expande
- Experiencias
- tener problemas con
- Feature
- Figura
- Nombre
- Flash
- defectos
- ser completados
- futuras
- juego
- Juegos
- General
- candidato
- agarrar
- Verde
- Cuadrícula
- Invitad@s
- Artículo invitado
- guía
- orientaciones
- seguimiento de la mano
- Dirección
- Alta
- Destacado
- Inicio
- Cómo
- Como Hacer
- HTTPS
- idea
- Impacto
- índice
- intención
- interacción
- iPhone
- cuestiones
- IT
- lanzamiento
- APRENDE:
- aprendido
- LED
- Largo
- Realizar
- movimiento
- se mueve
- red
- Oculus
- Búsqueda Oculus
- Oculus tienda
- Otro
- Otros
- Personas
- jugador
- Mucho
- Precisión
- prensa
- rompecabezas
- calidad
- búsqueda
- Realidad
- reducir
- Estrenos
- Requisitos
- Resultados
- Pantalla
- set
- Shadow
- Compartir
- En Corto
- Mision secundaria
- Tamaño
- chica
- So
- Software
- Espacio
- comienzo
- Estado
- Zonas
- robada
- tienda
- ESTUDIO
- exitosos
- SOPORTE
- Soportado
- Superficie
- te
- Educación
- Tecnología
- El futuro de las
- equipo
- recomendaciones
- parte superior
- Seguimiento
- Transparencia
- Actualizar
- usuarios
- visualización
- vr
- esperar
- Que es
- QUIENES
- dentro de
- Actividades:
- funciona
- año
- Youtube