Impresiones de Ultraleap Gemini: se acerca un mejor seguimiento de la mano

Si el único seguimiento de manos sin controlador que ha utilizado es Quest 2, es posible que no tenga la mejor opinión al respecto.

Seguro que es genial ver tus manos reales en realidad virtual por primera vez. Pero intente navegar por el sistema de menús de Quest o tome objetos en aplicaciones como Hand Physics Lab y pronto se dará cuenta de que la calidad del seguimiento deja mucho que desear.

En CES 2022 probé la tecnología de quinta generación de Ultraleap, que la empresa llama Gemini. Si ha estado siguiendo la realidad virtual desde antes del lanzamiento de los visores para consumidores, estará familiarizado con Leap Motion, una startup que lanzó un accesorio de seguimiento manual de escritorio en 2014 que se podía montar en la parte delantera del Oculus Developer Kit 2. Traía seguimiento manual a VR antes de que la mayoría de los usuarios tuvieran acceso a los controladores de movimiento.

Leap Motion tenía una pequeña gama de aplicaciones de demostración, e incluso se apoyó en la plataforma social AltSpaceVR. Pero cuando los controladores HTC Vive y Oculus Touch se lanzaron en 2016, rápidamente dejaron de ser relevantes, a pesar de una importante actualización de la calidad del algoritmo llamada 'Orion'. Para 2019, incluso AltSpace dejó de ser compatible con Leap Motion: los desarrolladores priorizan el hardware que los usuarios realmente poseen, y aunque Leap Motion era relativamente económico (alrededor de $ 80), aún enfrentaba el clásico problema del huevo y la gallina de los accesorios de entrada.

Leap Motion fue adquirida en 2019 por la firma de tecnología háptica con sede en el Reino Unido UltraHaptics, fusionándose para convertirse en UltraLeap. Un año después, Facebook envió una actualización de software a Oculus Quest agregando seguimiento manual. El seguimiento manual de Quest aprovecha las cámaras de ojo de pez grises integradas (que también pueden ver en el espectro infrarrojo). Funciona, y millones de personas lo han usado, pero si sus manos están en el ángulo equivocado o demasiado juntas, se estropea rápidamente. Probar Ultraleap me mostró cuánto mejor puede ser el seguimiento de la mano.

El seguimiento de manos con calidad de realidad virtual requiere superposición de sensores: el algoritmo compara la perspectiva de cada cámara para determinar la posición relativa de cada mano. Las cámaras de Quest tienen un amplio campo de visión, pero dado que están ubicadas en los bordes de los auriculares apuntando hacia afuera, el área de seguimiento de la mano es relativamente pequeña. Es por eso que solo funciona correctamente con las manos directamente frente a usted, y por eso puede notar que el sistema restablece el seguimiento cuando vuelve a poner las manos en su vista.

La última tecnología de seguimiento de manos Gemini de Ultraleap es la sucesora de Orion, y Ultraleap afirma que fue reescrita desde cero. Se anunció en 2020 junto con un acuerdo de varios años con Qualcomm integrándolo y optimizándolo para el chip Snapdragon XR2. El 95 % del algoritmo se ejecuta en el DSP (procesador de señal digital) del XR2, lo que libera la CPU para las aplicaciones reales de realidad virtual y realidad aumentada.

Probé Géminis como un archivo adjunto a Vive Enfoque 3 casco de realidad virtual y como un aspecto integrado del próximo casco de realidad mixta Lynx R1: ambos cascos usan el chip XR2. Las dos cámaras de ojo de pez infrarrojas miran hacia adelante, no hacia los lados, lo que brinda una superposición casi total en un campo de visión de 170 grados. Eso es más ancho que las lentes de cualquiera de los auriculares (y casi todos los auriculares que existen).

El resultado fue que, al igual que cuando usaba los controladores de movimiento, podía estirar los brazos de forma natural y ya no tenía que preocuparme por salirme del rango de seguimiento.

El hardware, como Leap Motion antes, también tiene emisores de infrarrojos activos para iluminar sus manos para una mejor vista. Y además, los sensores se muestrean a 90 fotogramas por segundo. La combinación de estas especificaciones y el algoritmo Gemini significaba que las manos virtuales parecían coincidir con las mías con precisión y sin latencia perceptible. Atrás quedó el retraso y los fallos del seguimiento de la mano de Quest: Gemini se sentía generaciones por delante. Incluso podría entrelazar mis dedos. Solo al ocluir casi por completo una mano, el seguimiento comenzó a fallar.

Y hablando de oclusión, uno de los aspectos más impresionantes de la demostración fue el tiempo de readquisición. Deliberadamente ocluí una de mis manos pasándola por debajo de una mesa, pero cuando volvió a ser visible, el seguimiento se había reanudado casi instantáneamente.

Siempre he creído que el seguimiento manual sin controlador jugará un papel importante en la realidad virtual convencional. Algunas personas se oponen a esto sobre la base de la falta de hápticos, una opinión con la que realmente no puedo discutir. Pero otros son escépticos sobre la base de una aparente falta de precisión. Gemini demuestra que esa es realmente la calidad de seguimiento de Quest, no un límite fundamental de la tecnología.

Géminis estará preintegrado en los auriculares Lynx R1, que comienza en alrededor de $ 500 para los patrocinadores de Kickstarter. En pocas palabras, nunca ha habido un seguimiento manual de esta calidad a ese precio. Estoy emocionado de ver qué harán los desarrolladores con él y para futuros dispositivos que aprovechen esta tecnología. Meta tiene que ponerse al día.

Fuente: https://uploadvr.com/ces-ultraleap-gemini-hand-tracking/