Ultraleap Gemini Impressions: Bättre handspårning kommer

Om den enda kontrollerfria handspårning du har använt är Quest 2, kanske du inte har den bästa uppfattningen om det.

Visst är det häftigt att se dina faktiska händer i VR för första gången. Men försök att navigera i Quests menysystem eller ta objekt i appar som Hand Physics Lab och du kommer snart att inse att spårningskvaliteten lämnar mycket övrigt att önska.

På CES 2022 provade jag Ultraleaps femte generations teknologi, som företaget kallar Gemini. Om du har följt VR sedan före lanseringen av konsumentheadset kommer du att känna till Leap Motion, en startup som lanserade ett handspårningstillbehör för stationära datorer 2014 som kunde monteras på framsidan av Oculus Developer Kit 2. Det gav handspårning till VR innan de flesta användare ens hade tillgång till rörelsekontroller.

Leap Motion hade ett litet utbud av demoapplikationer, och det stöddes till och med i den sociala plattformen AltSpaceVR. Men när HTC Vive & Oculus Touch-kontrollerna lanserades 2016 försvann de snabbt från relevans, trots en stor kvalitetsuppdatering av algoritmen som heter "Orion". År 2019 avbröt till och med AltSpace stödet för Leap Motion – utvecklare prioriterar för hårdvaruanvändare som faktiskt äger, och även om Leap Motion var relativt billigt (cirka $80) stod det fortfarande inför det klassiska kyckling- och äggproblemet med inmatningstillbehör.

Leap Motion förvärvades 2019 av det brittiska haptiska teknologiföretaget UltraHaptics, som går samman för att bli UltraLeap. Ett år senare, Facebook skickade en mjukvaruuppdatering till Oculus Quest som lade till handspårning. Quests handspårning utnyttjar de inbyggda gråa fisheye-kamerorna (som också kan se i det infraröda spektrumet). Det fungerar, och miljontals människor har använt det, men om dina händer är i fel vinkel eller för nära varandra går det snabbt sönder. Att prova Ultraleap visade mig hur mycket bättre handspårning kan vara.

Handspårning av VR-kvalitet kräver sensoröverlappning – algoritmen jämför perspektivet för varje kamera för att bestämma den relativa positionen för varje hand. Quests kameror har ett brett synfält, men eftersom de är placerade vid headsetets kanter och pekar utåt är handspårningsområdet relativt litet. Det är därför det bara fungerar korrekt med dina händer direkt framför dig, och varför du kan märka att systemet återupprättar spårning när du tar dina händer tillbaka till din syn.

Ultraleaps senaste Gemini-handspårningsteknik är efterföljaren till Orion, och Ultraleap hävdar att den har skrivits om från grunden. Det tillkännagavs 2020 vid sidan av ett flerårigt avtal med Qualcomm som integrerar och optimerar det för Snapdragon XR2-chippet. 95 % av algoritmen körs på XR2:s DSP (Digital Signal Processor), vilket frigör processorn för de faktiska VR- och AR-applikationerna.

Jag provade Gemini som en bilaga till Vive Focus 3 virtual reality-headset och som en integrerad aspekt av det kommande Lynx R1 mixed reality-headsetet – båda headseten använder XR2-chippet. De två infraröda fisheye-kamerorna är vända framåt, inte åt sidorna, vilket ger nästan total överlappning över ett 170 graders synfält. Det är bredare än båda headsetens linser (och nästan alla headset som finns).

Resultatet var att jag, precis som när jag använde rörelsekontroller, kunde sträcka ut mina armar naturligt och inte längre behövde oroa mig för att gå utanför spårningsområdet.

Hårdvaran, som Leap Motion före den, har också aktiva infraröda sändare för att lysa upp dina händer för bättre överblick. Och vidare samplas sensorerna med 90 bilder per sekund. Kombinationen av dessa specifikationer och Gemini-algoritmen gjorde att de virtuella händerna verkade matcha mina egna exakt och utan märkbar latens. Borta var eftersläpningen och felet i Quests handspårning – Gemini kände sig generationer före. Jag kunde till och med låsa ihop fingrarna. Bara genom att nästan helt blockera ena handen började spårningen misslyckas.

Och på tal om ocklusion, en av de mest imponerande aspekterna av demot var återköpstiden. Jag tilltäppte avsiktligt en av mina händer genom att föra den under ett bord, men när den var synlig igen hade spårningen nästan omedelbart återupptagits.

Jag har alltid trott att handspårning utan handkontroll kommer att spela en viktig roll i mainstream virtuell verklighet. Vissa människor protesterar mot detta på grund av bristen på haptik, en uppfattning jag inte riktigt kan argumentera mot. Men andra är skeptiska på grund av en upplevd brist på precision. Gemini bevisar att det egentligen bara är spårningskvaliteten hos Quest, inte en grundläggande begränsning för tekniken.

Tvillingarna kommer att vara förintegrerade i Lynx R1-headsetet, som börjar på cirka $500 för Kickstarter-stödjare. Enkelt uttryckt har det aldrig funnits handspårning av denna kvalitet till det priset. Jag är spännande att se vad utvecklare kommer att göra med det, och för framtida enheter som utnyttjar denna teknik. Meta har lite att ta igen.

Källa: https://uploadvr.com/ces-ultraleap-gemini-hand-tracking/