I ricercatori di Facebook mostrano il prototipo VR "Reverse Passthrough" per il contatto visivo al di fuori dell'auricolare

I ricercatori dei Facebook Reality Labs hanno pubblicato oggi un nuovo lavoro che mostra un prototipo di visore dotato di display esterni per rappresentare gli occhi dell'utente agli altri al di fuori del visore. L'obiettivo è consentire il contatto visivo tra chi indossa l'auricolare e gli altri nel tentativo di renderlo meno imbarazzante mentre si indossa un auricolare e si comunica con qualcuno nella stessa stanza.

Una delle cose che preferisco fare quando mostro un Oculus Quest a qualcuno per la prima volta è indossare il visore, attivare la sua "vista passthrough" (che mi permette di vedere il mondo al di fuori del visore), quindi avvicinarmi e scuotere la loro mano per rivelare chiaramente che posso vederli. Poiché le telecamere di Quest si trovano ai quattro angoli della visiera, non è facile immaginare che ci sia un modo per l'utente di vedere "attraverso" il visore, quindi il risultato dall'esterno sembra un po' magico. Successivamente ho messo l'auricolare sulla persona e le ho fatto vedere quello che potevo vedere dall'interno!

Ma questa piccola demo divertente rivela anche un problema. Anche se è facile per la persona con l'auricolare vedere le persone al di fuori dell'auricolare, non è chiaro per le persone al di fuori dell'auricolare quando la persona con l'auricolare le sta effettivamente guardando (piuttosto che guardare un mondo virtuale completamente diverso .

Il contatto visivo è chiaramente un fattore enorme nella comunicazione faccia a faccia; ci aiuta a valutare se qualcuno sta prestando attenzione alla conversazione, come si sente al riguardo e anche se ha qualcosa da dire, vuole cambiare argomento o abbandonare completamente la conversazione. Cercare di parlare con qualcuno di cui non puoi vedere gli occhi è scomodo e imbarazzante, in particolare perché ci priva della nostra capacità radicata di rilevare questo tipo di intenzione.

Ma man mano che i visori VR diventano più sottili e più comodi e diventa più facile utilizzare il passthrough per conversare con qualcuno nelle vicinanze piuttosto che togliersi del tutto il visore, questo diventerà un problema crescente.

I ricercatori di Facebook Reality Labs hanno escogitato una soluzione high-tech al problema. Facendo uso di display a campo luminoso montati all'esterno di un visore VR, il cosiddetto sistema prototipo "reverse passthrough" mira a mostrare una rappresentazione degli occhi dell'utente accurata sia in profondità che in direzione.

In un articolo pubblicato questa settimana per SIGGRAPH 2021, i ricercatori di Facebook Reality Labs Nathan Matsuda, Joel Hegland e Douglas Lanman, hanno dettagliato il sistema. Mentre agli osservatori esterni sembra che il visore sia molto spesso ma abbastanza trasparente da poter vedere i loro occhi, la profondità apparente è un'illusione creata da un display a campo luminoso all'esterno del visore.

Se si trattasse invece di un display tipico, gli occhi dell'utente sembrerebbero fluttuare lontano dal viso, creando forse un'immagine più scomoda del non poterli vedere affatto! Sotto il ricercatore Nathan Matsuda mostra il sistema senza occhi (a sinistra), con occhi ma senza profondità (al centro) e con occhi ed profondità (a destra).

Il display a campo luminoso (in questo caso un display che utilizza un array di microlenti), consente a più osservatori di vedere i segnali di profondità corretti indipendentemente dall'angolazione in cui si trovano.

Tuttavia, ciò che gli osservatori vedono non è un'immagine reale degli occhi dell'utente. Invece, i dati di tracciamento oculare vengono applicati a un modello 3D del volto dell'utente, il che significa che questa tecnica sarebbe limitata da quanto è realistico il modello e quanto è facile da acquisire per ogni individuo.

Certo, Facebook ne ha fatti alcuni lavoro davvero impressionante anche su questo fronte con il loro progetto Codec Avatars. I ricercatori hanno preso in giro un esempio di Codec Avatar utilizzato per la funzione di passthrough inverso (sopra), che sembra ancora migliore, ma la risoluzione è chiaramente ancora un fattore limitante, qualcosa che i ricercatori ritengono sarà superato a tempo debito.

Il capo scienziato di Facebook Reality Labs, Michael Abrash, ammette di non pensare che ci fosse molto merito nell'idea del reverse passthrough fino a quando i ricercatori non hanno ulteriormente dimostrato il concetto.

"La mia prima reazione è stata che fosse una specie di idea sciocca, una novità nella migliore delle ipotesi", ha detto Abrash in un post sul lavoro. "Ma non dico ai ricercatori cosa fare, perché non si ottiene innovazione senza la libertà di provare cose nuove, e questa è una buona cosa, perché ora è chiaramente un'idea unica con una vera promessa."

- - - - -

Potrebbe sembrare un sacco di lavoro e hardware extra per risolvere un problema che in realtà non è un problema se hai appena deciso di utilizzare un visore AR in primo luogo. Dopotutto, la maggior parte delle cuffie AR è costruita con ottiche trasparenti fin dall'inizio e la possibilità di vedere gli occhi dell'utente è un grande vantaggio quando si tratta di interfacciarsi con altre persone mentre si indossa il dispositivo.

Ma anche in questo caso, le cuffie AR possono soffrire di "bagliore oculare" che ostruisce la vista dell'occhio dall'esterno, a volte gravemente, a seconda dell'ottica e dell'angolazione dello spettatore.

I visori AR hanno anche altre limitazioni che non sono un problema sui visori VR, come un campo visivo limitato e la mancanza di un controllo completo dell'opacità. A seconda del caso d'uso, un futuro visore VR sottile e leggero con un sistema di passthrough inverso molto convincente potrebbe essere preferibile a un visore AR con ottica trasparente.

Fonte: https://www.roadtovr.com/facebook-reality-labs-research-reverse-passthrough-prototype/