A Facebook kutatói bemutatják a „Reverse Passthrough” VR prototípust a szemkontaktushoz a fejhallgatón kívül

A Facebook Reality Labs kutatói ma új munkát tettek közzé, amely egy olyan prototípus fejhallgatót mutat be, amely külső kijelzőkkel rendelkezik, hogy a felhasználó szemét a fejhallgatón kívül mások számára is megjelenítse. A cél az, hogy lehetővé tegyük a szemkontaktust a fejhallgató viselője és mások között annak érdekében, hogy kevésbé legyen kínos a fejhallgató viselése és valakivel ugyanabban a szobában való kommunikáció során.

Az egyik kedvenc dolgom, amikor először mutatok be valakinek egy Oculus Questet, az az, hogy felteszem a headsetet, aktiválom az „áteresztő nézetet” (ami lehetővé teszi, hogy a fejhallgatón kívül lássam a világot), majd felsétálok és megrázom. a kezüket, hogy egyértelműen felfedje, hogy látom őket. Mivel a Quest kamerái a napellenző négy sarkában találhatók, nem könnyű elképzelni, hogy a felhasználó bármiféle módon „átlát” a headseten, így kívülről kicsit varázslatosnak tűnik az eredmény. Utána rátettem a headsetet az illetőre, és hagytam, hogy lássák, mit látok belülről!

De ez a szórakoztató kis bemutató egy problémát is feltár. Annak ellenére, hogy a headsetet használó személy könnyen láthat embereket a headseten kívül, nem világos a fejhallgatón kívüliek számára, hogy a headsetes személy valójában mikor nézi őket (ahelyett, hogy egy teljesen más virtuális világot nézne). .

A szemkontaktus egyértelműen hatalmas tényező a személyes kommunikációban; segít felmérni, hogy valaki odafigyel-e a beszélgetésre, hogyan érzi magát ezzel kapcsolatban, és még akkor is, ha van mondanivalója, témát szeretne váltani, vagy teljesen ki akar-e hagyni a beszélgetést. Kényelmetlen és kínos megpróbálni beszélni valakivel, akinek nem látja a szemét, különösen azért, mert megfoszt bennünket attól a berögzült képességünktől, hogy észleljük ezt a fajta szándékot.

De ahogy a VR-fejhallgatók egyre vékonyabbá és kényelmesebbé válnak – és egyre könnyebben átjárhatóvá válik valakivel a közelben, mint teljesen levenni a headsetet –, ez egyre nagyobb probléma lesz.

A Facebook Reality Labs kutatói csúcstechnológiás megoldást találtak ki a problémára. A VR fejhallgató külső oldalára szerelt fénymezős kijelzők felhasználásával az úgynevezett „reverse passthrough” prototípus rendszer célja a felhasználó szemének mélység- és iránypontos ábrázolása.

egy ezen a héten jelent meg a SIGGRAPH 2021 számára, a Facebook Reality Labs kutatói, Nathan Matsuda, Joel Hegland és Douglas Lanman részletezték a rendszert. Míg a külső szemlélő számára úgy tűnik, hogy a headset nagyon vastag, de elég átlátszó ahhoz, hogy lássák a szemüket, a látszólagos mélység egy illúzió, amelyet a fülhallgató külső oldalán lévő fénymezős kijelző kelt.

Ha ehelyett egy tipikus kijelző lenne, a felhasználó szeme messze lebegne az arcától, ami talán kényelmetlenebb képet adna, mintha egyáltalán nem látná őket! Az alábbiakban Nathan Matsuda kutató a rendszert szem nélkül (balra), szemekkel, de mélység nélkül (középen) és szemekkel mutatja be. és a mélység (jobbra).

A fénymezős kijelző (jelen esetben egy mikrolencse-tömböt használó kijelző) lehetővé teszi több megfigyelő számára, hogy a megfelelő mélységjelzéseket lássa, függetlenül attól, hogy melyik szögben állnak.

Amit azonban a megfigyelők látnak, az nem a felhasználó szemének valós képe. Ehelyett a szemkövetési adatokat a felhasználó arcának 3D-s modelljére alkalmazzák, ami azt jelenti, hogy ezt a technikát korlátozza, hogy a modell mennyire valósághű, és mennyire könnyű megszerezni az egyes egyének számára.

Természetesen a Facebook csinált valamit igazán lenyűgöző munka ezen a fronton is Codec Avatars projektjükkel. A kutatók megcsúfoltak egy Codec Avatar példát, amelyet a fordított áteresztési funkcióhoz használnak (fent), ami még jobban néz ki, de a felbontás egyértelműen még mindig korlátozó tényező – a kutatók úgy vélik, hogy a megfelelő időben sikerül legyőzni.

A Facebook Reality Labs vezető tudósa, Michael Abrash elismeri, hogy nem gondolta, hogy sok érdeme van a fordított áthárítás ötletének, amíg a kutatók tovább nem bizonyították az elképzelést.

„Az első reakcióm az volt, hogy ez egyfajta ostoba ötlet, a legjobb esetben is újdonság” – mondta Abrash. a munkáról szóló bejegyzésben. "De nem mondom meg a kutatóknak, hogy mit tegyenek, mert nem lehet innovációt elérni anélkül, hogy szabadon próbálhatna ki új dolgokat, és ez jó dolog, mert ez most egyértelműen egy egyedi ötlet, valódi ígéretekkel."

– – – – –

Rengeteg munkának és extra hardvernek tűnhet egy olyan probléma megoldása, amely valójában nem is jelent problémát, ha úgy döntött, hogy AR fejhallgatót használ. Végtére is, a legtöbb AR headset kezdettől fogva átlátszó optikával készült, és a felhasználó szemének látása nagy előnyt jelent, ha az eszköz viselése közben másokkal érintkezik.

Az AR fejhallgatók azonban még ebben az esetben is szenvedhetnek a „szemfénytől”, amely az optikától és a néző szögétől függően néha erősen akadályozza a szem kívülről való látását.

Az AR fejhallgatóknak más korlátai is vannak, amelyek nem jelentenek problémát a VR fejhallgatók esetében, például korlátozott látómező és a teljes átlátszatlanság-szabályozás hiánya. A felhasználási esettől függően egy vékony és könnyű jövőbeli VR headset, nagyon meggyőző fordított áteresztő rendszerrel előnyösebb lehet, mint egy átlátszó optikával rendelkező AR headset.

Forrás: https://www.roadtovr.com/facebook-reality-labs-research-reverse-passthrough-prototype/