Facebooki teadlased näitavad VR-prototüüpi „Reverse Passthrough”, mis võimaldab silmakontakti väljaspool peakomplekti

Facebook Reality Labsi teadlased avaldasid täna uue töö, mis tutvustab peakomplekti prototüüpi, millel on välised kuvarid, mis kuvavad kasutaja silmi teistele väljaspool peakomplekti. Eesmärk on võimaldada peakomplekti kandja ja teiste vahel silmsidet, et muuta see peakomplekti kandmisel ja kellegagi samas ruumis viibiva inimesega suhtlemisel vähem ebamugavaks.

Üks mu lemmikasju, mida Oculus Questi kellelegi esimest korda demonstreerides teha, on panna peakomplekt pähe, aktiveerida selle läbilaskevaade (mis võimaldab mul näha maailma väljaspool peakomplekti) ning seejärel kõndida üles ja raputada. nende käsi, et selgelt näidata, et ma näen neid. Kuna Questi kaamerad asuvad visiiri neljas nurgas, ei ole lihtne ette kujutada, et kasutajal oleks peakomplektist "läbi" näha, nii et tulemus tundub väljastpoolt veidi maagiline. Seejärel panin inimesele peakomplekti ja lasin tal näha, mida ma seestpoolt nägin!

Kuid see lõbus väike demo paljastab ka probleemi. Kuigi peakomplektis oleval inimesel on lihtne näha inimesi väljaspool peakomplekti, pole peakomplektist väljaspool olevatele inimestele selge, millal peakomplektis olev inimene neid tegelikult vaatab (selle asemel, et vaadata täiesti teistsugust virtuaalmaailma .

Silmside on näost näkku suhtlemisel selgelt tohutu tegur; see aitab meil hinnata, kas keegi pöörab vestlusele tähelepanu, kuidas ta sellesse suhtub ja isegi kui tal on midagi öelda, ta soovib teemat muuta või vestlusest täielikult lahkuda. Rääkimine kellegagi, kelle silmi te ei näe, on ebamugav ja kohmakas, kuna see röövib meilt meie juurdunud võime sellist kavatsust tuvastada.

Kuid kuna VR-peakomplektid muutuvad õhemaks ja mugavamaks – ja seda on lihtsam kasutada, et kellegagi läheduses oleva inimesega vestelda, kui peakomplekti täielikult ära võtta –, muutub see probleem üha kasvavaks.

Facebook Reality Labsi teadlased on probleemile välja pakkunud kõrgtehnoloogilise lahenduse. Kasutades VR-peakomplekti välisküljele paigaldatud valgusvälja ekraane, on niinimetatud "tagurpidi läbipääsu" prototüübisüsteemi eesmärk kuvada kasutaja silmi, mis on nii sügavuse kui ka suuna täpsusega.

Aastal sel nädalal SIGGRAPH 2021 jaoks avaldatud paber, Facebook Reality Labsi teadlased Nathan Matsuda, Joel Hegland ja Douglas Lanman kirjeldasid süsteemi üksikasjalikult. Kui välisvaatlejatele tundub, et peakomplekt on väga paks, kuid piisavalt läbipaistev, et näha nende silmi, siis näiv sügavus on illusioon, mille loob peakomplekti välisküljel olev valgusvälja ekraan.

Kui see oleks hoopis tüüpiline ekraan, tunduksid kasutaja silmad oma näost kaugel hõljumas, mis teeb võib-olla ebamugavama pildi kui see, et neid üldse ei näe! Allpool näitab uurija Nathan Matsuda süsteemi ilma silmadeta (vasakul), silmadega, kuid ilma sügavuseta (keskel) ja silmadega ja sügavus (paremal).

Valgusvälja ekraan (antud juhul ekraan, mis kasutab mikroläätsede massiivi) võimaldab mitmel vaatlejal näha õigeid sügavuse näpunäiteid olenemata sellest, millise nurga all nad seisavad.

See, mida vaatlejad näevad, ei ole aga tegelik pilt kasutaja silmadest. Selle asemel rakendatakse kasutaja näo 3D-mudelile pilgujälgimise andmeid, mis tähendab, et seda tehnikat piirab see, kui realistlik on mudel ja kui lihtne on seda igaühe jaoks hankida.

Muidugi on Facebook midagi teinud tõeliselt muljetavaldav töö ka sellel rindel nende Codec Avatarsi projektiga. Teadlased pilkasid näidet Codec Avatarist, mida kasutatakse vastupidise läbipääsu funktsiooni jaoks (ülal), mis näeb välja veelgi parem, kuid eraldusvõime on selgelt endiselt piirav tegur – teadlaste arvates saab see õigel ajal üle.

Facebook Reality Labsi peateadlane Michael Abrash tunnistab, et ta ei arvanud, et pöördülekande ideel on palju kasu enne, kui teadlased seda kontseptsiooni täiendavalt tõestasid.

"Minu esimene reaktsioon oli, et see oli omamoodi tobe idee, parimal juhul uudne," ütles Abrash. teost käsitlevas postituses. "Kuid ma ei ütle teadlastele, mida teha, sest innovatsiooni ei saavutata ilma vabaduseta uusi asju proovida, ja see on hea, sest nüüd on see selgelt ainulaadne idee, millel on tõeline lubadus."

- - - - -

Kui otsustasite AR-peakomplekti kasutada, võib tunduda, et probleemi lahendamiseks on vaja palju tööd ja lisariistvara. Lõppude lõpuks on enamik AR-peakomplekte algusest peale ehitatud läbipaistva optikaga ja kasutaja silmade nägemine on seadme kandmise ajal teiste inimestega suhtlemisel suur eelis.

Kuid isegi siis võivad AR-peakomplektid kannatada "silmade sära" all, mis takistab silma vaadet väljastpoolt, mõnikord tõsiselt, olenevalt optikast ja vaataja nurgast.

AR-peakomplektidel on ka muid piiranguid, mis ei ole VR-peakomplektide puhul probleemiks, näiteks piiratud vaateväli ja täieliku läbipaistmatuse kontrolli puudumine. Olenevalt kasutusjuhtumist võiks läbipaistva optikaga AR-peakomplektile eelistada õhuke ja kerge tulevane VR-peakomplekt, millel on väga veenev pöördläbilaskesüsteem.

Allikas: https://www.roadtovr.com/facebook-reality-labs-research-reverse-passthrough-prototype/