Hands-On: Metas Retinal Resolution Varifocal Prototype

Hands-On: Metas Retinal Resolution Varifocal Prototype

Tidsstempel: 11. august 2023 2:07
Kilde node: 2207308

På SIGGRAPH 2023 prøvde jeg en Meta-forskningsprototype med nesten retinal vinkeloppløsning, dynamisk fokus og dynamisk forvrengningskorreksjon.

Butterscotch Varifocal er basert på den originale Butterscotch-prototypen Meta avslørt i fjor. Butterscotch-prototypene leverer en vinkeloppløsning på 56 piksler per grad (PPD) av synet ditt, like under de 60 piksler per grad som generelt er akseptert for å være det det menneskelige øyet kan skjelne. Det er nesten tre ganger den sentrale vinkeloppløsningen til Quest Pro, og det dobbelte av Bigscreen Beyond.

Metas forskere oppnådde imidlertid ikke denne vinkeloppløsningen med noe gjennombrudd eller spesialisert teknologi. Butterscotch-hodesettene bruker hyllevare 2880×2880 LCD-skjermer som vil levere omtrent 30 PPD i et typisk VR-headset, men parer dem med linser med rundt halvparten av synsfeltet. Hensikten her er å demonstrere hvordan netthinneoppløsning føles for til slutt å informere om fremtidige produktprioriteter og avveiningsbeslutninger. Prototypen er ikke ment å foreslå noen spesifikk ny teknologi for å oppnå netthinneoppløsning ved et akseptabelt synsfelt.

Varjo tar en lignende tilnærming for å oppnå netthinneoppløsning i et enda mindre synsfelt i midten av visningen i sine eksisterende $5000+ forretningshodesett, og kombinerer det deretter med en perifer skjerm med mye lavere vinkeloppløsning.

(Dette meta-leverte diagrammet ser ut til å ha brukt feil miniatyrbilde for den originale Rift)

Som navnet antyder, er Butterscotch Varifocal ikke bare en demonstrasjon av netthinneoppløsning. Den inkluderer også den varifokale teknologien fra Metas 2018 Half-Dome prototype.

I VR får hvert øye et eget perspektiv slik at du får stereoforskjeller, men det er bare ett signal som hjernen din bruker for å bestemme dybden. Alle nåværende hodesett på markedet har objektiver med fast fokus. Bildet er fokusert på en fast avstand, vanligvis noen få meter. Øynene dine vil peke (konvergere eller divergere) mot virtuelle objekter, men kan faktisk ikke fokusere (imøtekomme) til den virtuelle avstanden til dem. Dette kalles vergens-overnatting-konflikten, og det forårsaker belastning på øynene og kan få virtuelle objekter til å se uskarpe ut på nært hold.

Half-Dome-prototypen presenterte en løsning: spor hvor øynene dine peker og flytt skjermpanelene raskt mekanisk bakover eller fremover for dynamisk å justere fokus. Butterscotch Varifocal inkluderer samme øyesporing og mekaniske aktuatorer for å gjøre det samme.

Butterscotch Varifocals motorer justerer skjermens fokusavstand.

Resultatet av denne kombinasjonen av nesten retinal vinkeloppløsning og dynamisk fokusjustering var en visning inn i en virtuell verden uten synlig pikselering eller aliasing, hvor jeg kunne skimte selv de minste detaljene i de minste objektene, og lese tekst i alle størrelser. kunne lese i den fysiske verden. Det virtuelle nettbrettet og telefonene som viser artikler med liten tekst, trengte ikke engang å bruke kompositorlagene John Carmack gjentatte ganger forteller utviklere er avgjørende med nåværende hodesett. Pikseltettheten her var akkurat så høy at slike triks ikke lenger trengs.

Den begrensende faktoren for å få frem fine detaljer var nå synet mitt, ikke hodesettets displaysystem. Det er den motsatte situasjonen til VR-headset i dag, og det var et fristende blikk på den visuelle kvaliteten VR-forbrukeren en dag vil tilby.

Dette var første gang jeg prøvde et varifokalt hodesett – svært få personer utenfor Meta har – og jeg klarte å slå det av og på med et knappetrykk. Når de ble slått på, forble virtuelle objekter til og med skarpe når de ble brakt utrolig nær øynene mine, ned til minimum 20 centimeter. Det har praktiske fordeler, men det var noe annet mer subtilt jeg la merke til da varifokal var på. Når fokuset var riktig, fikk den virtuelle verdenen og objektene i den plutselig til å se og føles mer "ekte". Faktisk var noen av demoobjektene så detaljerte at jeg vil gå så langt å si at de føltes fullstendig ekte.

Meta-levert skildring av effekten av varifokal.

Jeg spurte Meta's Display Systems Research Director Douglas Lanman om dette. Han fortalte meg at selv om denne effekten var noe Meta-forskere er klar over og diskuterer, er den subjektive følelsen av "virkelighet" mye vanskeligere å kvantifisere og vurdere enn andre aspekter ved skjermer.

Det var en liten ventetid mellom å se på et objekt og skjermene som beveget seg for å justere fokus, men som med netthinneoppløsningsaspektet, er formålet med denne prototypen å vise frem hvordan varifokal føles, ikke å kreve en spesifikk teknologi for praktisk å levere den. Butterscotch Varifocal bruker faktisk de originale Half-Dome aktuatorene, og på slutten av 2019 avslørte Meta Half-Dome 2 med raskere og mer pålitelige aktuatorer, og Half-Dome 3 uten bevegelige deler i det hele tatt, og endrer fokus med justerbare linselag i stedet.

Dynamisk forvrengningskorreksjon

Det er også en tredje teknologi inkludert i Butterscotch Varifocal som ikke fikk så mye oppmerksomhet, men som også er avgjørende for visuelt overbevisende VR: dynamisk forvrengningskorreksjon.

Visuell demonstrasjon av Eye Tracked Dynamic Distortion Correction.

I tillegg til den imponerende vinkeloppløsningen og dynamiske fokuset, hadde jeg også lagt merke til at Butterscotch Varifocal leverte utmerkede optiske grunner, uten pupillsvømming eller annen geometrisk forvrengning. Etter demoen oppdaget jeg at dette var fordi det hadde dynamisk forvrengningskorreksjon.

Moderne VR-headsetlinser forstørrer en skjerm til et relativt bredt synsfelt, men dette resulterer i geometrisk fat forvrengning. En av de viktigste nyvinningene til Palmer Luckeys originale prototyper var å korrigere dette i programvare ved å sende ut et bilde med invers forvrengning til skjermen. Den optiske forvrengningen endres imidlertid litt basert på øyets posisjon i forhold til linsen, og programvareforvrengningskorreksjonen er kun designet for dødpunkt. Dynamisk forvrengningskorreksjon betyr at systemet genererer en ny korreksjon for hver frame basert på øyeposisjonen, aktivert av øyesporing.

Butterscotch Varifocals øyesporingsmodul bruker to kameraer per øye.

Jeg ble fortalt at dette er en beregningsmessig billig teknikk, så jeg spurte Lanman hvorfor den ikke brukes i Quest Pro, siden den også har øyesporing. Selv om han ikke svarte direkte på det, snakket han om viktigheten av at øyesporingsmaskinvaren er god nok til at dynamisk forvrengningskorreksjon skal fungere godt fordi den trenger å måle den nøyaktige posisjonen til pupillen din i 3D-rom, ikke bare blikkretningen . Spesielt har Quest Pro bare ett sporingskamera rettet mot hvert øye, mens Butterscotch Varifocal har to, akkurat som apple vision pro.

Hvor langt unna er retinal og varifokal?

I fjor Meta beskrevet retinal oppløsning som "på vårt produktveikart", så hvor lenge før vi ser noe av dette i faktiske produkter?

Lanman ville selvfølgelig ikke svare, siden han "bare er en forsker", men han uttrykte skepsis til kompleksiteten i multi-display tilnærminger som Varjo sin. Forutsatt at netthinneoppløsningen kommer gjennom rå pikseltetthet, vil det kreve omtrent 5K per øye-skjermer for å oppnå den i sentervisningen av hodesett med standard synsfelt. Ettersom synsfeltet utvides, vil dette kravet bli enda høyere – mer enn 10K per øye for fullt menneskelig synsfelt, og opptil 16K per øye for netthinneoppløsning over hele synet i stedet for bare i midten.

Apple Vision Pro er satt til å komme neste år med rundt 3.5K per øye OLED-mikroskjermer, selv om de angivelig er ekstremt vanskelig å produsere, med lav avkastning og dermed en viktig bidragsyter til prisen på $3500. Likevel er markedsetterspørselen etter slike høyoppløselige mikroskjermer først i ferd med å dukke opp nå, og ettersom skjermselskaper konkurrerer om å finne ut bedre teknikker for å produsere dem, er det rimelig å forvente at prisene går ned, produksjonen øker og at oppløsningen blir enda høyere over tid. .

Men hva med varifokal? I et foredrag i begynnelsen av 2020 Lanman beskrevet Half-Dome 3s elektroniske varifokale tilnærming som "nesten klar for beste sendetid", på et høyere "teknologiberedskapsnivå" enn noen tidligere prototype. I fjor Mark Zuckerberg foreslo varifokal kan komme "i andre halvdel av tiåret", noe som betyr et sted mellom 2026 og 2029.

Final Thoughts

Når du avslører den originale Butterscotch and Starburst (som vi prøvde) i fjor beskrev Lanman teamets mål som en dag å levere et skjermsystem som består en "visuell turing-test", noe som betyr at det føles som om du ser gjennom et gjennomsiktig glassvisir, ikke en skjerm i det hele tatt.

Butterscotch Varifocal ville ikke helt bestå en slik test. I motsetning til Starburst, kommer de konvensjonelle LCD-skjermene ikke i nærheten av å levere lysstyrken, det dynamiske området eller kontrasten til den virkelige verden. Men den kan levere detaljene og skarpheten, og det alene var fantastisk å se. Det er nok en påminnelse om at hodesett i dag fortsatt bare er begynnelsen på VR, og det har en lang og lovende vei foran seg.

Tidstempel:

Mer fra UploadVR