Meta säger att ny prototyp kommer att sätta sin banbrytande forskning och utveckling i ett marknadslivskraftigt headset

Tillbaka i juni Meta avslöjade sina senaste XR FoU-insatser genom en handfull olika prototyper utformad för att bevisa olika koncept. Nästa steg, säger företaget, är att sammanföra allt i ett enda paket som en dag kan nå riktiga användare.

Om du lägger ner tid på att hänga med i den senaste XR-forskningen (som vi gillar att göra), vet du att den stora majoriteten av arbetet som görs handlar om att bevisa att något är det möjlig, men inte nödvändigtvis om huruvida det är det eller inte genomförbar, livskraftig som teknik som skulle kunna göras till en riktig produkt – där utmaningar som kostnad, tillverkning och hållbarhet kan ta bort även den mest innovativa tekniken.

Ta till exempel 'Starburst' HDR VR-headsetprototyp som Meta nyligen avslöjade. Målet med forskningen var att helt enkelt bygga något som fungerade så att teamet kunde kvantifiera effekten av 20,000 XNUMX nit HDR på nedsänkning. Men från en marknadsmässig livskraftssynpunkt är tekniken som används i prototypen alldeles för stor, drar för mycket kraft och blir alldeles för varm för att byggas in i en riktig produkt utan att helt förändra den underliggande arkitekturen.

Och det är fallet för många av Metas FoU-prototyper – de är designade för att demonstrera ett koncept, men de är inte nödvändigtvis utformade för att vara marknadsmässiga.

Men Metas nästa prototyp, sa företaget tillsammans med avslöja sin senaste FoU i juni, är ett försök att inte bara demonstrera ett koncept, utan att samla mycket av företagets senaste forskning till ett enda headset – och i en arkitektur som faktiskt kan utgöra grunden för framtida produkter.

Det betyder inte att det skulle vara billigt och det betyder inte att det skulle vara lätt, men om det går ihop som företaget hoppas, kommer det att "bli en game changer för den visuella VR-upplevelsen", säger Michael Abrash, Chief Scientist på Meta Reality Labs.

Prototypkonceptet kallas Mirror Lake, och medan Meta har varit noga med att säga att det inte ens har byggts ännu, säger företaget att dess mål är att packa många av sina senaste innovationer i detta enda system.

Enligt Douglas Lanman, chef för Display Systems Research vid Meta Reality Labs, kommer Mirror Lake att inkludera elektroniska varifokala linser (inklusive receptkorrigering), multi-view eye-tracking, holografiska pannkakslinser, avancerad passthrough, reverse passthrough och en laserbakgrundsbelysning i en glasögonliknande formfaktor. Låt oss dela upp dem kort en efter en.

Elektroniska varifokala linser

Elektroniska varifokala linser skulle tillåta headsetet att visa korrekt djup för varje öga individuellt och eliminerar även behovet av glasögon. Detta skulle inte bara göra headsetet mer uppslukande, utan också mer bekvämt, eftersom det skulle fixa den långvariga "vergens-accommodation-konflikt" som drabbar de flesta headset.

Multi-view Eye-tracking

Multi-view eye-tracking kan öka noggrannheten i eye-tracking (vilket är en nyckelsten för andra funktioner som dynamisk distorsionskorrigering) genom att ge systemet fler vyer av användarens öga. De flesta eyetracking-headset har idag en kamera inuti linsen i en skarp vinkel som tittar på användarens öga för att uppskatta dess rörelse. Men den skarpa vinkeln gör det svårare att få en korrekt uppskattning. Meta säger att Mirror Lake kan inkludera en extra eyetracking-kamera i varje strut på huvudbandet nära användarens tinning. Denna kamera skulle få en bättre bild av användarens öga genom att titta på en reflektion från en holografisk film inbäddad på headsetets linser.

Holografiska pannkakslinser

Holografiska pannkakslinser är nya linser som är tunnare och lättare samtidigt som de tillåter användarens öga att vara närmare linsen, vilket minskar headsetets volym avsevärt.

Avancerad passthrough

Avancerade passthrough-funktioner ger en skarpare och mer realistisk vy genom headsetet för mixed reality-funktioner. Lanman gick inte in så mycket i detalj om en så kallad "neural passthrough-kamera" som föreslagits för Mirror Lake, men denna kommer tydligen att vara besläktad med en nästa generations version av Passthrough+-funktionen på Quest 2 som syftar till exakt djuprepresentation och låg latens.

Omvänd passthrough

Omvänd passthrough är en något funky teknik som projicerar användarens ögon på utsidan av headsetet för andra att se. Eftersom ögon är en så viktig del av kommunikationen syftar den här funktionen till att göra det mindre konstigt att ha en konversation med någon som bär ett headset.

Laser bakgrundsbelysning

Laserbakgrundsbelysning skulle tillåta headsetet att visa ett bredare spektrum av färger för att mer exakt representera vad en användare skulle se i verkligheten. Det kan också ge en ljusare skärm med ett bredare dynamiskt omfång.

- - - - -

Meta har demonstrerat många av dessa teknologier oberoende i olika prototyper, men Lanman säger att målet är att Mirror Lake ska byggas runt en "praktisk arkitektur." vilket betyder något som är genomförbart utanför en labbmiljö – något som faktiskt kan ligga till grund för en riktig produkt.

Abrash, chefsforskare vid Meta Reality Labs, sa att Mirror Lake kunde skymta hur ett "komplett nästa generations display [VR]-system skulle kunna se ut", men varnar också för att arkitekturen inte kommer att vara slutgiltigt bevisad (eller motbevisad) förrän headsetet är faktiskt byggd.

Det kommer att dröja år ännu innan vi ser något som Mirror Lake faktiskt nå marknaden. Metas kommande headset, för närvarande känt som Project Cambria, kommer bara att innehålla en bråkdel av Mirror Lakes kapacitet. Till och med Holocake 2-prototypen – som är mer avancerad än Cambria – är fortfarande flera steg bakom vad Meta föreställer sig med Mirror Lake.

Ändå insisterar Metas vd Mark Zuckerberg på att miljarder företaget kastar på sina XR FoU-insatser är inte bara akademiskt.

"Vi är det företag som är det mest seriösa och engagerade i att i grunden titta på var VR och AR behöver vara om 10 år. [Vi frågar] "vilka är problemen vi behöver lösa" och arbetar bara systematiskt med varenda en av dem för att göra framsteg, säger Zuckerberg. "Det är fortfarande en lång väg kvar att gå, men jag är glad att få ta med all denna teknik till våra produkter under de kommande åren."