Penelitian Facebook Mengungkapkan Prototipe VR Passthrough Terbalik

Sementara Mark Zuckerberg terus-menerus mendukung visi metaverse-nya untuk dunia sosial yang imersif, para peneliti di Facebook Reality Labs (FRL) telah mengerjakan prototipe untuk memastikan "kehadiran bersama sosial." Setelah Anda memakai headset realitas virtual (VR), Anda sebagian terputus dari orang-orang di sekitar Anda secara fisik karena mata Anda tidak dapat dilihat, jadi proyek VR passthrough terbalik bertujuan untuk memecahkan itu.

Facebook telah membuat langkah besar dengan platform Oculus Quest dan fitur Passthrough+, yang secara instan memungkinkan pengguna VR untuk melihat dunia luar dan berinteraksi dengannya. Ini didorong lebih lanjut oleh Passthrough API eksperimental yang memungkinkan pengembang untuk bermain dengan fitur realitas campuran (MR). Tetapi sementara Anda dapat melihat dan berbicara dengan seseorang di depan Anda saat berada di dalam VR, yang terpenting melihat respons wajah mereka, hal yang sama tidak dapat dikatakan sebaliknya.

Jadi sebuah tim yang dipimpin oleh ilmuwan peneliti Nathan Matsuda telah mengembangkan VR passthrough terbalik selama beberapa tahun terakhir, prototipe terbaru perangkat mengesankan yang sarat dengan kabel yang menampilkan mata dalam 3D, batu loncatan untuk apa yang bisa menjadi cara yang lebih alami untuk berbicara dengan beberapa saat mereka berada di VR. Alih-alih melihat mata pengguna yang sebenarnya, sistem menampilkan model 3D mata pengguna dengan data pelacakan mata yang membuat model bergerak sesuai dengan itu. Tim awalnya memulai dengan layar 2D yang menghasilkan efek tidak wajar sehingga mereka beralih ke tampilan bidang cahaya 3D.

Seperti yang ditunjukkan dalam demo di atas, di paling kanan ini memberikan kedalaman dan memungkinkan fitur wajah muncul di posisi yang benar tidak peduli bagaimana pengguna menoleh. Ini bekerja untuk sejumlah orang di ruangan yang sama. Gambar tengah menampilkan seperti apa tampilannya pada layar 2D.

Ketika pertama kali dipresentasikan kepada Kepala Ilmuwan FRL Michael Abrash, dia tidak yakin akan kegunaannya: "Reaksi pertama saya adalah bahwa itu adalah ide yang konyol, yang paling baru," kata Abrash. “Tetapi saya tidak memberi tahu peneliti apa yang harus dilakukan, karena Anda tidak mendapatkan inovasi tanpa kebebasan untuk mencoba hal-hal baru, dan itu hal yang baik, karena sekarang ini jelas merupakan ide unik dengan janji yang tulus.”

Pemodelan 3D saat ini mungkin terlihat agak kasar tapi Penelitian Avatar Codec FRL dapat memberikan solusi tampilan yang lebih efektif, dengan ekspresi waktu nyata yang berperilaku dan terlihat alami. Contoh dapat dilihat di bawah pada prototipe reverse passthrough.

Seperti semua prototipe awal, sistem VR passthrough terbalik mungkin tidak pernah lebih dari sebuah proyek penelitian karena Facebook ingin memajukan visi VR dan AR-nya. Untuk pembaruan lebih lanjut tentang teknologi terbaru FRL, teruslah membaca VRFocus.

Sumber: https://www.vrfocus.com/2021/08/facebook-research-reveals-reverse-passthrough-vr-prototype/