Peneliti Facebook Menampilkan Prototipe VR 'Reverse Passthrough' untuk Kontak Mata di Luar Headset

Para peneliti di Facebook Reality Labs hari ini menerbitkan karya baru yang menampilkan prototipe headset yang memiliki layar eksternal untuk menggambarkan mata pengguna terhadap orang lain di luar headset. Tujuannya adalah untuk memungkinkan terjadinya kontak mata antara pemakai headset dan orang lain guna mengurangi rasa canggung saat memakai headset dan berkomunikasi dengan seseorang di ruangan yang sama.

Salah satu hal favorit yang harus saya lakukan saat mendemonstrasikan Oculus Quest kepada seseorang untuk pertama kalinya adalah memakai headset, mengaktifkan 'passthrough view' (yang memungkinkan saya melihat dunia di luar headset), lalu berjalan ke atas dan menggoyangkannya. tangan mereka untuk mengungkapkan dengan jelas bahwa saya dapat melihatnya. Karena kamera Quest berada di empat sudut pelindung, tidak mudah untuk membayangkan bahwa pengguna dapat melihat 'melalui' headset dengan cara apa pun, sehingga hasil dari luar tampak sedikit ajaib. Setelah itu saya memasangkan headset pada orang tersebut dan membiarkan mereka melihat apa yang dapat saya lihat dari dalam!

Tapi demo kecil yang menyenangkan ini juga mengungkap masalah. Meskipun mudah bagi orang yang memakai headset untuk melihat orang di luar headset, tidak jelas bagi orang di luar headset kapan orang yang memakai headset benar-benar melihat mereka (daripada melihat dunia maya yang sama sekali berbeda. .

Kontak mata jelas merupakan faktor besar dalam komunikasi tatap muka; ini membantu kita mengukur apakah seseorang memperhatikan percakapan, bagaimana perasaannya terhadap percakapan tersebut, dan bahkan apakah dia ingin mengatakan sesuatu, ingin mengubah topik, atau meninggalkan percakapan sama sekali. Mencoba berbicara dengan seseorang yang matanya tidak dapat Anda lihat terasa tidak nyaman dan canggung, khususnya karena hal itu merampas kemampuan kita yang sudah mendarah daging untuk mendeteksi niat semacam ini.

Namun karena headset VR menjadi lebih tipis dan nyaman—dan penggunaan passthrough menjadi lebih mudah untuk melakukan percakapan dengan seseorang di sekitar daripada melepas headset sepenuhnya—hal ini akan menjadi masalah yang berkembang.

Para peneliti di Facebook Reality Labs telah menemukan solusi teknologi tinggi untuk mengatasi masalah ini. Memanfaatkan tampilan bidang cahaya yang dipasang di bagian luar headset VR, sistem prototipe yang disebut 'reverse passthrough' bertujuan untuk menunjukkan representasi mata pengguna dengan kedalaman dan arah yang akurat.

Di sebuah makalah yang diterbitkan minggu ini untuk SIGGRAPH 2021, peneliti Facebook Reality Labs Nathan Matsuda, Joel Hegland, dan Douglas Lanman, merinci sistemnya. Meskipun bagi pengamat eksternal tampak bahwa headset ini sangat tebal namun cukup transparan untuk dilihat oleh mata mereka, namun kedalaman yang terlihat hanyalah ilusi yang diciptakan oleh tampilan bidang cahaya di bagian luar headset.

Jika itu adalah tampilan biasa, mata pengguna akan tampak melayang jauh dari wajahnya, mungkin membuat gambar menjadi lebih tidak nyaman daripada tidak dapat melihatnya sama sekali! Peneliti di bawah, Nathan Matsuda, menunjukkan sistem tanpa mata (kiri), dengan mata tetapi tanpa kedalaman (tengah), dan dengan mata dan kedalaman (kanan).

Tampilan bidang cahaya (dalam hal ini tampilan yang menggunakan susunan lensa mikro), memungkinkan banyak pengamat melihat isyarat kedalaman yang benar, tidak peduli di sudut mana mereka berdiri.

Namun apa yang dilihat pengamat bukanlah gambaran nyata dari mata pengguna. Sebaliknya, data pelacakan mata diterapkan pada model 3D wajah pengguna, yang berarti teknik ini akan dibatasi oleh seberapa realistis model tersebut dan seberapa mudahnya memperolehnya bagi setiap individu.

Tentu saja, Facebook telah melakukan beberapa hal pekerjaan yang sangat mengesankan juga dengan proyek Codec Avatars mereka. Para peneliti meniru contoh Codec Avatar yang digunakan untuk fungsi reverse passthrough (di atas), yang terlihat lebih baik lagi, namun resolusi jelas masih menjadi faktor pembatas—sesuatu yang diyakini para peneliti akan teratasi pada waktunya.

Kepala Ilmuwan Facebook Reality Labs, Michael Abrash mengakui bahwa menurutnya gagasan reverse passthrough tidak ada manfaatnya sampai para peneliti membuktikan konsep tersebut lebih lanjut.

“Reaksi pertama saya adalah bahwa ini adalah ide yang konyol, dan merupakan hal yang paling baru,” kata Abrash dalam postingan tentang pekerjaan tersebut. “Tetapi saya tidak memberi tahu para peneliti apa yang harus dilakukan, karena inovasi tidak akan diperoleh tanpa kebebasan untuk mencoba hal-hal baru, dan itu adalah hal yang baik, karena sekarang ini jelas merupakan ide yang unik dan menjanjikan.”

- - - - -

Tampaknya membutuhkan banyak pekerjaan dan perangkat keras tambahan untuk menyelesaikan masalah yang sebenarnya tidak menjadi masalah jika Anda baru saja memutuskan untuk menggunakan headset AR. Lagi pula, sebagian besar headset AR dibuat dengan optik transparan sejak awal, dan kemampuan melihat mata pengguna merupakan keuntungan besar saat berinteraksi dengan orang lain saat memakai perangkat.

Namun meskipun demikian, headset AR dapat mengalami 'eye-glow' yang menghalangi pandangan mata dari luar, terkadang parah, tergantung pada optik dan sudut pandangnya.

Headset AR juga memiliki keterbatasan lain yang tidak menjadi masalah pada headset VR, seperti terbatasnya bidang pandang dan kurangnya kontrol opacity yang lengkap. Tergantung pada kasus penggunaannya, headset VR masa depan yang tipis dan ringan dengan sistem reverse passthrough yang sangat meyakinkan mungkin lebih disukai daripada headset AR dengan optik transparan.

Sumber: https://www.roadtovr.com/facebook-reality-labs-research-reverse-passthrough-prototype/