Le suivi manuel est devenu disponible pour la première fois sur l'Oculus Quest fin 2019. Par enthousiasme pour cette nouvelle méthode de saisie, j'ai publié une démo de Cubisme à SideQuest avec un support expérimental de suivi des mains quelques jours plus tard. Inutile de dire que cette démo initiale avait plusieurs défauts et ne prenait pas vraiment en compte les limites de la technologie, c'est pourquoi j'ai décidé d'omettre initialement le support du suivi manuel de la version complète de Cubisme sur l'Oculus Store. Il a fallu plus de développement, en s'appuyant sur les leçons tirées du travail de collègues développeurs, pour construire quelque chose que j'étais heureux de publier dans le récent Cubisme mise à jour du suivi manuel. Voici un aperçu du processus de conception.
Article invité par Thomas Van Bouwel
Thomas est un développeur VR belgo-brésilien basé à Bruxelles. Bien que son expérience d'origine soit en architecture, son travail actuel en réalité virtuelle s'étend à des jeux indépendants comme Cubisme aux logiciels d'entreprise pour les architectes et les ingénieurs comme Résoudre.
Cette mise à jour s'appuie sur les leçons tirées de nombreux autres jeux et développeurs qui ont exploré le suivi des mains au cours de l'année dernière (L'histoire curieuse des animaux volés, Simulateur de vacances, Luca Méfisto, Denis Kuhnert, et plusieurs autres).
Dans cet article, j'aimerais partager certaines choses que j'ai apprises en relevant les défis spécifiques à Le cubisme interactions de la main.
Optimiser pour des interactions précises
Le cubisme les interactions tournent autour du placement de petites pièces de puzzle irrégulières dans une grille de puzzle. Cela signifiait que la principale exigence pour le suivi manuel était la précision, à la fois pour ramasser et placer des pièces sur la grille, ainsi que pour sélectionner avec précision des pièces d'un puzzle terminé. Cela a éclairé la plupart des décisions de conception concernant la saisie manuelle.
Mains fantômes
J'ai décidé très tôt de ne sauraient faites les mains basées sur la physique, mais laissez-les passer à travers les pièces jusqu'à ce que l'une soit activement saisie.
Cela évitait de pousser maladroitement les pièces de puzzle flottantes lorsque vous essayez de les attraper en l'air, mais plus important encore, cela facilitait la cueillette des pièces au milieu d'un puzzle complet, car vous pouvez simplement coller vos doigts et attraper une pièce au lieu de besoin de comprendre comment les faire sortir physiquement.
Signalisées par leur transparence, les mains ne sont pas physiques, ce qui facilite la sélection des pièces au milieu d'un puzzle.
Prise de contact
Il existe plusieurs approches pour détecter l'intention des utilisateurs de saisir et de libérer des objets, comme se concentrer sur les pincements des doigts ou la rotation totale des articulations des doigts tout en vérifiant une zone d'interaction générale dans la paume de la main.
Pour Le cubisme des pièces de puzzle petites et irrégulières cependant, l'approche qui semblait répondre le mieux aux exigences de précision était une approche basée sur le contact, où une pièce est saisie dès que le pouce et l'index croisent la même pièce et sont rapprochés sur une petite distance, sans nécessiter une pincée complète.
Semblable à la approche dans L'histoire curieuse des animaux volés, les doigts sont verrouillés en place dès qu'une prise commence, pour donner l'impression d'une prise plus stable. La pièce est parentée à la racine de la main (le poignet) lorsqu'elle est saisie. Comme il semble que ce soit l'articulation sur chenilles la plus stable, elle aide à produire une adhérence plus stable et garantit que la pièce reste alignée avec les doigts verrouillés.
La pièce est saisie lorsque le pouce et l'index se croisent et sont légèrement rapprochés. La rotation de l'index et du pouce sont alors verrouillées en place pour donner l'impression d'une prise stable.
Dès qu'une pièce est saisie, la distance entre le pouce et l'index est enregistrée et une marge de dégagement est calculée en fonction de cette distance. Une fois que le pouce et l'index se sont écartés au-delà de cette marge, la pièce est libérée.
Plusieurs mesures de protection tentent d'empêcher les versions involontaires: nous ne vérifions pas la publication lorsque la confiance du suivi est inférieure à un certain seuil, et une fois la confiance du suivi rétablie, nous attendons plusieurs images avant de vérifier à nouveau la publication. Les doigts doivent également être au-delà de la marge de libération pendant plusieurs images avant de pouvoir être réellement libérés.
Visualisation de débogage: lors d'une saisie, la distance de saisie initiale entre les doigts est enregistrée (cercle rouge extérieur). La pièce est libérée lorsque la position réelle du bout des doigts dépasse une certaine marge (cercle bleu).
Il existe également un système similaire à Méthode Overgrab de Vacation Simulator. En raison du manque de retour haptique lors de la saisie d'une pièce, il n'est pas rare que les doigts se rapprochent les uns des autres lors d'une saisie. S'ils se ferment au-delà d'un certain seuil, les marges de libération sont ajustées pour faciliter la libération de la pièce.
Essayez-le vous-même: pour voir ces visualisations de débogage dans le jeu, allez dans «Paramètres> Suivi des mains> Visualisations de débogage» et activez les «Widgets d'interactions».
Visualisation de débogage: si les doigts dérivent l'un vers l'autre pendant une saisie au-dessus d'un certain seuil (cercle rouge intérieur), les marges de libération sont réajustées pour rendre la libération de la pièce moins «collante».
Une limite à cette approche est qu'elle rend la prise d'appui avec des doigts autres que l'index un peu plus difficile. Une implémentation antérieure permettait également de saisir entre le majeur et le pouce, mais cela conduisait souvent à de faux positifs lors de la saisie de pièces d'une grille de puzzle complète, car il était difficile d'évaluer avec quel doigt le joueur avait l'intention de saisir une pièce spécifique.
Cela n'aurait pas été un problème si la saisie tournait autour de pincements complets des doigts, car cela se traduit par un binaire d'entrée plus clair à partir duquel déterminer l'intention de l'utilisateur (au prix d'une pose de saisie moins naturelle).
Vérification du point médian
En plus de vérifier quelle pièce se croisent l'index et le pouce, une vérification supplémentaire se produit au milieu entre le bout de l'index et le bout du pouce.
Quelle que soit la pièce sur laquelle ce point médian survole, la priorité sera accordée à la saisie, ce qui permet d'éviter les faux positifs lorsqu'un joueur tente de saisir une pièce dans une grille complète.
Dans l'exemple ci-dessous, si le joueur a l'intention d'attraper la pièce verte par son bord droit, il attraperait involontairement la pièce jaune si nous ne faisions pas cette vérification du point médian.
Gauche: le pouce, l'index et le milieu entre les doigts sont en jaune → saisissez le jaune. À droite: le pouce et l'index sont en jaune, le milieu est en vert → saisir le vert
Saisir le puzzle
La saisie du puzzle fonctionne de manière similaire à la saisie de pièces de puzzle, sauf qu'elle est initiée en effectuant une pincée complète dans la zone de saisie autour du puzzle.
La taille de cette zone est augmentée de manière dynamique lors du passage des contrôleurs aux mains. Cela le rend un peu plus facile à saisir et aide à réduire le risque de saisir accidentellement un morceau de la grille au lieu de la grille elle-même.
La zone de saisie autour du puzzle s'agrandit lors du passage des contrôleurs aux mains, ce qui facilite la saisie. Bien que cela nécessite une pincée complète, saisir le puzzle fonctionne de la même manière que saisir des pièces de puzzle.
Lissage dynamique des mains
Les données de suivi des mains fournies par l'Oculus Quest peuvent toujours avoir un peu de gigue, même lorsque la confiance du suivi est élevée. Cela peut également affecter le jeu, car la gigue peut être beaucoup plus visible lorsque vous tenez la grille de puzzle ou une longue pièce de puzzle par le bord, ce qui rend le placement précis des pièces sur la grille plus difficile.
Le lissage des données de suivi peut aller un long chemin pour produire des prises plus stables, mais doit être fait avec modération car trop de lissage entraînera une sensation de «décalage» pour les mains. Pour équilibrer cela, lisser à la main Cubisme est ajusté dynamiquement selon que votre main tient quelque chose ou non.
Essayez-le vous-même: pour voir l'impact du lissage des mains, essayez de l'éteindre sous
«Paramètres> Suivi de la main> Lissage de la main».
Augmenter le lissage des positions des mains tout en tenant des objets permet de produire une prise plus stable, ce qui facilite un peu le placement précis sur la grille.
Appuyez sur les boutons
Une chose avec laquelle j'ai remarqué Le cubisme La démonstration originale de suivi des mains était que la plupart des gens essayaient d'appuyer sur les boutons même si cela n'était pas pris en charge à l'époque. Par conséquent, l'un de mes objectifs avec cette nouvelle version du suivi manuel était de rendre les boutons réellement poussables.
Les boutons peuvent être survolés lorsqu'un raycast du bout de l'index touche un collisionneur à l'arrière du bouton. Si l'index croise alors le collisionneur, une pression est enregistrée. Si l'index croise le collisionneur sans le survoler au préalable, aucune pression n'est enregistrée. Cela permet d'éviter les faux positifs lorsque le doigt se déplace de bas en haut.
Il y a quelques vérifications supplémentaires en place pour éviter les faux positifs: le raycast est désactivé lorsque le doigt ne fait pas face au bouton, ou lorsque le joueur ne regarde pas son doigt en appuyant sur.
Essayez-le vous-même: pour voir cette visualisation de débogage dans le jeu, allez dans `` Paramètres> Suivi des mains> Visualisations de débogage '' et activez les `` widgets d'interactions ''.
Visualisation de débogage: un raycast de la pointe d'index vérifie si le doigt survole un bouton. Pour éviter les faux positifs, l'interaction est désactivée lorsque le doigt ne fait pas face au bouton ou lorsque le joueur ne regarde pas son doigt.
Guider les interactions
L'un des principaux défis de la création d'une interaction pour le suivi des mains est que, contrairement aux boutons d'une manette qui sont enfoncés ou non, il existe de nombreuses façons différentes que les gens peuvent essayer d'aborder une interaction avec leurs mains tout en s'attendant au même résultat. .
Le test de jeu avec un ensemble diversifié de personnes peut vous aider à comprendre comment les gens abordent les interactions qui leur sont présentées et peuvent aider à affiner les signaux d'interaction qui les guident vers les gestes attendus. Playtesting peut également vous aider à connaître certaines des valeurs aberrantes que vous voudrez peut-être attraper en ajoutant une certaine redondance d'interaction.
Indices d'interaction
Il y a plusieurs indices lors de la saisie d'un morceau. Lorsqu'un utilisateur survole une pièce pour la première fois, son index et son pouce prennent la couleur de cette pièce, à la fois pour indiquer qu'elle peut être saisie et pour signaler quels doigts peuvent la saisir (inspiré des travaux précédents de Luca Méfisto, Barrett Fox et Martin Schubert). La pièce est également mise en évidence pour indiquer qu'elle peut être saisie.
Plusieurs indices indiquent également le succès de la capture: le bout des doigts devient solide, les hautes lumières de la pièce clignotent et un bref signal audio est joué.
Divers indices à la fois sur la main et le guide des pièces du puzzle et confirment l'interaction de saisie.
Les boutons ont plusieurs signaux pour aider à indiquer qu'ils peuvent être poussés. Tout comme pour les pièces de puzzle, le bout du doigt de l'index est surligné en blanc une fois que vous survolez un bouton, indiquant quel doigt peut interagir. Comme ils l'ont fait avec les contrôleurs, les boutons s'étendent vers l'extérieur lorsqu'ils sont survolés, mais cette fois, le bouton étendu peut être enfoncé: une fois que l'index le touche, il suit le doigt jusqu'à ce qu'il soit complètement enfoncé, à quel point un signal audio confirme le clic.
Une ombre portée subtile sur la surface du bouton indique la position et la distance de l'index par rapport au bouton et aide à guider l'interaction de la presse.
Divers indices guident les interactions avec les boutons: les boutons s'étendent vers l'extérieur lorsqu'ils sont survolés, le bout de l'index est mis en surbrillance, une ombre portée indique où la pointe interagira et le bouton suit le doigt lorsqu'il est enfoncé.
Redondance d'interaction
Étant donné que certaines personnes peuvent aborder certaines interactions de manière non intentionnelle, il peut être bon d'essayer d'en tenir compte dans la mesure du possible en ajoutant une certaine redondance à la manière dont les gens peuvent utiliser leurs mains pour interagir. Les signaux d'interaction peuvent toujours les guider vers l'interaction prévue, mais la redondance peut les éviter de rester inutilement bloqués.
Quand il s'agit de saisir des pièces, quelques testeurs de jeu essaieraient de saisir des pièces en faisant un poing au début au lieu d'utiliser le bout de leurs doigts. En demandant aux collisionneurs de couvrir tout le doigt au lieu de juste le bout du doigt, une quantité décente de ces premiers grappins sera toujours enregistrée.
Je dois noter que cette approche doit encore être améliorée, car elle introduit également des problèmes produisant des prises involontaires dans les cas où de nombreuses pièces flottent autour de l'aire de jeu. Une meilleure approche à l'avenir pourrait être d'effectuer également une vérification de la rotation totale des doigts pour tenir compte des prises de poing à la place.
Bien que la saisie soit conçue autour du bout des doigts, les collisionneurs sur l'index et le pouce recouvrent tout le doigt pour aider à capturer différentes formes de saisie.
Avec les boutons, il y avait quelques testeurs qui essayaient de les pincer au lieu de les pousser. Cela semblait en partie se produire lorsqu'ils avaient appris à pincer les boutons de l'écran d'accueil d'Oculus, juste avant de lancer le jeu.
Pour cette raison, les boutons peuvent également être cliqués en les pinçant une fois qu'ils sont survolés, et nous espérons que des indices tels que l'index en surbrillance et l'ombre portée les guideront à la place pour appuyer sur les boutons.
Le pincement en survolant les boutons est également enregistré comme un clic.
Le premier bouton que les joueurs rencontrent lors de l'utilisation des mains indique également explicitement «Push to Start», pour aider les personnes à passer du pincement à la poussée après avoir quitté le menu d'accueil de l'Oculus.
Limitations de l'enseignement
Bien que la qualité du suivi des mains de Quest se soit améliorée au cours de la dernière année, elle a toujours ses limites - et la conscience d'un joueur de ces limites peut avoir un impact important sur la qualité de son expérience.
Cubisme met en œuvre quelques moyens d'enseigner aux joueurs les limites actuelles du suivi des mains sur Quest.
Lorsque le joueur passe pour la première fois au suivi des mains (au lancement ou en milieu de partie), un modal l'informe de certaines bonnes pratiques, comme jouer dans un espace bien éclairé et éviter de se croiser les mains.
Lorsqu'un utilisateur passe au suivi manuel, un modal l'informe des limites et des meilleures pratiques. L'instruction «Push to Start» aide à apprendre aux nouveaux utilisateurs que les boutons peuvent être naturellement enfoncés dans ce jeu.
Il est important de reconnaître que la plupart des gens sont susceptibles de rejeter immédiatement les modaux comme celui-ci ou d'oublier rapidement ses directives.Il est donc également important de signaler pourquoi les choses peuvent mal tourner pendant l'expérience.
In Cubisme, les aiguilles deviendront rouges pour signaler que le suivi a été perdu. Dans certains tests de jeu, les gens gardaient une main sur leurs genoux et jouaient avec l'autre, et se demandaient pourquoi leur main sur les genoux paraissait gelée. Pour aider à informer des cas comme celui-ci, un message s'affiche sur la main pour indiquer clairement pourquoi la main est gelée si la perte de suivi persiste. Si le suivi est perdu spécifiquement parce que le joueur croise la main, le message change pour l'informer de ne pas le faire.
Gauche: les aiguilles deviennent rouges lorsque le suivi est perdu pour la première fois. Milieu: lorsque le suivi des pertes persiste, un message informe le joueur de ce qui se passe. À droite: si le suivi est perdu en raison de mains occluses, cela est également indiqué
Pour les joueurs plus expérimentés ou les joueurs qui préfèrent jouer avec une seule main, cette fonctionnalité peut être remplacée dans les paramètres en faisant disparaître les mains lorsqu'elles perdent le suivi, ressemblant davantage au comportement du menu d'accueil d'Oculus.
Les mains rouges et les messages d'avertissement peuvent être remplacés dans les paramètres par des mains décolorées.
Travaux futurs
Le suivi des mains sur Quest a toujours ses limites, et bien que Le cubisme le support est déjà dans sa deuxième version, il reste encore beaucoup à faire.
Quoi qu'il en soit, je suis ravi de commencer à explorer et à soutenir ces nouvelles méthodes de saisie. À court terme, je pense qu'ils peuvent aider à rendre des expériences comme celle-ci plus accessibles et plus faciles à partager avec les nouveaux utilisateurs de VR.
Des images de réalité mixte capturées sur un iPhone avec l'application Reality Mixer de Fabio Dela Antonio donnent une idée de ce que cela pourrait être de jouer à Cubism sur un casque AR à l'avenir.
À long terme, il semble y avoir de bonnes chances que le suivi manuel soit l'entrée incontournable pour les futurs appareils AR autonomes, donc j'espère que cette mise à jour peut être un premier petit pas vers une version AR de Cubisme.
Si vous avez apprécié ce regard sur la conception du suivi manuel dans le cubisme, assurez-vous de vérifier Article d'invité antérieur de Thomas qui présente la conception du jeu plus large.
Le poste Étude de cas: la conception derrière le suivi manuel du `` cubisme '' apparaît en premier sur Route vers VR.
- Compte
- Supplémentaire
- appli
- AR
- Casque AR
- architecture
- Réservé
- autour
- article
- acoustique
- LES MEILLEURS
- les meilleures pratiques
- Bit
- construire
- Développement
- un exemple
- cas
- Attraper
- vérification
- Contrôles
- Réseautage et Mentorat
- plus
- Venir
- confiance
- contenu
- contrôleur
- Courant
- données
- Conception
- Développeur
- mobiles
- Développement
- Compatibles
- DID
- distance
- Goutte
- "Early Bird"
- Edge
- Les ingénieurs
- Entreprise
- logiciels d'entreprise
- se développe
- Expériences
- Fonctionnalité
- Figure
- Prénom
- Flash
- défauts
- plein
- avenir
- jeu
- Games
- Général
- Bien
- saisir
- Vert
- Grille
- GUEST
- Article invité
- guide
- lignes directrices
- suivi de la main
- Casque sans fil
- Haute
- Surbrillance
- Accueil
- Comment
- How To
- HTTPS
- idée
- Impact
- indice
- intention
- l'interaction
- iPhone
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- lancer
- APPRENTISSAGE
- savant
- LED
- Location
- Fabrication
- Bougez
- se déplace
- net
- Oculus
- Oculus Quête
- Oculus magasin
- Autre
- Autres
- Personnes
- joueur
- Beaucoup
- La précision
- Press
- puzzle
- qualité
- quête
- Réalité
- réduire
- de Presse
- Exigences
- Résultats
- pour écran
- set
- Shadow
- Partager
- Shorts
- Quête secondaire
- Taille
- petit
- So
- Logiciels
- Space
- Commencer
- Région
- États
- volé
- Boutique
- Étude
- réussi
- Support
- Appareils
- Surface
- combustion propre
- Enseignement
- Technologie
- El futuro
- fiable
- conseils
- top
- Tracking
- Transparence
- Mises à jour
- utilisateurs
- visualisation
- vr
- attendez
- Qu’est ce qu'
- WHO
- dans les
- Activités principales
- vos contrats
- an
- Youtube