ハンドトラッキングは、2019年後半にOculus Questで最初に利用可能になりました。この新しい入力方法への熱意から、私は次のデモを公開しました。 キュービズム ほんの数日後に実験的なハンドトラッキングサポートを備えたSideQuestに。 言うまでもなく、この最初のデモにはいくつかの欠陥があり、テクノロジーの制限を実際には考慮していませんでした。そのため、最初にのフルリリースからハンドトラッキングのサポートを省略することにしました。 キュービズム Oculusストアで。 最近リリースしたものを作成するには、他の開発者の作業から学んだ教訓に基づいて、さらに開発が必要でした。 キュービズム ハンドトラッキングの更新。 これが設計プロセスの内部です。
ゲスト記事 トーマス・ヴァン・ブーウェル
Thomasは、現在ブリュッセルを拠点とするベルギーとブラジルのVR開発者です。 彼の元々の経歴は建築にありますが、VRでの彼の現在の仕事は、次のようなインディーゲームに及びます。 キュービズム のような建築家やエンジニアのためのエンタープライズソフトウェアに 解決する.
このアップデートは、昨年(ハンドトラッキングを調査してきた他の多くのゲームや開発者から学んだ教訓に基づいています(盗まれたペットの奇妙な話, バケーションシミュレータ, ルカ・メフィスト, デニーズ・クナート、および他のいくつか)。
この記事では、特定の課題に取り組むときに学んだいくつかのことを共有したいと思います。 キュービズム 手の相互作用。
正確な相互作用のための最適化
キュービズム 相互作用は、パズルグリッドに小さな不規則なパズルのピースを配置することを中心に展開します。 つまり、ハンドトラッキング入力の主な要件は、ピースを拾い上げてグリッドに配置することと、完成したパズルからピースを正確に選ぶことの両方における精度でした。 これは、手入力に関する設計上の決定のほとんどに情報を提供しました。
ゴーストハンズ
私は早くから 手を物理ベースにしますが、代わりに、アクティブにつかまれるまでピースを通過させます。
これにより、空中で浮いているパズルのピースを不器用に押しのけることを回避できましたが、さらに重要なことは、指を差し込んでピースをつかむだけで済むため、完全なパズルの途中でピースを簡単に引き抜くことができるようになりました。それらを物理的にこじ開ける方法を理解する必要があります。
透明度によって示されるように、手は物理的ではないため、パズルの途中からピースを簡単に見つけることができます。
連絡先の取得
手のひらの一般的な相互作用ゾーンを確認しながら、指のピンチや指の関節全体の回転に焦点を合わせるなど、オブジェクトをつかんで解放しようとするユーザーの意図を検出する方法はいくつかあります。
キュービズム 小さくて不規則なパズルのピースですが、精度の要件を最もよく処理しているように見えるアプローチは、親指と人差し指が同じピースと交差するとすぐにピースをつかみ、必要なしに短い距離でまとめる接触ベースのアプローチでした。フルピンチ。
に似て でのアプローチ 盗まれたペットの奇妙な話、グラブが始まるとすぐに指が所定の位置にロックされ、より安定したグラブの印象を与えるのに役立ちます。 ピースは、つかまれている間、手の根元(手首)にペアレント化されます。 これは最も安定したトラックジョイントのように見えるので、より安定したグリップを生み出すのに役立ち、ピースがロックされた指と整列したままになることを保証します。
親指と人差し指が交差するときにピースをつかみ、わずかにまとめます。 次に、人差し指と親指の回転を所定の位置にロックして、安定したグラブの印象を与えます。
ピースをつかむとすぐに、親指とインデックスの間の距離が保存され、その距離に基づいてリリースマージンが計算されます。 親指とインデックスがそのマージンを超えて離れると、ピースは解放されます。
いくつかのセーフガードは、意図しないリリースを防止しようとします。追跡の信頼性が特定のしきい値を下回っている場合はリリースをチェックせず、追跡の信頼性が回復した後、リリースを再度チェックするまで数フレーム待機します。 また、実際にリリースする前に、数フレームの間、指がリリースマージンを超えている必要があります。
デバッグの視覚化:グラブ中に、指先間の最初のグラブ距離が保存されます(外側の赤い円)。 指先の実際の位置が特定のマージン(青い円)を超えると、ピースが解放されます。
同様のシステムもあります バケーションシミュレーターのオーバーグラブメソッド。 ピースをつかむときの触覚フィードバックがないため、つかむときに指が互いに近づくようにドリフトすることは珍しくありません。 それらが特定のしきい値を超えて閉じると、リリースマージンが調整され、ピースのリリースが容易になります。
自分で試してみてください。ゲーム内でこれらのデバッグビジュアライゼーションを表示するには、[設定]> [ハンドトラッキング]> [デバッグビジュアライゼーション]に移動し、[インタラクションウィジェット]をオンにします。
デバッグの視覚化:特定のしきい値(内側の赤い円)を超えてグラブしているときに指が互いにドリフトした場合、リリースマージンが再調整され、ピースのリリースが「べたつかない」感じが少なくなります。
このアプローチのXNUMXつの制限は、インデックス以外の指でつかむのをサポートするのが少し難しくなることです。 以前の実装では、中指と親指の間をつかむこともできましたが、プレーヤーが特定のピースをつかむつもりの指を評価するのが難しいため、完全なパズルグリッドからピースをつかむときに誤検知が発生することがよくありました。
これは、グラブが完全な指のピンチを中心に行われる場合は問題になりません。これにより、ユーザーの意図を判断するための入力バイナリがより明確になります(グラブのポーズが自然に感じられなくなります)。
ミッドポイントチェック
人差し指と親指が交差している部分をチェックすることに加えて、人差し指と親指の指先の中間点で追加のチェックが行われます。
この中間点がホバリングするピースはすべて、グラブの優先順位が付けられます。これにより、プレーヤーがフルグリッドでピースをグラブしようとしたときに誤検知を回避できます。
以下の例では、プレーヤーが緑のピースの右端をつかむつもりである場合、この中間チェックを行わないと、意図せずに黄色のピースをつかむことになります。
左: 親指、インデックス、指先の中間点は黄色→グラブイエローです。 右: 親指とインデックスは黄色、中点は緑色→グラブグリーン
パズルをつかむ
パズルをつかむことは、パズルのピースをつかむことと同じように機能しますが、パズルの周りのつかむゾーン内で完全にピンチすることによって開始される点が異なります。
このゾーンのサイズは、コントローラーからハンドに切り替えるときに動的に増加します。 これにより、つかむのが少し簡単になり、グリッド自体ではなくグリッド内のピースを誤ってつかむ可能性を減らすことができます。
コントローラーからハンドに切り替えると、パズルの周りのグラブゾーンが広がり、グラブしやすくなります。 完全につまむ必要がありますが、パズルをつかむことはパズルのピースをつかむことと同じように機能します。
ダイナミックハンドスムージング
Oculus Questによって提供されるハンドトラッキングデータは、トラッキングの信頼性が高い場合でも、多少のジッターが発生する可能性があります。 これは実際にはゲームプレイにも影響を与える可能性があります。パズルグリッドまたは長いパズルピースを端に持っているとジッターがはるかに目立ち、グリッド上にピースを正確に配置するのが難しくなるためです。
トラッキングデータをスムージングすると、より安定した外観のグラブを生成するのに大いに役立ちますが、スムージングが多すぎると手に「ラグ」感が生じるため、適度に行う必要があります。 これのバランスをとるために、 キュービズム 手が何かを持っているかどうかに応じて動的に調整されます。
自分で試してみてください。手のスムージングの影響を確認するには、下でオフにしてみてください。
「設定>ハンドトラッキング>ハンドスムージング」。
オブジェクトを保持しながら手の位置のスムージングを増やすと、グリップがより安定し、グリッドへの正確な配置が少し簡単になります。
ボタンを押す
私が気づいたことのXNUMXつ キュービズム オリジナルのハンドトラッキングデモでは、当時はサポートされていませんでしたが、ほとんどの人がボタンを押してみました。 したがって、この新しいバージョンのハンドトラッキングでの私の目標のXNUMXつは、ボタンを実際にプッシュ可能にすることでした。
人差し指の先端からのレイキャストがボタンの後ろにあるコライダーに当たったときに、ボタンにカーソルを合わせることができます。 その後、人差し指がコライダーと交差すると、プレスが登録されます。 インデックスが最初にホバリングせずにコライダーと交差する場合、プレスは登録されません。 これは、指が下から上に移動するときの誤検知を防ぐのに役立ちます。
誤検知を防ぐために、さらにいくつかのチェックがあります。指がボタンの方を向いていない場合、またはプレーヤーが押しているときに指を見ていない場合、レイキャストは無効になります。
自分で試してみてください。ゲーム内でこのデバッグ視覚化を確認するには、[設定]> [ハンドトラッキング]> [デバッグ視覚化]に移動し、[インタラクションウィジェット]をオンにします。
デバッグの視覚化:インデックスチップからのレイキャストは、指がボタンの上にあるかどうかをチェックします。 誤検知を防ぐために、指がボタンに向いていない場合、またはプレーヤーが指を見ていない場合、インタラクションは無効になります。
相互作用の指導
ハンドトラッキングのインタラクションを構築する際の主な課題のXNUMXつは、コントローラーのボタンが押されているか押されていないかとは対照的に、同じ結果を期待しながら、手とのインタラクションにアプローチしようとするさまざまな方法があることです。 。
多様な人々とのプレイテストは、人々が提示されたインタラクションにどのようにアプローチしているかを学ぶのに役立ち、期待されるジェスチャーに導くインタラクションの手がかりを洗練するのに役立ちます。 プレイテストは、相互作用の冗長性を追加することで、キャッチしたい異常値のいくつかを学習するのにも役立ちます。
相互作用の手がかり
ピースをつかんでいる間、いくつかの手がかりがあります。 ユーザーが最初にピースにカーソルを合わせると、インデックスと親指がそのピースの色を帯びて、つかむことができることを示し、どの指がそれをつかむことができるかを示します(以前の作業に触発されて ルカ・メフィスト, バレットフォックス、マーティンシューベルト)。 ピースも強調表示され、つかむことができることを示します。
いくつかのキューは、グラブが成功したことも示します。指先がしっかりとなり、ピースのハイライトが点滅し、短いオーディオキューが再生されます。
手とパズルのピースガイドの両方にあるさまざまな手がかりが、グラブの相互作用を確認します。
ボタンには、押すことができることを示すのに役立ついくつかの手がかりがあります。 パズルのピースと同じように、ボタンにカーソルを合わせると人差し指が白で強調表示され、どの指が相互作用できるかが示されます。 コントローラーの場合と同様に、ボタンをホバーすると外側に伸びますが、今回は伸ばしたボタンを実際に押すことができます。インデックスがそれに触れると、完全に押し下げられるまで指に追従し、完全に押し下げられると、オーディオキューがクリックを確認します。
ボタン表面の微妙なドロップシャドウは、インデックスの位置とボタンまでの距離を示し、プレス操作をガイドするのに役立ちます。
さまざまな手がかりがボタンとの相互作用をガイドします。ボタンをホバーすると外側に伸び、人差し指の先端が強調表示され、ドロップシャドウが先端が相互作用する場所を示し、ボタンを押すと指に追従します。
相互作用の冗長性
一部の人々は意図しない方法でいくつかの相互作用にアプローチする可能性があるため、人々が手を使用して相互作用する方法に冗長性を追加することにより、可能な場合はこれを説明することをお勧めします。 インタラクションキューは、意図したインタラクションに誘導できますが、冗長性により、不必要にスタックするのを防ぐことができます。
ピースをつかむことになると、数人のプレイテスターは、指先を使う代わりに、最初は拳を作ってピースをつかもうとします。 コライダーが指先だけでなく指全体を覆うようにすることで、これらの最初のグラブのかなりの量が引き続き登録されます。
このアプローチは、プレイエリアの周りにたくさんのピースが浮かんでいる場合に意図しないグラブを生成するいくつかの問題も引き起こすため、まだいくつかの改善が必要であることに注意する必要があります。 将来のより良いアプローチは、代わりに拳のグラブを説明するために、指の総回転のチェックも実行することかもしれません。
つかむことは指先を中心に設計されていますが、インデックスと親指の衝突型加速器が指全体を覆い、さまざまな形のつかみを捕らえるのに役立ちます。
ボタンを使用すると、ボタンを押す代わりにピンチしようとするプレイテスターが数人いました。 これは、ゲームを起動する直前に、Oculusのホーム画面でボタンをつまむ方法を以前に学んだときに発生したようです。
このため、ボタンにカーソルを合わせたら、ボタンをつまんでクリックすることもできます。ハイライトされたインデックスやドロップシャドウなどの手がかりが、最終的には代わりにボタンを押すようにガイドすることを願っています。
ボタンにカーソルを合わせてつまむと、クリックとして登録されます。
プレイヤーが手を使用するときに最初に遭遇するボタンには、「プッシュして開始」と明示的に記載されており、Oculusホームメニューから来た後にピンチからプッシュに移行するのに役立ちます。
教育の制限
Questのハンドトラッキングの品質は昨年より向上しましたが、それでも制限があります。これらの制限に対するプレーヤーの認識は、エクスペリエンスの良さをどの程度認識しているかに大きな影響を与える可能性があります。
キュービズム Questでのハンドトラッキングの現在の制限についてプレイヤーに教えるいくつかの方法を実装します。
プレーヤーが最初にハンドトラッキングに切り替えると(起動時またはゲーム中)、モーダルは、明るい空間でのプレイや交差する手を避けるなど、いくつかのベストプラクティスを通知します。
ユーザーがハンドトラッキングに切り替えると、モーダルが制限とベストプラクティスについて通知します。 「PushtoStart」命令は、このゲームでボタンを自然に押すことができることを新しいユーザーに教えるのに役立ちます。
ほとんどの人がこのようなモーダルをすぐに却下したり、ガイドラインをすぐに忘れたりする可能性があることを認識することが重要です。そのため、体験中に問題が発生する理由を伝えることも重要です。
In キュービズム、追跡が失われたときに信号を送るために手が赤に変わります。 一部のプレイテストでは、人々は片方の手を膝の上に置いてもう一方の手を遊んで、なぜ膝の手が凍って見えるのか戸惑いました。 このような場合を知らせるために、追跡損失が続く場合に手がフリーズする理由を明確に示すメッセージが手に表示されます。 特にプレイヤーが手を組んでいるために追跡が失われた場合、メッセージが変更され、そうしないように通知されます。
左: 追跡が最初に失われると、手が赤くなります。 中間: 追跡損失が続くと、メッセージがプレーヤーに何が起こっているかを知らせます。 右: 手の閉塞が原因で追跡が失われた場合、これも示されます
経験豊富なプレーヤー、または片手でプレイすることを好むプレーヤーの場合、この機能は、Oculusホームメニューの動作によく似た、追跡を失ったときに手をフェードアウトさせることで、設定で置き換えることができます。
赤い針と警告メッセージは、設定で手をフェードさせることで置き換えることができます。
今後の活動
クエストでのハンドトラッキングにはまだ制限がありますが キュービズム それに対するサポートはすでにその第XNUMXバージョンにありますが、まだ改善の余地がたくさんあります。
とにかく、私はこれらの新しい入力方法の調査とサポートを開始することに興奮しています。 短期的には、このような体験をよりアクセスしやすく、新しいVRユーザーと共有しやすくするのに役立つと思います。
iPhoneでFabioDelaAntonioのアプリRealityMixerを使用してキャプチャした複合現実映像は、将来ARヘッドセットでキュービズムを再生することがどのようなものになるかを示しています。
長期的には、ハンドトラッキングが将来のスタンドアロンARデバイスの頼れる入力になる可能性が高いと思われるため、このアップデートがARバージョンの最初の小さなステップになることを願っています。 キュービズム.
キュービズムのハンドトラッキングデザインを見て楽しんだら、ぜひチェックしてください。 より広範なゲームのデザインを概説するトーマスの以前のゲスト記事.
ポスト ケーススタディ:「キュービズム」のハンドトラッキングの背後にある設計 最初に登場した VRへの道.
- NEW
- アプリ
- AR
- ARヘッドセット
- 建築
- AREA
- 周りに
- 記事
- オーディオ
- BEST
- ベストプラクティス
- ビット
- ビルド
- 建物
- ケーススタディ
- 例
- レスリング
- 点検
- 小切手
- サークル
- クローザー
- 到来
- 信頼
- コンテンツ
- コントローラ
- 電流プローブ
- データ
- 設計
- Developer
- 開発者
- 開発
- Devices
- DID
- 距離
- Drop
- 早い
- エッジ(Edge)
- エンジニア
- Enterprise
- エンタープライズソフトウェア
- 拡大する
- エクスペリエンス
- 向い
- 特徴
- フィギュア
- 名
- フラッシュ
- 欠陥
- フル
- 未来
- ゲーム
- Games
- 良い
- グラブ
- グリーン
- グリッド
- ゲスト
- ゲスト記事
- ガイド
- ガイドライン
- ハンドトラッキング
- ヘッドセット
- ハイ
- 強調表示された
- ホーム
- 認定条件
- How To
- HTTPS
- アイデア
- 影響
- index
- 意図
- 相互作用
- iPhone
- 問題
- IT
- 起動する
- LEARN
- 学んだ
- ツェッペリン
- 長い
- 作成
- 移動
- net
- オクルス
- オクルスクエスト
- オクルスストア
- その他
- その他
- のワークプ
- プレイヤー
- プレンティ
- 精度
- パズル
- 品質
- クエスト
- 現実
- 減らします
- リリース
- 要件
- 結果
- 画面
- セッションに
- Shadow
- シェアする
- ショート
- サイドクエスト
- サイズ
- 小さい
- So
- ソフトウェア
- スペース
- start
- 都道府県
- 米国
- 盗まれました
- 店舗
- 勉強
- 成功した
- サポート
- サポート
- 表面
- ティーチング
- テクノロジー
- 未来
- 時間
- ヒント
- top
- 追跡
- 透明性
- アップデイト
- users
- 可視化
- vr
- wait
- 何ですか
- 誰
- 以内
- 仕事
- 作品
- 年
- ユーチューブ