Ultraleap Gemini Impressions: грядет лучшее отслеживание рук

Если единственное отслеживание рук без контроллера, которое вы использовали, — это Quest 2, у вас может быть не самое лучшее мнение о нем.

Конечно, здорово впервые увидеть свои настоящие руки в виртуальной реальности. Но попробуйте перемещаться по системе меню Quest или захватывать объекты в таких приложениях, как Hand Physics Lab, и вы скоро поймете, что качество отслеживания оставляет желать лучшего.

На выставке CES 2022 я опробовал технологию Ultraleap пятого поколения, которую компания называет Gemini. Если вы следили за виртуальной реальностью еще до выпуска потребительских гарнитур, вы должны быть знакомы с Leap Motion, стартапом, который в 2014 году запустил настольный аксессуар для отслеживания рук, который можно было установить на передней панели Oculus Developer Kit 2. Это принесло отслеживание рук в VR еще до того, как большинство пользователей получили доступ к контроллерам движения.

У Leap Motion было небольшой набор демонстрационных приложений, и это даже поддерживалось в социальной платформе AltSpaceVR. Но когда в 2016 году были выпущены контроллеры HTC Vive и Oculus Touch, они быстро потеряли свою актуальность, несмотря крупное обновление качества алгоритма под названием «Орион». К 2019 году даже AltSpace прекратила поддержку Leap Motion — разработчики отдают приоритет аппаратному обеспечению пользователей, которым они действительно владеют, и хотя Leap Motion был относительно недорогим (около 80 долларов), он по-прежнему сталкивался с классической проблемой курицы и яйца, связанной с входными аксессуарами.

Leap Motion была приобретена в 2019 году. британской компанией UltraHaptics, специализирующейся на тактильных технологиях, которая объединилась в UltraLeap. Год спустя, Facebook отправил обновление программного обеспечения для Oculus Quest, добавив отслеживание рук. Отслеживание рук Quest использует встроенные серые камеры типа «рыбий глаз» (которые также могут видеть в инфракрасном спектре). Он работает, и им пользовались миллионы людей, но если ваши руки находятся под неправильным углом или слишком близко друг к другу, он быстро выходит из строя. Испытание Ultraleap показало мне, насколько лучше может быть отслеживание рук.

Отслеживание рук с качеством VR требует перекрытия датчиков — алгоритм сравнивает перспективу каждой камеры, чтобы определить относительное положение каждой руки. Камеры Quest имеют широкое поле зрения, но, поскольку они расположены по краям гарнитуры и направлены наружу, область отслеживания рук относительно мала. Вот почему он работает должным образом, только когда ваши руки находятся прямо перед вами, и почему вы можете заметить, что система восстанавливает отслеживание, когда вы возвращаете руки в поле зрения.

Последняя технология отслеживания рук Gemini от Ultraleap является преемницей Orion, и Ultraleap утверждает, что она была переписана с нуля. Об этом было объявлено в 2020 году вместе с многолетнее соглашение с Qualcomm об интеграции и оптимизации для чипа Snapdragon XR2. 95% алгоритма работает на DSP (цифровом сигнальном процессоре) XR2, освобождая ЦП для реальных приложений виртуальной и дополненной реальности.

Я попробовал Близнецов в качестве привязанности к Виви Фокус 3 гарнитура виртуальной реальности и как интегрированный аспект предстоящей гарнитуры смешанной реальности Lynx R1 — обе гарнитуры используют чип XR2. Две инфракрасные камеры типа «рыбий глаз» направлены вперед, а не по сторонам, что обеспечивает почти полное перекрытие в поле обзора 170 градусов. Это шире, чем линзы любой гарнитуры (и почти любой существующей гарнитуры).

В результате, как и при использовании контроллеров движения, я мог естественным образом вытягивать руки, и мне больше не нужно было беспокоиться о выходе за пределы диапазона отслеживания.

Аппаратное обеспечение, как и Leap Motion до него, также имеет активные инфракрасные излучатели, которые освещают ваши руки для лучшего обзора. И далее сенсоры дискретизируются со скоростью 90 кадров в секунду. Комбинация этих характеристик и алгоритма Gemini означала, что виртуальные руки, казалось, точно соответствовали моим собственным, без заметной задержки. Задержки и сбои в отслеживании рук Quest исчезли — Gemini чувствовали себя на несколько поколений вперед. Я мог даже переплести пальцы. Только из-за того, что одна рука была почти полностью закрыта, отслеживание начало давать сбои.

Говоря о окклюзии, одним из самых впечатляющих аспектов демонстрации было время повторного захвата. Я намеренно закрыл одну из своих рук, проведя ею под столом, но к тому времени, когда она снова стала видна, отслеживание почти мгновенно возобновилось.

Я всегда считал, что отслеживание рук без контроллера будет играть важную роль в массовой виртуальной реальности. Некоторые люди возражают против этого из-за отсутствия тактильных ощущений, с чем я не могу спорить. Но другие настроены скептически на основании предполагаемой неточности. Gemini доказывает, что на самом деле это просто качество отслеживания Quest, а не фундаментальный предел технологии.

Близнецы будут предварительно интегрированы в гарнитура Lynx R1, которая начинается примерно с 500 долларов для сторонников Kickstarter. Проще говоря, такого качества отслеживания рук по такой цене еще не было. Я рад видеть, что разработчики будут делать с этим, и для будущих устройств, использующих эту технологию. Мете нужно наверстать упущенное.

Источник: https://uploadvr.com/ces-ultraleap-gemini-hand-tracking/