Зарабатывай от 1500 руб в день! В любое время и месте!

Начать зарабатывать

Новая технология преобразует ладонь в интерфейс для виртуальной реальности

Учёные Университета Карнеги-Меллона представили систему EgoTouch, которая использует ладонь пользователя как интерфейс для управления в виртуальной реальности. Технология работает на основе стандартной RGB-камеры, уже встроенной в VR-гарнитуру, и ...изирует тени и деформации кожи при касании ее пальцем другой руки.Новости СМИ2 Это исключает необходимость в контроллерах и упрощает взаимодействие с виртуальным миром. EgoTouch обеспечивает точность определения касаний до 96% и различает силу и тип нажатий с точностью до 98%.

EgoTouch переосмысливает традиционный подход к взаимодействию в виртуальной реальности, предлагая размещать тактильные интерфейсы непосредственно на виртуальном теле пользователя. Это позволяет повысить скорость, точность и удобство работы по сравнению с обычными «воздушными» интерфейсами, которые накладываются на изображение виртуального мира.

Проблема в том, что интерфейсы, размещаемые на теле, зависят от специальных камер глубины. Эти камеры необходимы для точного отслеживания положения как самой части тела, на которой отображается интерфейс в виртуальной реальности, так и пальца, взаимодействующего с этим интерфейсом.

В отличие от существующих систем, EgoTouch использует стандартную RGB-камеру, уже встроенную в VR-гарнитуру. При нажатии пальцем на реальную ладонь, камера фиксирует возникающие тени и деформации кожи. ...изируя эти визуальные изменения и сопоставляя их с виртуальным интерфейсом, технология определяет, какие элементы были выбраны пользователем в VR.

Чтобы обучить алгоритм, команда попросила группу добровольцев нажимать указательным пальцем на различные участки ладони, при этом на их голове была закреплена RGB-камера. На нижней стороне пальца каждого участника был закреплен сенсорный датчик касания, невидимый для камеры.

Сопоставляя данные с камеры и датчика, алгоритм научился связывать определенные визуальные образы с конкретными точками касания, силой нажатия и продолжительностью контакта. У участников варьировались цвет кожи и густота волос, а данные записывались при разных условиях освещения.

Во время тестирования точность EgoTouch в определении касаний на ладони составила 96%, а уровень ложных срабатываний — около 5%. Система могла с точностью 98% определять, является ли касание легким или сильным, и распознавать такие действия, как нажатие, отпускание и перетаскивание. Решение не требует калибровки и готово к работе сразу после включения.
источник