24.07 - 10:27

Браслет с тепловыми камерами оцифровал движения кисти


 

Американо-китайская группа инженеров представила прототип браслета, считывающего положения и жесты кисти. В нем установлено четыре инфракрасные камеры, которые направлены в сторону пальцев. Алгоритмы совмещают видео с камер и рассчитывают текущее положение всех пальцев и ладони, рассказывают авторы статьи в Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.

Отслеживание положения кисти используют в VR-системах, чтобы пользователь мог естественным образом трогать виртуальные объекты, в бесконтактном управлении интерфейсами и в некоторых других сферах. Поскольку эта область уже весьма развита, в ней есть несколько стандартных подходов. Чаще всего используется отслеживание с помощью механических датчиков в перчатках и отслеживание по визуальным датчикам на самом шлеме, как это реализовано в Oculus Quest, или недалеко от руки, к примеру, на столе или на кисти, с помощью контроллера Leap Motion или аналогичных датчиков. Второй вариант не очень удобен и надежен, потому что при расположении не на теле пользователь становится привязанным к определенной области и должен держать руку в ней. А если закрепить датчик на руке, то он будет мешать, потому что он довольно громоздкий, а также не будет видно согнутые пальцы.

Инженеры под руководством Чэн Чжан (Cheng Zhang) из Корнеллского университета создали надеваемый на запястье браслет, который имеет небольшие размеры и отслеживает положение кисти сразу с четырех сторон. Браслет состоит из двух секций: на ближней к кисти установлено четыре камеры, снимающих в дальнем инфракрасном диапазоне с разрешением 32 на 24 пикселя. Данные с камер поступают на микрокомпьютер Raspberry Pi, а он в свою очередь пересылает их на более мощный компьютер, на котором работают нейросетевые алгоритмы.

 

Сначала четыре кадра обрабатываются сверточной нейросетью ResNet-44, а затем поступают на последний полносвязный слой, который по сути объединяет кадры и выступает в качестве декодировщика. На выходе алгоритм предоставляет модель кисти из 21 точки, связанных между собой и имеющих определенное положение.

Разработчики показали, что браслет позволяет определять положение кисти даже если человек держит в руке какой-то предмет. Тестирование на 11 добровольцах показало, что средняя ошибка определения положения сегментов между собой составляет 8,06 градуса.

Необычный подход к определению положения и движения кисти использует компания CTRL-Labs, которую в 2019 году поглотил Facebook. Ее инженеры разработали прототип браслета, который считывает активность мышц благодаря множеству электродов. Это позволяет улавливать намерения пользователя, даже когда он очень слабо напрягает мышцы и почти не двигает пальцами.

Григорий Копиев

https://nplus1.ru/

Ключевые слова:
Читайте также:

Врач рассказала, почему появляются заеды на губах

Много у кого довольно часто возникают болезненные воспаления в уголках губ.
Подробнее »»

Нутрициолог рассказал, куда девается энергия и как ее восполнить

Проснулась и уже устала — знакомое состояние? Почему кто-то просыпается легко, с улыбкой и желанием жить, а кто-то перед сном мечтает о большем, но сил на реализацию вечно нет
Подробнее »»

В Украине более 20 тысяч новых случаев COVID

За минувшие сутки в Украине заразились коронавирусом 20 156 человек.
Подробнее »»

Гастроэнтеролог назвал худший вариант завтрака

Завтрак — это первый и очень приятный прием пищи. Но и он может быть неполезным.
Подробнее »»

Пять продуктов для тех, кому нужно срочно поднять настроение

«Мы – это то, что мы едим», — гласит старая мудрость. И в самом деле, правильное питание помогает нам не только выглядеть и чувствовать себя хорошо, но и быть более собранными, концентрированными, эффективными.
Подробнее »»

bigmir)net TOP 100 Яндекс.Метрика

При использовании информации в печатном или электронном виде ссылка на www.neboley.com.ua обязательна.
Интернет–издание не несет ответственность за достоверность информации, размещенной в разделах народной медицины. Предупреждаем, прежде чем воспользоваться рецептами нетрадиционной медицины обязательно посоветуйтесь с врачом.
За содержание рекламы ответственность несет рекламодатель.

Электронная почта портала: info@neboley.com.ua