Наручный датчик в виде часов переводит язык жестов в английские слова

Хитроумное изобретение Рузбеха Джафари в виде похожего на часы устройства на ремешке для ношения на руке предназначено для тех, кто использует Американский язык жестов (ASL) — оно переводит все создаваемые с помощью рук и запястья жесты в письменный английский. Затем слова отправляются на смартфон любого пользователя, не имеющего навыков чтения ASL

Устройство использует Bluetooth для передачи данных от двух видов датчиков на компьютер, где они декодируются. Именно датчики делают такую систему умнее по сравнению с другими вариантами, особенно с распространёнными громоздкими системами видео камер, которым мешает слабая освещённость и постоянно требуется определённая фокусировка.

Датчики движения, вроде тех, что установлены в смартфонах, применяются в комбинации  с электромиографическим датчиком, измеряющим электрическую активность в мышцах. Это даёт больше представления о движениях как рук, так и предплечья, в сочетании с подробным обзором движений пальцев и запястья. Такое сочетание данных позволяет системе улавливать и интерпретировать мельчайшие различия между схожими жестами.

Профессор Техасского университета A&M Джафари хочет сделать устройство достаточно миниатюрным, чтобы его было удобно носить, и при этом декодированные слова можно будет отправлять прямо на собственный смартфон пользователя. «Носимые устройства дают очень интересную возможность в плане тесного контакта с телом человека, — сказал Джафари в редакции новостей университета. — Поскольку они закреплены на нашем теле, они получают немало информации о нас в течение дня и могут предоставить нам её по каналу обратной связи в нужное время. Учитывая это, мы хотели разработать устройство в виде наручных часов».

Часы кажутся идеальным вариантом для реализации технологии. Например, в часах Apple Watch уже содержится большая часть аппаратных средств, необходимых для устройства Джафари — акселерометры и гироскопы для фиксации движений, а также Bluetooth для связи с мощным компьютером (iPhone), необходимым для интерпретации данных в слова. Не хватает только электромиографических датчиков.

Сейчас прототип устройства способен распознавать 40 слов ASL, а его безошибочность достигает 96 процентов. Поэтому большая часть времени, по всей видимости, уйдёт на добавление новых слов. По данным Википедии, в настоящее время в мире используется около 300 различных языков жестов, так что через какое-то время устройство возможно будет готово для повседневного международного использования.