Для складних жестів. У MIT створили ультразвуковий браслет, який допоможе навчати роботів рухам людської руки

Про це пише видання Interesting Engineering.

Пристрій використовує високочастотні звукові хвилі для сканування структур під шкірою зап’ястя. Зібрані дані дозволяють детально відтворювати рухи руки людини, а в майбутньому можуть використовуватися для навчання роботів виконувати побутові завдання.

Читайте также: Битви добіблійних часів. Археологи виявили 4000-річні докази війни в стародавній Месопотамії

Однією з головних проблем робототехніки є точне відстеження рухів пальців і кисті. Наявні системи мають обмеження. Камери можуть втрачати частину рухів через невдалий кут огляду або перешкоди, а носимі датчики часто обмежують рухливість або не забезпечують достатньої точності для безперервного відстеження пальців.

Новий браслет став продовженням кількох років розробок у сфері носимих ультразвукових технологій. Раніше вчені створювали пристрої для постійного моніторингу внутрішніх органів, серця, об’єму сечового міхура та кровотоку в мозку. Також були представлені гнучкі одноразові ультразвукові пластирі, які здешевлюють виробництво таких систем.

У новому дослідженні команда під керівництвом Сюаньхе Чжао представила браслет для візуалізації, здатний відстежувати будь-які положення руки. Пристрій формує детальне зображення м’язів, сухожиль і зв’язок усередині зап’ястя, що відповідають за рухи пальців і долоні.

Браслет оснащений бездротовою системою ультразвукової візуалізації на 256 каналів. Отримані дані аналізує модель штучного інтелекту Transformer-ResNet, яка розпізнає навіть незначну активність м’язів.

Читайте также: Небажані наслідки. Попередня пам’ять в ШІ може погіршувати його відповіді — дослідження Writer

Система безперервно відстежує всі 22 ступені свободи людської руки, тобто весь набір рухів суглобів, які дозволяють пальцям і долоні згинатися, повертатися та виконувати складні дії. Досягнення такого рівня деталізації тривалий час залишалося складним завданням для подібних технологій.

Під час лабораторних випробувань за участю восьми добровольців система з високою точністю відтворювала жести рук із затримкою близько 120 мілісекунд. Також дослідники продемонстрували, що браслет здатний розпізнавати всі 26 літер американської жестової мови.

Оскільки пристрій працює бездротово, користувач може дистанційно керувати роботизованими системами без прямого підключення. Для демонстрації можливостей технології команда використовувала її для маніпуляції тривимірними об’єктами у віртуальній реальності та керування роботизованою рукою, яка грала на піаніно.

Дослідники вважають, що система може бути корисною не лише для дистанційного керування роботами. Вона також здатна допомогти створювати великі бази даних рухів людської руки, які використовуватимуться для навчання майбутніх гуманоїдних роботів складним маніпуляціям.

Читайте также: Копіюють Шахед? В Німеччині представили новий ударний БпЛА