Компьютеры учатся читать «язык тела» вплоть до движений пальцев

Почти половина всего общения людей между собой приходится на невербальные контакты, зачастую еще и слишком неточно выраженные. Для цифровой системы, которая привыкла к приему конкретных команд, это непреодолимое препятствие в налаживании диалога машины и человека. Но в Институте робототехники Университета Карнеги-Меллона думают, что нашли выход.

Захватить при помощи камеры произвольный жест нетрудно, все проблемы с их точной и быстрой интерпретацией. Система обучения состоит из трех шагов. Во-первых, компьютер не изучает поведение конкретного индивидуума, он выбирает отдельные жесты рук, ног, повороты головы и ищет их аналоги на исследуемом объекте. Например, тревожное размахивание руками – сначала находим жест, потом вычисляем, кому он принадлежит.

Чтобы создать базу данных из жестов и поз пара аспирантов часами кривлялась перед камерой, в общей сложности показав системе несколько тысяч комбинаций положений тела. Затем настал черед третьей стадии – при помощи установки Panoptic Studio из 500 камер каждая поза и отдельный жест были детально засняты с множества ракурсов, чтобы система научилась безошибочно выявлять их в разных ситуациях.

Потребовалось 31 камера сверхвысокого разрешения, чтобы захватить движение пальцев, настолько они малы и подвижны для электронного ока. Но вся эта машинерия и большая мощность нужны лишь на стадии обучения системы, в дальнейшем для «чтения» языка тела будет достаточно и простой веб-камеры, уверяют ученые. Сейчас они работают над объединением 2D и 3D моделей и распознаванием жестов отдельных людей в толпе.

Область применения новой технологии толком не очерчена, ввиду того, что доказать надежность прочтения жеста компьютером проблематично. Одно дело устроить рекламное шоу с распознаванием эмоцией толпы и совсем другое – доверить автопилоту вести электромобиль, подчиняясь небрежным взмахам ладони. А если позволить системе работать помощником судьи на спортивных мероприятиях, это и вовсе может вылиться в скандал. Попробуй, объясни кремниевому мозгу, что ты не симулировал столкновение и боль!