Специалисты Новосибирского государственного университета (НГУ) разработали программу для бесконтактного управления цифровыми устройствами с помощью жестов.
В отличие от имеющихся решений на рынке программа будет легко встраиваться в любое устройство и работать на любых доступных платформах, сообщили в пресс-службе вуза.
"В повседневной жизни очень удобно управлять своими девайсами (ноутбуком, телефоном) при помощи жестов. Например, во время приготовления еды, когда руки мокрые, а нужно, например, поставить видео на паузу, не касаясь экрана телефона. Технология распознавания жестов найдет применение и в профессиональных сферах деятельности, где нужно управлять девайсом, но при этом руки заняты. Например, в строительной или медицинской отрасли, в которых многие сотрудники большую часть времени проводят в перчатках; в автомастерских, когда руки опять же в перчатках и в масле", - цитирует пресс-служба разработчика Артема Летягина.
Разработанная программа заменяет мышь, трекпад и другие способы взаимодействия с техникой, позволяя управлять компьютером или ноутбуком при помощи жестов перед камерой. Пользователю достаточно делать определенные движения руками, которые программа распознает и преобразует в команды для компьютера. Решение делает более удобным взаимодействие с компьютерным интерфейсом и может найти применение в разных областях, например, в качестве тренажера для обучения жестовому языку.
"Добавление системы распознавания жестов в привычный образ жизни откроет перед нами много новых возможностей. У нас уже есть все инструменты для создания такой системы, остается только придумать, как правильно встроить ее в наш повседневный образ жизни", - приводит пресс-служба слова Летягина.
В настоящее время он работает над внедрением программы в работу браузера. В будущем разработчик планирует выйти за пределы браузера и предоставить возможность пользователю взаимодействовать непосредственно с интерфейсом компьютера.
Как отметили в пресс-службе существующие на рынке решения для распознавания жестов либо привязаны к определенному устройству и работают с ограниченным количеством программ, либо являются частью определенной цифровой экосистемы. Идея Артема заключается в том, чтобы создать программу для управления жестами, которую можно легко встроить в любое устройство с камерой и которая будет работать на любой платформе.
О поддержке и планах проекта
Команда НГУ выиграла грант Фонда содействия инновациям в 1 млн рублей на поддержку разработки. Алгоритм планируется тестировать на разных устройствах, поэтому часть денежных средств пойдет на комплектующие. Это позволит создать технологию, которую можно встроить в любое устройство с видеокамерой.
Сейчас программа с высокой точностью распознает четыре статических жеста, существует как программа на языке Python, как расширение в Chrome и как приложение на Windows. Основатель проекта планирует расширить функционал и улучшить методы работы искусственного интеллекта для распознавания динамических жестов. В дальнейшем это позволит программе работать на других платформах и браузерах, а также взаимодействовать со всеми интерфейсами ПК на базе Windows, Linux и macOS. Технология доступна для тестирования всем желающим, как программа на языке Python и как расширение в Chrome, Gesys имеет около 50 скачиваний в неделю.