Сурдотехнологии для роботов: Ученые научили машины понимать язык жестов
В Ростове-на-Дону ученые разработали программу для управления роботом посредством жестов. Теперь российские промышленные манипуляторы могут выполнять команды оператора с такой же точностью, как и зарубежные аналоги, но без применения импортных технологий.
Дело в том, что современные коллаборативные роботы (коботы) функционируют совместно с человеком в едином пространстве. Для обеспечения безопасности и синхронизации их работы необходима система технического зрения, которая позволяет роботу распознавать местоположение оператора и его действия.
Традиционно такие системы поставляются из-за рубежа и интегрируются в оборудование. В контексте импортозамещения ученые и студенты Донского государственного технического университета разработали альтернативу - уникальный алгоритм, основанный на искусственном интеллекте.
Разработкой технологии занимается большой научный коллектив под руководством старшего преподавателя кафедры кибербезопасности информационных систем факультета информатики и вычислительной техники Марины Ждановой. Со стороны МГТУ "Станкин" в проекте принимает участие магистрант Илья Хамидуллин.
Новая технология объединяет данные с обычной камеры (RGB) и сенсора глубины. Первая фиксирует изображение, а сенсор измеряет расстояние до объектов. Такое сочетание позволяет компенсировать недостатки каждого из них, например, при слабой освещенности или потере данных о глубине. В результате обеспечивается более точное и надежное обнаружение действий. На основе собранных данных был создан дескриптор, который всесторонне описывает движения оператора.
- Дескриптор действий человека содержит информацию о взаимном расположении ключевых точек скелета человека в пространстве и времени. Алгоритм изображений видимого спектра и карт глубины строится на основе параметризованной модели логарифмической обработки изображений. Это повышает надежность и устойчивость распознавания, - рассказала Марина Жданова.
Работы над проектом продлились два года. В итоге ученые создали систему, основанную на алгоритмах компьютерного зрения и нейросетевых технологиях. Она распознает движения человека и управляет роботизированными устройствами через бесконтактный интерфейс.
Новое программное обеспечение уже готово к применению в промышленности. С его помощью можно автоматизировать погрузку, сборочные операции, окрашивание, лазерную обработку, маркировку и другие совместные операции человека и робота.
Главный акцент системы - на безопасности оператора. При этом заложенный в нее принцип управления через жесты открывает перспективы для применения в беспилотном тракторе "Донтех", делая взаимодействие с машиной интуитивно понятным. Технология будет полезна крупным корпорациям, малому и среднему бизнесу, а также лабораториям, исследовательским центрам, больницам, электростанциям и агропредприятиям, применяющим беспилотную технику и роботов.