Реферат по курсу: «Эргономическое проектирование РТС» по теме Формирование многомодальных интерфейсов при управлении манипуляторами для сборочно-монтажных работ Выполнил: Александров А.А. Москва 2022 Содержание Введение 3 1. Взаимодействие человека и роботов при операциях механической сборки 4 2. Общие сведения о многомодальном управление роботами 7 3. Тактильное взаимодействие 11 4. Речевые команды и жесты 15 5. Сигналы головного мозга 18 Заключение 23 Список источников 24 2 Введение Взаимодействие человека и робота (HRC) в контексте производства направлено на создание общего рабочего пространства, где люди могут работать бок о бок с роботами в непосредственной близости. При коллаборативном производстве роботом роботы должны адаптироваться к поведению человека, динамически изменяя свои заранее запланированные задачи. Однако используемые сегодня роботы, управляемые жесткими собственными кодами, больше не могут поддерживать эффективное сотрудничество человека и робота. Для решения таких проблем в настоящий момент активно исследуется и используется методы многомодального управления, обеспечивающий надежное совместное производство человека и робота. Они могут быть применены в качестве решений для удовлетворения потребностей в повышенной гибкости и адаптируемости, а также при более высоких затратах на обычное (повторное) программирование роботов. Эти высокоуровневые мультимодальные команды включают распознавание жестов и поз, обработку голоса и тактильное взаимодействие без датчиков для интуитивного управления при локальной и удаленной совместной работе. 3 1. Взаимодействие человека и роботов при операциях механической сборки Современные промышленные роботы-манипуляторы отличаются высокой точностью, жесткостью и скоростью, а люди обладают высоким уровнем гибкости и адаптивности, а также когнитивными способностями. Основная цель HRC - объединить человеческие возможности с эффективностью и точностью роботов. В условиях коллаборативности роботы могут поддерживать и освобождать от работы людей-операторов, облегчать разносторонние совместные операции и повышать производительность. Зачастую автоматизировання сборка сопряжена с большими усилиями при программировании и наладке традиционного промышленного робота – робот должен следовать строго заданной программой последовательности действий, поскольку малейшая ошибка может привести к поломке собираемых деталей или всего сборочного узла. Роботизированные монтажные операции часто выполняются на рабочем месте, обеспеченных специальными защитными ограждениями, при этом доступ человека в рабочую зону ограничен по соображениям безопасности. В таких условиях роботизированные сборочные ячейки способны выполнять только некоторый строго определенный круг задач, что отрицательно сказывается на гибкости и адаптивности такого типа производства. Использование HRC может способствовать повышению качества продукции и общей производительности, и впоследствии были проведены многочисленные исследования по HRC. Различные сценарии взаимодействия определяют различную степень близости для людей и роботов. Их можно классифицировать как "сосуществование", "сотрудничество" и "коллаборативность". "Сосуществование" означает 4 независимую работу над различными задачами в смежных рабочих пространствах без защитных ограждений, но не в общем рабочем пространстве. "Сотрудничество" определяет одно и то же рабочее пространство, где люди и роботы попеременно работают над разными задачи в рамках процесса, но без прямого взаимодействия. "Коллаборативность" означает, что люди и роботы одновременно работают над одними и теми же задачами в общем рабочем пространстве. Преимущества HRC суммируются следующим образом: 1. более высокая производительность и качество продукции; 2. максимальная гибкость и адаптивность, а также высокая когнитивная способность; 3. снижение рабочей нагрузки на персонал в условиях совместной работы. В области механической сборки и монтажных работ традиционный подход к автоматизации достиг некоторого потолка. То, что можно было автоматизировать, было автоматизировано, оставив остальное ручной работе людей-операторов. Учитывая преимущества HRC, активно изучается возможность использования роботов в качестве партнеров по сотрудничеству для оказания помощи людям на производстве и сборочных линиях. Например, проводится всестороннее исследование HRC при сборке, например, при сборке космонавтики и автомобилей. Между тем, сборка HRC из десяти включает в себя набор сборочных операций, начиная с планирования сборки и задачи распределение на выполнение задач и действия робота. Сложная сборка может быть разложена на набор сборочных операций, каждая из которых ассоциирована и определена как элементы сборки (AFs), такие как размещение, вставка и сварка. Комбинация набора AFS может быть использована для описания плана задачи сборки, а также задача сборки определяется логикой сборки, 5 которая определяет последовательности сборки задачи. Поэтому для облегчения сборки HRC разрабатываются различные подходы, использующие планирование сборки на основе AF. Безопасность в любой системе HRC имеет первостепенное значение. Для обеспечения безопасных параметров HRC были разработаны надежные решения по обеспечению безопасности в роботизированных лабораториях. Однако проблема безопасности остается самым большим препятствием для широкого использования HRC в цехах некоторых заводов. Кроме того, для этой цели разрабатываются строгие и всеобъемлющие стандарты и директивы. Директивы ЕС ориентировочные общие стандарты и стандарты на роботов разработаны для гарантии безопасности процедур эксплуатации. Учитывая требования безопасности к HRC, был выпущен новый стандарт безопасности для HRC (ISO/TS 15066:2016), который определяет требования безопасности для систем совместной работы промышленных роботов и рабочей среды [7]. Соответствует последнему стандарту безопасности ISO/TR 23482-1:2020, в нем описываются методы, которые могут быть использованы для тестирования роботов личной гигиены с точки зрения требований безопасности, определенных в ISO 13482 [39]. Соответственно, были исследованы стратегии безопасности, которые в основном учитывают три типа безопасности роботов, и они определены как аварийная, активная и адаптивная безопасность. Первые два работают только для "безопасных"/контролируемых столкновений и своевременного обнаружения неминуемых столкновений соответственно. Последнее заключается в вмешательстве обеспечения, а затем в принятии мер. 6 в работу аппаратного 2. Общие сведения о многомодальном управление роботами Индивидуальные или сложные сборочные операции часто должны выполняться с высоким уровнем гибкости и адаптивности на сборочных линиях HRC по сравнению с полностью автоматизированной или чисто ручной сборкой. Последнее требует либо больших усилий по программированию робота в условиях меняющейся рабочей среды, либо тяжелого ручного труда. Кроме того, роботы, используемые сегодня при сборке HRC, часто управляются предварительно сгенерированными жесткими кодами, а традиционное программирование роботов и необходимые экспертные знания для перепрограммирования роботов также остаются проблемой для широкого использования HRC в области сборки. Параллельно изменения в среде HRC могут вызвать перепрограммирование и перепланирование задач во время сборки. Для использование поддержки эффективного человеческих команд HRC активно развивается для облегчения интуитивного управления роботом и эффективной сборки HRC, поскольку учебные курсы по программированию роботов часто отнимают много времени. В последние годы мультимодальное программирование роботов считается многообещающим инструментом для интуитивного управления роботом без специальных экспертных знаний по программированию роботов. Параллельно развитие сенсорных технологий было использовано для внедрения роботизированных/автоматизированных систем с возможностью восприятия и когнитивных функций в производственных условиях. Модальности восприятия часто облегчаются за счет одновременного использования различных датчиков между людьми и роботами, а взаимодополняющий характер различных модальностей восприятия мотивирует рассмотрение мультимодального объединения данных для 7 повышения эффективности в продвижении сборки HRC. Как один из наиболее эффективных инструментов коммуникации, голосовые команды широко применяются для облегчения интуитивного программирования и управления роботом. Проект MORPHA продемонстрировал результаты фундаментальных исследований использование речевых и сенсорных инструкций для управления роботом и последующая исследовательская деятельность в области интуитивного управления и программирования для промышленных и сервисных роботов. Параллельно рассматривается использование как естественного распознавания жестов в качестве канала связи при проектировании мультимодального интерфейса человек-робот, и тогда операторы-люди могут использовать как естественный язык, так и жесты для взаимодействия с исследований проекта SMErobot использования речевых и мобильным роботом. Результаты продемонстрировал потенциал жестовых инструкций в интуитивном программировании промышленных роботов. Кроме того, сочетание распознавания речи с другими способами управления, такими как тактильное управление, рассматривается как эффективное средство для интуитивного взаимодействия с роботами, работающими совместно, например роботы Universal и KUKA. Отчет проекта ЕС SYMBIOTIC демонстрирует симбиотическую систему HRC, управляемую голосовыми командами и производства, жестовыми где инструкциями операторы могут в условиях интуитивно сборочного работать с промышленными роботами для выполнения сборки задачи. Шумный фон в производственном контексте остается важным фактором, ограничивающим использование голосовых команд с точки зрения точности распознавания в рамках онлайн-демонстрации. С этой целью исследуются человеческие жесты, невербальный канал связи для интуитивного 8 которые работают как программирования и управления роботом. Учитывая жесты, используемые в HRC, их можно классифицировать как жесты рук, головы и лица, а также жесты тела. Между тем, учитывая намерение, скрытое в жесте, их также можно разделить на коммуникативные и манипулятивные с точки зрения их характера. Первое может описывать коммуникативное намерение, в то время как второе может использоваться для манипулирования объектом, такого как перемещение, вращение и деформация. В контексте HRC коммуникативные жесты делятся на символы или действия, которые обычно используются для интуитивного программирования роботов. Символические жесты помечены с лингвистическими функциями с помощью референтных символов или модальных функций, а жесты действия изображают само движение/действие, которые были исследованы для прогнозирования движений человека и действий в сочетании с алгоритмами искусственного интеллекта. Голосовые и жестовые команды изначально выдаются и контролируются человеческим мозгом. Это вдохновляет на рассмотрение использования сигналов мозговых волн для управления устройствами и манипулирования ими. Для этой цели были разработаны интерфейсы мозг-компьютер (BCIS), которые собирают сигналы мозговых волн и позволяют операторам-людям взаимодействовать с устройствами. То потенциал мозговой деятельности измеряется с помощью электроэнцефалографии (ЭЭГ) сигналы через сенсорные гарнитуры. Таким образом, коммерческая разработка и применение устройств, используемых для BCI, привлекли внимание, и были разработаны различные сенсорные гарнитуры, встроенные в разные каналы, и использовались для взаимодействия человека с машиной/ компьютером. Сообщается о всестороннем исследовании анализа сенсорных 9 производительности набора гарнитур ЭЭГ, в котором предлагаются критерии для надлежащего выбора и использования устройств. Было предпринято множество исследовательских работ по алгоритмам классификации сигналов ЭЭГ, таким как CNNs, рекуррентные нейронные сети (RNNs) и графовые нейронные сети (GNNs), а также их варианты. Кроме того, тактильные инструкции, как команды на основе контактов, обеспечивают мультимодальную поддержку сборки HRC в качестве альтернативы командам на слух, жесты и мозговые волны. Сверхмощные промышленные роботы часто не имеют мощность обратной связи по силе/крутящему моменту. Для тактильного управления роботами подход к взаимодействию без датчиков считается перспективным для этой цели и основан на точной оценке силы контакта и адаптивном управлении роботом. Их можно разделить на: 1) обобщенный остаточный метод, основанный на импульсе, с действительными параметрами инерции 2) наблюдатели / оценки силы, основанные на возмущениях ; 3) методы оценки силы, основанные на сигнале тока к двигателю; 4) подходы, основанные на точных обратных динамических моделях робота с точной идентификацией базовых параметров. Однако на эти подходы, основанные на моделях, немоделированные эффекты и параметрическая неопределенность. 10 влияют 3. Тактильное взаимодействие Роботы играют важную роль в производстве, особенно в области сборки, но они намного отстают от людей с точки зрения приспособляемости и гибкости. Сложная сборка предъявляет высокие требования к гибкости и адаптивности, в то время как полностью автоматизированная сборка с помощью роботов или чисто ручная сборка не могут быть выполнены в одиночку. Решение для сборки с помощью робота, но управляемое человеком, является многообещающим в управлении такими сложными процессами сборки по сравнению с полной автоматизацией, где гибкость и адаптивность человека могут сочетаться со скоростью, точностью и управляемостью робота. Однако большинство решения по сборке HRC в значительной степени зависят от дополнительных вспомогательных систем, например, датчиков силы или тактильных устройств, для управления внешними силами, прилагаемыми к роботу. К сожалению, большинство промышленных роботов большой мощности не имеют встроенных датчиков силы/ крутящего момента. Установка датчиков для роботизированных систем оказывается невозможной из-за стоимости датчиков Бессенсорная и сложности механической интеграции. тактильно-управляемая робототехника открывает возможности для решения таких задач. На рис. 16 показан обзор конструкции системы для тактильного управления промышленным роботом. 11 Рис. 1 Как показано на рис. 1, сенсорное тактильное управление промышленным роботом включает в себя модули HRC и KRC (KUKA Robot Controller), модуль кинематики и динамики, модуль управления роботом и модуль связи. В модуле HRC и KRC разработана стратегия тактильного управления без датчиков для управления роботом по тактильной команде от человека. KRC отвечает за выполнение команд движения и управления. KRC не открыт для пользователей роботов, и доступные данные обратной связи от контроллера робота - это только положение сустава и крутящий момент. Фактическое положение робота, зависящее от оси, и текущий крутящий момент двигателя на оси хранятся в системной переменной $AXIS_ACT_MEAS и $TORQUE_AX-XIS_ACT, соответственно. Для получения доступа к данным обратной связи и отправки команд движения в KRC связь между человеко-машинным интерфейсом (HMI) и KRC построена на основе кроссплатформенного интерфейса связи с открытым исходным кодом JOpenShowVar, который позволяет считывать и записывать переменные и данные управляемых манипуляторов. Модуль кинематики и динамики отвечает за кинематические и динамические моделирование промышленного робота. Геометрические параметры промышленного робота определяются с помощью модифицированных систем координат на основе DH (Denavit–Hartenberg). Скорость и ускорение соединений определяются 12 разницей имеющихся совместные позиции. Полученные данные обратной связи (положения шарниров и крутящие моменты), скорость и ускорение промышленного робота фильтруются, чтобы уменьшить влияние шума, создаваемого дифференциалом. Встроенная кинематическая модель используется для передачи между положения соединений в пространстве соединений и положения конечного эффектора в декартовом пространстве, в то время как динамическая модель используется для получения выходных данных управления. Уравнение динамики робота сформулировано в виде линейной идентификационной модели с определенными входными данными (положения суставов, скорости, ускорения и крутящие моменты). Кроме того, трение в суставах робота также учитывается в динамической модели для повышения эффективности управления. Следующим шагом для сенсорного тактильного управления является внешний определение силы / крутящего момента, которое является ключевым, а также обязательным условием роботизированного тактильного управления. Выходные данные динамической модели робота определяются как прогнозируемые крутящие моменты, в то время как данные обратной связи о моментах соединения, полученные от контроллера робота, являются измеренными крутящими моментами. Если человек-оператор не прикладывает никакого усилия к конечному эффектору робота, внешняя сила не обнаруживается, и прогнозируемые крутящие моменты равны измеренным. Когда человек-оператор прикладывает усилие к роботу, внешняя сила, вызванная этим, может быть обнаружена модулем внешнего обнаружения, где внешняя сила определяется как разница между прогнозируемой силой и измеренной силой. Прогнозируемая сила может быть рассчитана с помощью матрицы Якоби на основе полученных совместных моментов. 13 Роботизированное управление заключается в том, чтобы заставить робота двигаться, когда человек-оператор прикладывает к роботу внешнюю силу. В роботизированном управлении адаптивный контроллер допуска предназначен для передачи внешней силы в исходное положение и скорость, которые определяются как выходные данные управления. Чтобы обеспечить взаимодействие между роботом и для человека более естественно и проще, адаптивные параметры допуска приняты в контроллере. Выходные команды управления отправляются на контроллер робота для перемещения и выполнения задачи. Пример применения тактильного управления манипулятором представлена на рис. 2. Рис. 2 – Процесс обучения показом манипулятора для сборки двигателя внутреннего сгорания манипулятором 14 4. Речевые команды и жесты Голосовые инструкции, как естественное и эффективное средство коммуникации, могут быть приняты как способ взаимодействия человека и машины. Роботизированная сборка требует многих операций управления захватом, и это потребовало бы большого объема роботизированного программирования, особенно при изменении условий сборки. Чтобы позволить людям работать параллельно с роботами, жесты рук, как невербальный / контекстно-зависимый канал связи, могут быть использованы для управления захватами роботов. CNN хорошо справляется с выявлением закономерностей, лежащих в основе изображений, что делает их эффективными при классификации спектрограмм, связанных с голосовыми командами. Для этой цели представлена схема глубокого распознавания голоса на основе CNN, как показано на рисунке 3, и она начинается с преобразования аудиоданных в 2-D (мерные) спектрограммы в частотно-временных диапазонах с помощью кратковременного преобразования Фурье. Это связано с тем, что спектр аудиоданных имеет большое значение как с точки зрения информации о времени, так и с точки зрения частоты, а затем с использованием CNN для извлечения локального паттерна (отношения) благодаря распределению веса возможно надежное и безотказное распознавание голоса. Затем сгенерированные изображения определяются как входные данные модели deep CNN. Модель CNN включает в себя операции свертки, максимального объединения, плотной и плоской обработки, за которыми следует полностью подключенный слой для вывода конечных результатов. 15 Рис. 3 – Структура CNN Обучающий набор данных для распознавания речи создан командами AIY и TensorFlow. Набор данных включает в себя набор из 105 829 односекундных аудиофайлов с 30 словами. Учитывая управление движением в декартовом пространстве, выбираются шесть типов голосовых команд: "Влево", "Вправо", "Вверх", "Вниз", "Вперед" и "Назад", а общее количество выбранных аудиофайлов, используемых для обучения, составляет 18 440. Наконец, выводятся классифицированные результаты набора голосовых данных, и точность классификации тестового набора данных составляет 92,47%. В естественной среде общения речевые сигналы обычно сопровождаются коммуникативными жестами. Жесты рук как форма невербального канала связи используются для управления роботом вместе с речевыми командами. Для повышения эффективности роботизированной сборки можно использовать управление захватом робота на основе жестов рук. Для этого обычно используется специальный датчик Leap Motion для сбора данных о жесте и 16 движении руки, которые используются для представления человеческих рук в реальном времени. В системе координат датчика как показано на рис. 4 жест руки изображается тремя компонентами в трехмерном пространстве, и они представляют собой положение кончика пальца и центра ладони, а также ориентацию руки, которая обозначается компонентами, параллельными пальцу и перпендикулярными плоскости ладони, соответственно. Затем набор векторов признаков, состоящий из расстояния, угла и высоты кончиков пальцев, генерируется из данных , полученных датчиком, и служит входными данными обучающей модели на основе LSTM для классификации жестов. Рис. 4 – Распознавание жестов с помощью датчика Leap Motion Рис. 5 – Управление схватом робота с помощью жестов 17 5. Сигналы головного мозга Чтобы освободить человека от утомительного традиционного программирования роботов, в последние годы было проведено множество исследований по интуитивному управлению роботами, и мозговые волны человека показали многообещающие преимущества по сравнению с тактильными, голосовыми и жестовыми командами. Эти человеческие инструкции изначально выдаются и контролируются человеческим мозгом, но в различных формах. Поэтому возникает исследовательский вопрос: почему бы не использовать сигналы мозговых волн для непосредственного управления роботами? Поэтому исследуются интерфейсы мозг-робот, позволяющие людям общаться и взаимодействовать с роботы посредством сигналов мозга, а также используются для преобразования мозговой деятельности в форме электроэнцефалографии (ЭЭГ) в команды управления роботом. Внешний стимул, такой как двигательные образы и наглядные пособия, обычно используется для сбора сигналов ЭЭГ, когда изменение активности мозга происходит из-за самого стимула [71]. Однако основанный на стимулах подход к сбору ЭЭГ является сложным в динамичном, но ограниченном собрании HRC из-за физических ограничений условий совместной работы. В рамках brain robotics надежная и точная трансляция ЭЭГ-сигналов без стимулов жизненно важна для надежной совместной сборки на заводе полы в магазинах. Во время этого процесса он включает в себя извлечение и распознавание мозговых волн, декодирование нейронной активности и перевод сигналов ЭЭГ в управляющие команды, которые роботы могут понимать для операций сборки. Чтобы идентифицировать паттерн сигнала, сообщалось о многих исследовательских усилиях, таких как двигательные образы, P300 и классификация стадий сна. 18 Наиболее очевидный подход заключается в использовании сгенерированных характеристик сигнала в качестве входных данных и глубоком обучении для обучения и распознавания паттернов. Затем используется канал связи между людьми и сенсорной гарнитурой ЭЭГ для взаимодействия с помощью мозговых волн и устройств в условиях совместной работы. Однако неопределенность в среде HRC во время сборки, такая как изменение задачи и / или окружающей среды, может вызвать большие усилия по перепрограммированию и перепланированию задач сборки, а адаптивное управление роботом с помощью мозговых волн остается проблемой и препятствует широкому использованию HRC при сборке. Кроме того, мозговые волны не могут быть непосредственно поняты роботом, а преобразование мозговых волн в команды для управления роботом и выполнения задач затруднено на уровне машины/ контроллера. Чтобы решить эту проблему, FBs представлены стандартом IEC 61499 и широко используются для управления распределенными промышленными системами и процессами. Управляемый событиями FB изображается функциональным модулем, встроенным в инкапсуляцию алгоритма, вызов и выполнение управления, а также адаптивное управление роботом во время сборки робота может быть облегчено с помощью FBs. В системе HRC мозговые волны могут служить командой высокого уровня для запуска выполнения FB для управления роботом, а управляемые событиями FB с алгоритмами сборки и управления служат связующим звеном между роботами и мозговыми волнами. Один из пример реализации многомодального интерфейса для управления роботизированной сборочной ячейкой представлен на рис. 6. 19 Рис. 6 – Структура системы управления роботизированной сборкой при помощи мозговой активности Структура системы управления включает в себя четыре модуля для эффективной сборки HRC, при этом мозговые волны служат управляющими входными командами для FBS, которые, в свою очередь, обеспечивают микрокоманды для адаптивного управления роботом и совместной сборки. Модуль 1 предназначен для сбора мозговых волн с сенсорной гарнитуры ЭЭГ и сегментации мозговых волн командной фразы с удалением фонового шума в командные слова. Модуль 2 использует вейвлет-преобразование для преобразования мозговой волны во входные данные объектов для сверточной нейронной сети с пространственно-временными графами (STGCN). Модуль 3 представляет собой сеть FB, в которую встроены алгоритмы управления, активируемые классифицированными командами, а FB на основе функций сборки (AF) определяются и используются для совместной сборки, где мозговые волны преобразуются в команды управления роботом. Модуль 4 принимает и выполняет результирующие микрокоманды для управления роботом и выполнения задач сборки. 20 На рис. 7 показана практическая реализация алгоритма мозгового управления манипулятором при сборочной операции. Процесс сборки состоит из 6 контрольных этапов. Шаг 1 начинается с мозговой команды "робот разместит цилиндр". СИФБ (SEVER) передает записанные сигналы ЭЭГ в классификатор, и сигналы командных фраз сегментируются на командные слова субъекта, сказуемого и объекта соответственно. Извлеченная матрица признаков сигналов служит в качестве входных данных для модели STGCN, за которой следует вывод классифицированных результатов. Это контекстно-зависимые командные слова ‘робот’, ‘место" и "цилиндр" с точностью классификации 84,26%, 81,52% и 85,11% соответственно, и компоненты "предикатов" определены как запускающие события для определенного FBs. Значения субъектов и объектов, которые содержат информацию исполнителя (робота) и детали (цилиндра), присваиваются переменным PRobot и PPart соответственно. Последний определяет информацию о положении цилиндра и блока цилиндров, а также положение захвата цилиндра в роботизированной системе координат. Событие ‘Place’ активирует выполнение ‘Place AF FB’, как показано на шаге 2 . В рамках FB, the алгоритмы захвата и управления движением выполняются для генерации действительных команд управления, которые выполняются на контроллере робота через CLIENT SIFB. Затем, выполняя эти команды, робот перемещается к головке блока цилиндров и захватывает ее с допуском в миллиметр, как показано на вставке. Шаг 3 управляет роботом для установки головки блока цилиндров на блок двигателя, а человек-оператор параллельно работает с роботом для регулировки цилиндра. 21 Рис. 7 – Управление роботизированной сборкой посредством сигналов головного мозга 22 Заключение В этой работе были рассмотрены основы многомодального управления при взаимодействии человека и робота в операциях механической сборки. Многомодальное управление обеспечиваемое четырьмя способами управления. Первый заключается в использовании голосовых команд для управления движением робота в декартовом пространстве, и алгоритмы предназначены для обработки и классификации голосовых команд, а также перевода действительных команд движения робота. Второй заключается в использовании невербальных команд (инструкций по жестам рук) для управления захватом робота в сборке HRC, а высокоточная система классификации обучается распознавать шаблоны жестов, чтобы команда жеста руки может быть связан с действительной командой управления захватами робота. Третий способ управления заключается в применении мозговых волн для интуитивного управления промышленными роботами и содействия совместной сборке, особенно в шумных средах с ненадежным распознаванием голоса или в условиях, когда операторы заняты другими задачами и не могут совершать жесты. Новая схема макро/микроконтроля для сборки HRC реализуется функциональными блоками, запускаемыми командами из системы глубокого обучения, обрабатывающей ЭЭГ. Последний - это подход к сборке HRC с тактильным управлением без датчиков, который управляется человеком устройства для тактильного управления промышленными роботами без использования дополнительных датчиков во время совместной сборки. Он предлагает мультимодальную поддержку сборки HRC в качестве альтернативы бесконтактным командам. 23 В целом использование многомодальных методов управления является достаточно перспективным направлением развития коллаборативных робототехнических систем в силу высокого уровня гибкости и адапативности. Список источников 1. Liu, Sichao & Wang, Lihui & Wang, Xi. (2020). Symbiotic Human-Robot Collaboration: Multimodal Control Using Function Blocks. Procedia CIRP. 93. 10.1016/j.procir.2020.03.022. 2. Wang, Lihui & Liu, Sichao & Liu, Hongyi & Wang, Xi. (2020). Overview of Human-Robot Collaboration in Manufacturing. 15-58. 10.1007/978-3-030-46212-3_2. 3. Liu, Hongyi & Fang, Tongtong & Zhou, Tianyu & Wang, Yuquan & Wang, Lihui. (2018). Deep Learning-based Multimodal Control Interface for Human-Robot Collaboration. Procedia CIRP. 72. 10.1016/j.procir.2018.03.224. 24
