Лекция А. С. Ющенко на конференции Skolkovo Robotics 2014

1. Человек и робот – от управления к
диалогу
Ющенко Аркадий Семенович, д.т.н., проф.
МГТУ им. Н.Э.Баумана,
Научно-учебный Центр «Робототехника»

2. При выполнении опасных и ответственных операций
«интелектуальным» роботом необходимо участие
человека. Возникает Эргатическая (человеко-машинная)
Робототехническая Интеллектуальная Система (ЭРИС)
•Спасательные операции
•Борьба с проявлениями терроризма
•Мониторинг окружающей среды и объектов технической
инфраструктуры
•Охрана помещений и территорий
•Медицина – диагностика, хирургия и реабилитация
•Сервисная робототехника
•Дистанционное управление роботами в космосе и под
водой

3. Сегодня существует две ветви развития
Эргатических Робототехнических Систем:
 Дистанционное управление с
очувствлением (виртуальная реальность)
 Диалоговое (речевое)управление
 Совместное применение диалогового и
«очувствленного» дистанционного
управления

4. Пример телеуправления
Justin Teleoperation
Это система очувчтвленного копирующего
управления (Master- slave)
DLR Telepresence & VR Group

5. Application Areas of Haptic Interface
Применение систем с
очувствленным интерфейсом

6. Экзоскелет НAL-5 с управлением от биотоков
мышц

7. В ряде случаев непосредственное
управление движениями нецелесообразно:
 Экстремальные условия (пожар,
техногенная катастрофа)
 Космические манипуляторы
 Спасательные роботы
 Роботы для охраны помещений
 Мониторинг окружающей среды

8. Space Robot Teleoperation
Need to consider time-delay

9. 


В таких случаях необходимо использовать
прямой речевой диалог.
Возможны и ситуации, когда речевой
диалог дополняет сенсорный контакт
человека и робота.
Робот и человек становятся
равноправными партнерами процесса
(кооперативное управление)

10. Эргатическая система
с сенсорной и речевой обратной связью
Сигналы управления
Речевая команда
Человек-оператор
Сенсорная
обратная
связь
интерпретатор
Робот- ассистент
Обработка
сенсорной
информации
Речевая
обратная
связь
Планирование
диалога
Это система кооперативного управления
Master - assistant

11. Teleoperation of a surgery robot via Internet.
Jee-Hwan Ryu
Korea University of Technology and Education
University of Washington
Seattle/USA

12. Медицинский робот для проведения
хирургических операций Da Vinci
Пост управления
Манипуляторы
Рабочий инструмент
Сенсоры
Человек-оператор

13. 
Описание внешнего мира и текущей
ситуации
с помощью нечетких отношений и с
использованием лингвистических
переменных.
Задачи ориентации и распознавания

14. Естественные пространственные отношения определяются путем
экспериментального анализа восприятия этих отношений человеком
Шкала расстояний, оцениваемая экспертами (Поспелов Д.А.,Литвинцева Л.В.,
Кандрашина Е.Ю., 1989)
Функции принадлежности лингвистической переменной «расстояние»
(Количество значений функций принадлежности
определяется психофизиологическим правилом Миллера 7±2 )

15. Нечеткие экстенсиальные пространственные отношения
между объектами внешнего мира
Лингвистическая переменная dj, j = 1,2,…,M «дистанция между объектами а и б»
j = 6- «очень очень далеко», j = 5- «очень далеко», j = 4- «далеко», j= 3«недалеко- неблизко», j = 2 «близко», j = 1«очень близко»,
j = 0- «вплотную»
(а1 dj а2) & (а1 di а3) & (j=i+1) - а2 дальше от а1, чем а3 от а1,
(а1 dj а2) & (а1 di а3) & (j=i-1) - а2 ближе к а1, чем а3
(а1 dj а2) & (а1 di а3) & (j > i+1) - а2 значительно дальше от а1, чем а3
Лингвистическая переменная fi, i=1,2,…N –
«направление от объекта а к объекту б»: f1 - впереди, f2- впереди слева, f3
- слева, f4 - сзади слева,
f5 - сзади, f6- сзади справа, f7 - справа, f8 впереди справа;
Отношения, описывающие нечеткое взаимное положение объекта а2
относительно объекта а1
(a1 f2a 2) – «а2 впереди слева», (a1 f8 a2) –«а2 – впереди и справа».
(a1 d4 a2)&(a1 f7 a2) = (a1 d4 f7 a2) - «а2 далеко, и справа от а1»

16. Нечеткие интенсиальные пространственные отношения
между объектами внешнего мира
Базовые отношения:
Унарные:
R1- Иметь горизонтальное положение
R2- Иметь вертикальное положение
Бинарные:
R3- соприкасаться, R6-быть на одной
прямой,
R9- иметь точку
опоры
R4- быть внутри, R7-быть на одной плоскости
R5- быть вне
R8- быть в центре,,,…
Производные отношения:
⌐ R3- не соприкасаться,
R10 – стоять на а2: (а1 R2) &(а1 R9 а2)=(а1 R10 а2)
Составные отношения, описывающие нечеткое взаимное
положение объекта а1 относительно объекта а2
(a1 R10 а2) &(a1 d4 f7 a3) – «а1 стоит на а2 далеко справа от а3»

17. Нечеткие пространственные отношения используются
для формирования языка описания ситуаций
Лингвистическая форма описания
А1
стоит
Контролируемый
объект
на
поверхности S
Интенсиальное
отношение
Далеко справа
Экстенсиальное
отношение
Семиотическая форма описания:
<(A1 R8 S)& (Ao d5 f7 A1)>
Ao – наблюдатель,R8 – быть на поверхности,
d5 – быть далеко, f7 - быть справа
Ситуация эргатически наблюдаема, если оператор может по лингвистической
информации, дополненной показаниями информационно-сенсорной системы
составить адекватное представление о текущей ситуации.

18. Сегментация трехмерной сцены
Алгоритм сегментации
Сегментация рабочей сцены робота

19. Использование пространственной модели сцены
позволяет провести нечеткую классификацию типовых
объектов по определенным параметрам:

20. Использование пространственной модели сцены
позволяет провести нечеткую классификацию типовых
объектов по нечетким признакам, задаваемым оператором
• «Высота объекта»
{“Высокий”, “Средней высоты”, “Низкий”}
• «Ширина объекта»
{“Протяженный”, “Компактный”}
• «Дальность до объекта»
{“Опасная близость”, “Безопасная дальность”, “Дальняя
граница зоны видимости” }
Значения лингвистических переменных определяются в
соответствии с габаритами самого робота и особенностями
обстановки
Принятие решения о типе объекта по совокупности признаков – по
методу Мамдани

21. Продукционные правила для определения типа
объекта по нечетким признакам
• «Блок – невысокий, компактный объект»,
• «Порог – протяженный низкий объект»,
• «Левый угол – высокий, либо средней высоты объект
слева от робота»,
• «Правый угол – высокий, либо средней высоты
объект справа от робота»,
• «Стена – протяженный высокий объект в центре поля
зрения»
Володин Ю.С., Михайлов Б.Б., Ющенко А.С., 2011

22. Функции принадлежности нечетких множеств по высоте
и по углу курса для мобильного робота зависят от
дистанции

23. Таким образом, функции принадлежности нечетких
множеств с учетом перспективы являются
трехмерными

24. Рефлексивные движения мобильного робота на
исполнительном уровне могут быть заданы системой
правил-продукций с использованием лингвистических
переменных дистанции и ориентации, в том числе:
•Подойти к стене (и остановиться)
•Двигаться параллельно кромке тротуара,…
•Проехать «в ворота»
•Объехать препятствие
•Преследовать движущийся объект
• ………………………………………..
Каждое рефлексивное движение задается системой правил-продукций,
содержащихся в базе знаний робота
Команда на выполнение движений задается оператором, или верхним уровнем
системы управления

25. Управление мобильным роботом на
исполнительном уровне
Нечеткие правила принятия решения задаются
оператором, исходя из опыта. Настройка параметров
обычно проводится экспериментально

26. Примеры нечетких правил движения робота- преследование объекта
(вход – дистанция и ориентация, выход – линейная и угловая скорость).
Дефаззификация проводится методом Мамдани
Правила поведения формулируются человеком,
исходя из собственного опыта:
Если дистанция малая и цель впереди, то двигаться медленно, прямо
Если дистанция малая и цель впереди справа,то двигаться медленно и
немного поворачивать направо
………….
Если дистанция большая и цель впереди, справа, то двигаться быстро и
немного поворачивать направо
Если дистанция большая и цель справа, то двигаться медленно и быстро
поворачивать направо
………………………

27. Рефлекторные движения мобильного робота на
исполнительном уровне могут быть заданы системой
правил-продукций с использованием лингвистических
переменных дистанции и ориентации, в том числе:
•Подойти к объекту (и остановиться)
•Двигаться параллельно (к стене, кромке тротуара,…)
•Проехать «в ворота»
•Объехать препятствие
•Преследовать движущийся объект
• ………………………………………..
Каждое рефлекторное движение задается системой правил-продукций,
содержащихся в базе знаний робота
Команда на выполнение движений задается оператором, или верхним уровнем
системы управления

28. Описание ситуации с помощью нечетких пространственных
отношений, определяет «нечеткое описание ситуации», аналогичное
её описанию человеком (согласование модели внешнего мира)
<Близко, впереди и
слева объект а2 >
Заводская
труба
Одинокая
сосна
<a2d2f2a7>
а2
<a1d1f1а2>
11
<Близко, слева
объект а6 >
<Далеко, впереди
объект а2 >
Мобильный
робот
а3
а1
<a6d6f6a1>
а7
2
а4
а6
а5
Кирпичное
здание
Ющенко А.С., 2004
По «нечеткой карте» (отношениям
между а1 – а6) и наблюдаемым
объектам можно вычислить нечеткое
отношение к невидимому объекту а6

29. 
Описание выполняемых роботом
манипуляционных операций как
допустимых преобразований на
построенной нечеткой модели внешнего
мира

30. Фрейм элементарной манипуляционной операции задается на построенной
выше модели внешнего мира и определяет синтаксис команд целеуказания. В
слотах фрейма используются лингвистические переменные
< имя операции >
< исходная ситуация >
< целевая ситуация >
< предусловия >
< перенести объект А >
< А на Б > или < А справа, рядом от наблюдателя А0 >
< А стоит на поверхности S >
< предусловия
Ситуационные: на объекте А не находится любой другой объект
& требуемые для захвата объекта положение и ориентация схвата
манипулятора являются допустимыми
Технические: робот имеет захват, соответствующий типу
объекта и его размерам & вес объекта не превышает
грузоподъемности робота
Объектные: объект является твердым телом и может
выдержать без разрушения усилие развиваемое при захвате>

31. Элементарные операции непосредственно выполняются
роботом если выполнены предусловия. В противном случае
формируется запрос оператору
Сложная операция представляет собой цепь согласованных
между собой элементарных операций: постусловия n-й
операции являются предусловиями n+1-й операции
Планирование операций – это создание цепи согласованных
элементарных операций, приводящих к достижению цели
O1
S1
O2
S2
On-1
S3
.
Sn
Планирование основано на методе разрешения
противоречий (Магазов С.С.,2007)

32. Планирование элементарных операций методом
разрешения противоречий (Магазов С.С.,2007)
Примеры:
(1) Цель: объект a1 на поверхности S. В действительности (по
наблюдениям видео-системы)): объект a1 не находится на
поверхности S .Операция: Переместить a1 на S.
Цель: (a1 R8 S) По факту: (a1 ⌐ R8 S)
Переместить a1 на S.
(2) Цель: Вал a1 внутри втулки C: (a1 R2 C). По факту: (a1 ⌐ R2 C)
Операция: Вставить a1 в C
(3) Целевое положение мобильного робота R по отношению к
наблюдателю O есть (R d1 f1 O). Фактическое положение: (R d2 f2 O).
Операция: Переместить R в положение (R d1 f1 O).

33. Пример, когда разрешение противоречий за одну элементарную
Пример задачи требуется планирование операций
операцию невозможно и планирования операций
Цель операции: установить В на С2 с заданной
ориентацией.
Исходная ситуация : на В С1^ на А В ^ на Б В ^ свободно
А ^ свободно Б ^ не свободно В
Целевая ситуация: на В С2 ^ на Б С1 ^ на А С1 ^свободно
В ^ свободно Б ^свободно А
Б
А
В
С1
С2

34. Условия
i=1
Цель
Анализ
про тиворечий
цели и ситуации
Генерация
Э О, i = 2
Предусловия
Э О, i = 2
Анализ противоречий
предусловий и ситуации
Генер ация Предус ловия Анализ противоречий
Э О, i= 3
ЭО, i = 3
предус ловий и ситуации
Свободно Б
Граф, описывающий последовательное разрешение
противоречий и позволяющий сформировать план
сложной операции
Свободно В
На В С2
На А С11
На А С
На Б С1
На Б С1
Ситуация
Убрать В
на С2
В с хвате В
ВНа Б С1
Свободно А
Свободно Б
Не свободно В
На В С1
Убрать А
на С1
Убрать Б
на С1
На Б В
На А В
Своб. с хват
ссссссхват
Ющенко А.С,, 2005
Захватить
В
Свободно В
ВНа Б С1
В с хвате А
В с хвате Б
Захватить
А
Захватить
Б
Свободно А
В ВНа Б С1
Свободно Б
В схва те В
ВНа Б С1

35. Взаимодействие оператора с роботом на уровне
планирования операций
Команды
(постановка
целей)
Человекоператор
Запросы
робота
База рабочих
операций
Проверка
предусловий
Интерпретатор
команд
Робот
Текущие измерения
База когнитивных операций
Содержанием когнитивной деятельности робота является выполнение
операций, направленных на получение недостающей информации о
внешнем мире и о текущей ситуации.

36. 
Обучение робота с использованием
технологии нейро-нечетких сетей

37. АСНВ – адаптивная система нечеткого вывода (ANFIS - Adaptive
Neuro – Fuzzy Intelligent System)

38. Обучение робота «Богомол» (Институт физико-технических
проблем, Москва)
Оператор управляет движением четырех гусениц робота, имеющих автономные
приводы, с помощью двух 3-компонентных джойстиков (сигналы управления).
Входными переменными являются параметры текущего положения робота
сенсоры
манипулятор
движитель

40. Адаптивная система нечеткого вывода (АСНВ – ANFIS) позволяет
настроить параметры нечеткого контроллера с учетом динамики
системы по обучающей выборке или в реальном времени
D
φ
V
ω
Параметры функций принадлежности и «веса» p, q настраиваются методом обратного распространения ошибки

41. Ющенко А.С., Киселев Д.В.,Вечканов В.В., 2002

42. Обучение «без учителя». Метод автономного
адаптивного управления ( Жданов А.А.,»Автономный
искусственный интеллект, М.,2008)
Сенсоры
Среда
Аппарат
эмоций
Блок распознавания
ситуаций
База знаний
Исполнит. устр.
Блок принятия
решений
Метод позволяет обучать робот в полностью автономном
режиме, используя принцип «подкрепления» правильных
решений

43. Речевое управление роботом.
Организация диалога

44. Примеры речевого управления роботом
при выполнении манипуляционных
операций
Работа посвящена мобильным роботам, а примеры- только
для манипуляционных!

45. Функциональная схема диалога человека и
робота
Перечень функциональных модулей:
- распознавание речи (получение символьного
представления акустического сигнала)
- понимание речи (распознавание запроса,
планирование, ведение диалога)
- синтез речи (речевой ответ)
Речь
Запрос на ЕЯ
Распознавание
речи
Речевой ответ
Распознавание
запроса
Реплика на ЕЯ
оператору
Синтез речи
Запрос в
формальном
виде
Планирование и
диалог

46. Методы распознавания речи
Варианты постановки задач:
- настройка на диктора;
- количество слов;
- изолированность произнесения;
- шумовые условия.
Методы распознавания: Методы моделирования
- динамическое
языка:
искажение времени - энграммы;
(ДП, АЛП);
- скрытые марковские - СММ, полученные из
грамматик;
модели
(гибридизируется: VQ, FST;
гауссовские смеси,
- стохастические
NN)
грамматики.
Векторы признаков и
шумоподавление:
- банки фильтров
(адаптивная
компенсация 2 мик.,
вычитание стац.
спектра)
- MFCC, гомоморфная
фильтрация сигнала

47. Функциональная схема системы речевого
диалогового управления
Генерация
ответа
Оператор
Распознавание
речи
Понимание
речи
Управление
диалогом
Управление
роботом
Робот
Внешняя среда

48. Модуль планирования диалога предусматривает
различные сценарии, в том числе:
•Объяснение роботом наблюдаемой ситуации в ответ на
запросы оператора (этап анализа ситуации)
•Пояснение составленного роботом плана действий (этап
планирования операций)
•Запросы робота по уточнению задачи, поставленной
оператором с возможной коррекцией условий задачи (этап
принятия решений)
•Оценка роботом достигнутых в результате операции
результатов (этап предварительной оценки результатов)
•Оценка роботом собственного состояния – технических
параметров и самооценка качества работы) – в ответ на запрос
оператора
•Оценка роботом успешности действий оператора и косвенные
запросы робота, имеющие целью определение состояния и
работоспособности оператора (этап эргономической экспертизы)

49. Разработка модуля управления диалогомменеджер диалога на основе нечетких сетей Петри
(Жонин А.А.,2011)
Задачи модуля управления диалогом:
- реакция на события диалога;
- интеграция событий от модуля управления роботом ;
- отправка управляющих сигналов модулю управления
роботом.
вперед, назад
Процесс:
движение
стоп
Применение модифицированных сетей Петри:
- ингибиторная дуга
по наличию фишки
- вершина (процесс
или состояние)
- ингибиторная дуга
по отсутствию фишки
- вершина
с фишкой
- ждущий переход
- переход по
событию (запросу)
- переход без
жесткого условия
Fun
- Функциональная подсеть

50. Пример применения управляющей сети Петри для организации
речевого диалога «человек-робот».
Начало сеанса
Запрос:
завершить
сеанс
Функциональная подсеть обработки
ошибок распознавания речи
Состояние:
сеанс
управления
RecErr
есть
гипотеза
ACT
Запрос
запоминания
оператора
Запрос:
объяснить
состояние
Запрос:
движение
RST
Процесс:
движение
Запрос:
стоп
RecErr
RecErr
RecErr
RecErr
RecErr
Процесс:
Событие:
запоминание
конец
оператора
запоминания
Процесс:
объяснение
состояния
Состояние:
беспомощное
положение
Событие:
беспомощное
положение
Событие:
разрешение
ситуации
Гипотеза
надежна
ACT
+
Гипотеза
сомнительна
~
RecErr
OUT
RST
OUT
да
нет
Поддерживаемые сетью сценарии:
- команды движения;
- остановка;
- начало сеанса;
- запоминание оператора;
- конец сеанса;
- переспрос и подтверждение;
- просьбы о помощи;
- объяснение состояния.

51. Последний штрих




Если робот поддерживает диалог, то он может
быть и антропоморфным
Тогда речь должна иметь поддержку в форме
выражения «лица»
Правда, в этом случае нужно моделировать и
«эмоции» робота
Либо воспроизводить их по наблюдением за
оператором

52. Речь робота целесообразно сопровождать выражением «лица»,
определяющим эмоциональное сопровождение речи
•
Hanson Robotics
•
Hiroshi Ishiguro
•
•
•
• Около 10 моделей
• 15 актуаторов в
голове, ходьба и руки
2 модели
13 актуаторов
головы
Тело с 37
актуаторами

53. Российские антропоморфные роботы
(Компания Neurobotics, Москва)
•
•
•
•
•
•
4 действующие модели, 1 в
разработке
15 актуаторов головы
Силиконовая кожа, полное
портретное сходство
В глазах HD-камеры, в ушах
микрофоны
Пассивная генерация
артикуляции
Программное обеспечение:
– Распознавание голоса,
контекстный поиск ответа,
генератор голоса
– Определение и слежение за
человеком
– Режим копирования
эмоционального состояния

54. Использование антропоморфных роботов
•
•
•
•
•
Охранник для комплекса
обеспечения безопасности
Оператор стола
информации, лектор
Копия существующего или
существовавшего человека
Исследование психологии
общения человека и
машины
Телеприсутсвие человека:
o На большом расстоянии
o В опасных средах
o Для людей с
ограниченными
возможностями
54

55. ЗАДАЧИ НА БЛИЖАЙШУЮ ПЕРСПЕКТИВУ
•Обучение роботов путем диалога и демонстрации. Распознавание жестов.
Разработка профессиональных и «естественных» языков диалога робота и
человека
•Управление коллективами роботов (многоагентное управление).Создание теории
многоагентных систем.
•Описание взаимодействия коллективов людей и коллективов роботов. Включение
интеллектуальных роботов в социум людей. Вопросы защиты роботов от
«хакерских» атак
•Автономное поведение и самообучение роботов в непредвиденных ситуациях.
Комбинация предварительного обучения и самообучения
•Мультимодальные информационно-сенсорные системы и комплексирование
информации. «Образное мышление» роботов. Когнитивное поведение роботов.
•Проблема понимания и взаимопонимания человека и робота –
антропоцентрический подход к созданию интеллектуального уровня робота,
включая «эмоциональный уровень» управления
•Психология человека и «психология» робота. Социально-психологические
проблемы согласования.

56. Благодарю за внимание !
Наш адрес: robot@bmstu.ru
Научно-учебный Центр «Робототехника»
МГТУ им. Н.Э.Баумана,
Москва, 105037, Измайловская пл., 7
Кафедра «Робототехнические системы»
Тел. 8 499 165 – 17 - 01