Colloque IMT - L'IA au cœur des mutations industrielles - Session Robotique, Perception, Interaction : Robotique collaborative ou collaboration homme-robot ? Présentation par Sotiris Manitsaris, Chercheur (Mines ParisTech)

1. ROBOTIQUE COLLABORATIVE OU
COLLABORATION HOMME-ROBOT ?
SOTIRIS MANITSARIS
C E N T R E D E R O B O T I Q U E – M I N E S P A R I S T E C H
P S L U N I V E R S I T É P A R I S

2. « Nous commençons toujours par le travail manuel »
Mitsuru Kawai
Vice-Président Exécutif
Responsable de Manufacture
Toyota
I N T R O D U C T I O N

3. TRAVAIL MANUEL AUTOMATISATION COMPLÈTE
I N T R O D U C T I O N

4. E T A T D E L ’ A R T
ROBOTIQUE CLASSIQUEGESTE OUTILLÉ
AUTOMATISATION COMPLETE
✦ Efficacité
✦ Vitesse
✦ Précision
- Flexibilité
- Coût
TRAVAIL MANUEL
✦ Flexibilité
✦ Dextérité
✦ Opportunité de décision
- Risques ergonomiques
- Erreurs
ROBOTIQUE COLLABORATIVE
SEMI-AUTOMATISATION
✦ Espace partagé
✦ Programmation par apprentissage
✦ Gain financier

5. COLLABORATIONCO-PRESENCE INTERACTION (BASELINE)
?
Espace partagé en partie
Contact autorisé lorsque robot arrêté
Espace pleinement partagé
Contact autorisé
E T A T D E L ’ A R T

6. P E R C E P T I O N
COLLABORATION
HOMME-ROBOT
Un modèle centré sur l’humain
pour l’interaction avec un robot
collaboratif
C O N N A I S S A N C E S G E S T E
R O B O T
C O L L A B O R AT I F
M O D E L E S C I E N T I F I Q U E

7. UI
Suivi continu du geste de l’
opérateur
RECONNAISSANCE DE GESTES
Profil temporel dynamique en
fonction du geste de l’opérateur
COLLABORATION NATURELLE
Adaptation facile aux nouveaux opérateurs et cycle
de production en fonction du rythme de l’opérateur
ADAPTABILITÉ - CYCLE DYNAMIQUE
Objectifs
au delà de l’état
de l’art
En prenant en considération les
contraintes industrielles dans une
chaîne d’assemblage automobile
UX
O B J E C T I F S

8. Méthodologie en Reconnaissance de Gestes
C A P T U R E D E
M O U V E M E N T
Capteurs de
mouvement et
acquisition de données
01 A N A LYS E
Segmentation de la
scène
02 E X T R A C T I O N D E
C A R A C T É R I S T I Q U E S
Descripteurs de
mouvement et d’activités
03
M O D E L I S AT I O N
Modélisation stochastique
ou déterministe de
l’activité humaine
04 R E C O N N A I S S A N C E
Reconnaissance
précoce et alignement
temporel
05 I N T E R A C T I O N
Interaction naturelle
explicite ou implicite
06
S O L U T I O N P R O P O S É E

9. S C E N A R I I E T U D I É S
CO-PRESENCE COLLABORATION NATURELLE (NIVEAU 2)
G1
Attraper un
pièce à
gauche
G2
Attraper un
pièce à
droite
G3
Assembler
les deux
pièces
G4
Visser
G5
Poser la
pièce
terminée
G1
Enlever
l’adhésif
G2
Poser la
feuille
G3
Pré-coller la
feuille
G4
Mettre le
lécheur

10. R E C O N N A I S S A N C E D E G E S T E S « M U L T I - O P É R A T E U R »

11. E V A L U A T I O N D E L ’ A P P R O C H E
JACKKNIFE 80%-20%
Précision 67 % 83 % 78 % 70 % 87 % 74 %
Rappel
68 %
80 %
60 %
80 %
88 %
Isolés
Isolés
Continus
Continus
Précision 43 % 80 % 82 % 81 % 81 % 83 %
Rappel
70 %
94 %
75 %
83 %
92 %
Isolés
Continus
Isolés Continus

12. N O U V E L O P É R A T E U R ? A D A P T A T I O N D U S Y S T È M E !
JACKKNIFE

13. R E C O N N A I S S A N C E D E G E S T E S E T O B J E T C O N N E C T É

14. JACKKNIFE
Isolés
Isolés
Multi-opérateur
Multi-opérateur
+IoT
Multi-opérateur
+IoT
+Adaptation du système
Taux de reconnaissances
correctes en temps-réel
74 % 77 % 90 %
E V A L U A T I O N D E L ’ A P P R O C H E

15. V I D E O S D E D É M O N S T R A T I O N
ANALYSE DE SCENE ET DETECTION DE POSES RECONNAISSANCE DE GESTES

16. L E P R O J E T C O L L A B O R A T E E T L E S S C E N A R I I E T U D I É S
MONTAGE DU DÉMARREUR D’UN VÉHICULE
ASSEMBLAGE DE PIÈCES AÉRONAUTIQUES
INSTALLATION DU PARE-BRISE D’UN
VÉHICULE
MONTAGE D’UN ÉCRAN DE TÉLÉVISION

17. C O N T R I B U T I O N S A U P R O J E T
IoT ET ANALYTIQUES DE MOUVEMENT DETECTION DE POSES

18. S Y N T H E S E E T C O N C L U S I O N S
0 1 2 3
COLLABORATION
NATURELLE
Commandes discrètes
(par appui sur bouton)
Détection de la position
IA CENTREE
SUR L’HUMAIN
Reconnaissance de gestes/
actions
Analytics du mouvement
(paramètres ergonomiques)
Profil temporel prédéfini
Profil spatial prédéfini mais dynamique
(en fonction de l’anthropométrie de
l’opérateur)
Profil spatial prédéfini et constant
Profil temporel dynamique
(en fonction du rythme de l’opérateur)