1
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
X

2
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO (Visual Inspection Orchestrator)
Utiliser une solution d’edge Open Source pour améliorer l’inspection dans vos usines
Comptoir OCTO X Duck Conf
09/03/23

3
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Yannick
DRANT
Karim
SAYADI
karim.sayadi@octo.com
yannick.drant@octo.com
Machine Learning Engineers
chez OCTO Technology

Coin
Coin
!
4
La Duck Conf by OCTO Technology © 2023 - All rights reserved
03
02
01
05
04
Agenda
Introduction
L’origine
VIO - Une brique MLOps
VIO - Un framework
modulaire
A retenir (takeaways)

Coin
Coin
!
5
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Introduction
01

Coin
Coin
!
6
La Duck Conf by OCTO Technology © 2023 - All rights reserved
L’inspection visuelle dans le contexte du digital manufacturing
ERP
Shifts
Maintenances
MES
Recipes
Metrology
Defectivity
…
ERP
Shifts
Maintenances
MES
Recipes
Metrology
Defectivity
…
IoT Edge
ERP
Shifts
Maintenances
MES
Recipes
Metrology
Defectivity
Plant IT Nomenclatures
Use cases
Control
Tower
Visual
Inspection
Orchestrator
Predictive
maintenance
…
Data lake
Semantic Layer (for multi sources data)
Data
Models

Coin
Coin
!
7
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Étapes du développement d’un cas d’usage d’IV
Où est-ce que la solution VIO est pertinente ?
Une architecture de
modèle est
éprouvée
(avec apport de
valeur)
un cas d’usage est
identifié
@Scale: On récupère
l’architecture et on l'intègre
dans une usine
d'entraînement permettant le
déploiement du modèle ainsi
que son réentraînement
automatique
MVP: On déploie le modèle
sur une ligne de production
pour valider la pertinence du
modèle et son usage
Le use case est
validé sur une
ligne de
production
POC: On entraîne un
premier modèle pour valider
la détection du signal sur ce
use case
Le besoin
client
Notre
apport de
valeur
Echelle de maturité
VIO-edge
ML fail/fast VIO edge/hub
cas d’usage
non identifié
processus d’idéation
(Event Storming)
Besoin en cours
d’identification
Stade de
déploiem
ent
VIO

Coin
Coin
!
8
La Duck Conf by OCTO Technology © 2023 - All rights reserved
L’origine
02

Coin
Coin
!
9
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C’est quoi l’inspection visuelle ?
Contrôle qualité, non destructif, en milieu industriel (par exemple: sur une chaîne de production)
Acquisition
Inférence
Décision métier
Stockage

Coin
Coin
!
10
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Des problématiques communes aux industriels
Corrosion Detection Plastic Welding Control
20 control points
Welding Detection
Des exemples d’inspection visuelle réalisée par nous pour des industriels
Visual inspection by drones

Coin
Coin
!
11
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Un pattern émerge
Et si on créait un socle générique et facilement adaptable qui nous permettrait
de démarrer rapidement ces projets, sans repartir de zéro à chaque fois ?
Acquisition
Inférence
Décision métier
Stockage

Coin
Coin
!
12
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Naissance de Visual Inspection Orchestrator
Le why de VIO
1 - Aller en prod
rapidement
2 - S’adapter facilement
à l’environnement du
central et de l’usine
3 - Scalable

Coin
Coin
!
13
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Visual Inspection Orchestrator disponible: octo-technology/VIO (github.com)
VIO en open source

Coin
Coin
!
14
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO - Une brique
MLOps
03

Coin
Coin
!
15
La Duck Conf by OCTO Technology © 2023 - All rights reserved
La dualité Edge x Cloud dans la chaîne de déploiement
Central
station
Edge stations
Usines (Edge)
Data Gathering
Model Monitoring
Model Factory (re-training)
Fleet Management
Software Factory
Cloud
Automatisation

Coin
Coin
!
16
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO - Un accélérateur Edge x Cloud
Central
station
Edge stations
Usines (Edge)
Data Gathering
Model Monitoring
Model Factory (re-training)
Fleet Management
Software Factory
Cloud
Cloud agnostique

Coin
Coin
!
17
La Duck Conf by OCTO Technology © 2023 - All rights reserved
L’objectif du framework VIO
Hardware + Software + data + ML
“Une plateforme centralisée dédiée à l’inspection visuelle qui permet
de gérer le cycle de vie de la donnée, des modèles, ainsi que du
hardware en usines de manière standardisée et scalable”

18
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO
Un accélérateur porté sur la réutilisation
๏ Une application flexible : vous pouvez facilement faire
évoluer nos choix de technologies et d'implémentations sans
impacter l'intégralité du code
๏ Un langage commun avec les gens du métier :
l'architecture traduit le savoir métier au lieu d'être centrée
sur les détails d'implémentation
๏ Un standard d'équipe : une façon plus ou moins uniforme de
faire du développement, un moyen efficace pour
on-boarder des gens dans l'équipe,
๏ Des guidelines de design applicatif : l'ajout de nouveaux
use cases est plus évident
๏ Du code testable facilement

Coin
Coin
!
19
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO - Un framework
modulaire
04

Coin
Coin
!
20
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO à l’edge - Un socle générique et adaptable

Coin
Coin
!
21
La Duck Conf by OCTO Technology © 2023 - All rights reserved
P
o
r
t
P
o
r
t
P
o
r
t
P
o
r
t
Adapter
Adapter
Adapter
Adapter
Use case
Entity
Entity
“ The center of your application is not the database. Nor is it one or more of the frameworks you may be
using. The center of your application is the use cases of your application ”
Robert C. Martin (Uncle Bob)
Configuration
Comment concevoir un tel système ?

Coin
Coin
!
22
La Duck Conf by OCTO Technology © 2023 - All rights reserved
P
o
r
t
P
o
r
t
P
o
r
t
P
o
r
t
Adapter
Adapter
Adapter
Adapter
Use case
Entity
Entity
Configuration
Objets du domaine métier
Interfaces vers des services
externes (stockage…)
Implémentations
concrètes des interfaces :
éléments d’infrastructure
Processus s’exprimant en langage métier
(manipule des entités + des ports)
Configuration externalisée
dépendant de l’environnement
Domain-Centric Architecture : les concepts-clés

Coin
Coin
!
23
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
Adaptée à notre contexte, ça donne ceci

Coin
Coin
!
24
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
Le coeur de la machine: le processus d’inspection

Coin
Coin
!
25
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
La capture: fake it till you receive it

Coin
Coin
!
26
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
L’inférence: parce qu’à un moment, il faut bien faire de l’IA

Coin
Coin
!
27
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
Le stockage d’images: pour nos futurs (ré-)entraînements

Coin
Coin
!
28
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
Le stockage de métadonnées: pour faire de jolis dashboards

Coin
Coin
!
29
La Duck Conf by OCTO Technology © 2023 - All rights reserved
C
a
m
e
r
a
B
i
n
a
r
y
S
t
o
r
a
g
e
M
e
t
a
d
a
t
a
S
t
o
r
a
g
e
M
o
d
e
l
W
r
a
p
p
e
r
TfServingDetectionWrapper
TfServingClassificationWrapper
TfServingDetectionAndClassificationWrapper
FakeModelWrapper
FileSystemBinaryStorage
AzureBlobBinaryStorage
MemoryBinaryStorage
AzureBlobMetadataStorage
MongoDBMetadataStorage
MemoryMetadataStorage
UsbCamera
PiCamera
FakeCamera
Supervisor
Item
BusinessRule
Configuration
Un environnement, une configuration

Coin
Coin
!
30
La Duck Conf by OCTO Technology © 2023 - All rights reserved
VIO - Un accélérateur Edge x Cloud
Central
station
Edge stations
Usines (Edge)
Data Gathering
Model Monitoring
Model Factory (re-training)
Fleet Management
Software Factory
Cloud
Cloud agnostique

Coin
Coin
!
31
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Pipeline intelligence artificielle ML
Storage Monitoring Edge
pipeline
Central server
Edge solution
Usine/
EDGE
Cloud
Data
platform
L’architecture de référence Visual Inspection
VIO

Coin
Coin
!
32
La Duck Conf by OCTO Technology © 2023 - All rights reserved
MLOPS
Usine/
EDGE
Cloud
MODEL
OPS
DEV
DATA
Algorithmes
Entrainement
Experimentation
Déployement
Monitoring
Automatisation
Besoins business
Correction de bogues
Configuration
Schema
Sampling
Rapports
Une équipe pluridisciplinaire pour mener le projet à bien, alignée sur des objectifs communs

Coin
Coin
!
33
La Duck Conf by OCTO Technology © 2023 - All rights reserved
A retenir (takeaways)
05

Coin
Coin
!
34
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Un accélérateur
๏ Open Source
๏ Cloud agnostique: Azure, AWS, GCP
๏ ML framework agnostique: Tensorflow, Scikit-learn, PyTorch
๏ Compute agnostique: CPU (x86, arm), GPU, TPU, Coral
๏ Sensor agnostique: PiCamera, USB camera, Basler cameras (matrix, linear), Flir camera (thermal)
๏ Integration: OPCUA, MES..
๏ Interfaces: tablette, PC..
Synthèse
Pensez à visiter octo-technology/VIO (github.com)

35
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Yannick
DRANT
Karim
SAYADI
karim.sayadi@octo.com
yannick.drant@octo.com

Coin
Coin
!
36
La Duck Conf by OCTO Technology © 2023 - All rights reserved

Coin
Coin
!
37
La Duck Conf by OCTO Technology © 2021 - All rights reserved
29 03