Gestion des données scientifiques en imagerie in vivo – Journée scientifique organisée par PIV le 7 décembre 2017 au PARCC-HEGP Bastien RANCE HEGP

1. L’imagerie
clinique,
états
des
lieux
et
enjeux
à
venir,
l’hôpital
et
la
recherche
clinique.
Bastien
Rance

2. Source:
http://www.businessinsider.com/everything-­‐that-­‐happens-­‐in-­‐one-­‐minute-­‐on-­‐
the-­‐internet-­‐2017-­‐9?IR=T
A
world
of
data

3. EHRs
adoption
(actual,
or
undergoing)
• 83% of
US
physicians
(2015)
• 75% of
US
hospitals
(2015)
• 89%
of
French
health
institutions
(2016)
A
field of
data

4. Clinical
Data
Warehouse
Clinical
Data
Warehouse
(CDW)
Diagnosis
Clinical
items
Billing
codes
Biology
(lab)
Nurse
transmission
Imaging
reports
Pathology
reports
Drug
prescription
Standardized
format
Queryable
Electronic
Health
Record
(EHR)
Biobank Chemotherapy
Radiotherapy
4

5. Clinical
Data
Warehouse
at
HEGP
Unstructured data: transformation is needed before reuse
Concept # patients # observations
EHR concepts 602,198 124,852,989
Biology (Laboratory) 452,006 132,525,661
Nursing transmission 309,322 18,495,958
Billing (disease) codes 396,285 8,183,118
Rx prescription 191,531 7,243,484
Text reports 546,725 4,039,333
Imaging reports 351,702 1,325,270
Pathology codes 98,401 1,496,635
5

6. What about
images
?
Data
Warehouse
PACS
Images
are
not
stored
in
Clinical
Data
Warehouses
à Issues
of
volume
and
representation
Imaging
reports
are
integrated

7. PACS
Size
at
HEGP
PACS
at
HEGP
(800
beds)
• 100
TB
for
2000-­‐2015
(about
15
TB/yr
and
growing)
• 2,5
M
exams
• 400
billion
images

9. Images
integration

10. CHALLENGE
1:
DATA
EXTRACTION
AND
CLINICAL ANNOTATION

11. *
Les
LESIONS
CIBLES
sont
définies
de
la
manière
suivante:
Au
niveau
du
poumon:
-­‐ Cible
1:
Nodule
du
lobe
inférieur
gauche
de
14
mm
de
plus
grand
axe.
Au
niveau
du
médiastin:
-­‐ Cible
2:
Adénomégalie de
la
loge
de
Baréty de
46
mm
de
plus
grand
axe.
-­‐ Cible
3:
Adénomégalie de
la
fenêtre
aortopulmonaire de
35
mm
de
plus
grand
axe.
[…]
CONCLUSION
1)
La
somme
des
plus
grandes
longueurs
pour
le
scanner
cycle
3
est
donc
mesurée
à
14+46+35+43+34+26
=
198
mm. Par
rapport
au
scanner
de
référence
du
21/02/2004
dont
la
somme
est
mesurée
à
209
mm,
l'évolution
est
de
-­‐5%.
L'évolution
des
cibles
mesurables
est
donc
stable
(SD).
2)
Absence
d'évolution
non-­‐équivoque
des
lésions
non-­‐cibles
(SD).
3)
Absence
de
nouvelle
lésion
non
cible
(No).
4)
La
réponse
globale
est
(SD-­‐SD-­‐No)
soit
SD.
Stabilité
de
l'atélectasie
lobaire
supérieure
droite
secondaire
à
l'obstruction
quasi-­‐complète
de
la
bronche
lobaire
par
l'adénopathie.
Metastatic
Renal
Clear
Cell
Carcinoma
patients
RECIST
follow-­‐up
Semi-­‐
structured
text
report
Extracting
information
from
semi-­‐structured
texts

12. *
Les
LESIONS
CIBLES
sont
définies
de
la
manière
suivante:
Au
niveau
du
poumon:
-­‐ Cible
1:
Nodule
du
lobe
inférieur
gauche
de
14
mm de
plus
grand
axe.
Au
niveau
du
médiastin:
-­‐ Cible
2:
Adénomégalie de
la
loge
de
Baréty de
46
mm de
plus
grand
axe.
-­‐ Cible
3:
Adénomégalie de
la
fenêtre
aortopulmonaire de
35
mm
de
plus
grand
axe.
[…]
CONCLUSION
1)
La
somme
des
plus
grandes
longueurs
pour
le
scanner
cycle
3
est
donc
mesurée
à
14+46+35+43+34+26
=
198
mm. Par
rapport
au
scanner
de
référence
du
21/02/2004
dont
la
somme
est
mesurée
à
209
mm,
l'évolution
est
de
-­‐5%.
L'évolution
des
cibles
mesurables
est
donc
stable
(SD).
2)
Absence
d'évolution
non-­‐équivoque
des
lésions
non-­‐cibles
(SD).
3)
Absence
de
nouvelle
lésion
non
cible
(No).
4)
La
réponse
globale
est
(SD-­‐SD-­‐No) soit
SD.
Stabilité
de
l'atélectasie
lobaire
supérieure
droite
secondaire
à
l'obstruction
quasi-­‐complète
de
la
bronche
lobaire
par
l'adénopathie.
Metastatic
Renal
Clear
Cell
Carcinoma
patients
RECIST
follow-­‐up
Semi-­‐
structured
text
report
Extracting
information
from
semi-­‐structured
textsIdentification
and
extraction
of
features
of
interest through a
rule-­‐based system

13. 5,000+
Semi-­‐structured
Radiology
reports
RECIST
extractor
RECIST
Explorer
Queriable
Dynamic
PACS
Radiology
image
archives
Leveraging semi-­‐structured text
Clinical
Data
Warehouse

14. Work
by
G.
Simavonian
RECIST
Explorer
From text to
structured-­‐information

15. 15
Descripteurs
de
forme
Descripteurs
statistiques
Texture
GLCM
Texture
GLRLM
Texture
GLSZM
Texture
NGTDM
5
filters
3
scales
2
grey levels
15
features
23
features
ROI
690
features
390
features
390
features
150
features
13
features
75
features
13
features
13
features
5
features
13
features
Logiciel
Radiomics (Labo
imagerie)
1708
paramètres
Radiomics
Par
ROI/
par
patient

16. Radiomics
Features
Patients
(in
preparation)
A
Bouchouicha,
D
Balvay,
B
Rance,
L
Fournier.
Radiomics of
metastatic
clear-­‐cell
renal
carcinoma:
reproducibility
and
agreement
of
radiomics features
in
CT.

17. Limited
publicly
shared
datasets
Datasets with
metadata and
annotation
Neurology

19. CHALLENGE
2:
FAIRNESS

20. FAIR
Data
Findable
Accessible
Interoperable
Reusable
https://www.force11.org/group/fairgroup/fairprinciples

21. Boulakia et
al.
Distilling
structure
in
Taverna scientific
workflows:
A
refactoring
approach.
BMC
Bioinformatics
15
Suppl 1(Suppl 1):S12
DOI:
10.1186/1471-­‐2105-­‐15-­‐S1-­‐S12
Provenance
information
Traced using provenance
ontologies
Scientific
workflow
Example:
Taverna

22. CHALLENGE
3:
HIGH
THROUGHPUT
ANALYSIS

23. Classification
Clustering
Non
supervised
The
machine
learns
using
« distance »
between
objects
Supervised
The
machine
learns
using
annotated
examples

24. The
Deep-­‐Learning
Revolution

25. The
Deep-­‐Learning
Revolution
151
patients
with
low-­‐grade
glioma.
Modified
convolutional
neural
network
(CNN)
structure
with
6
convolutional
layers
and
a
fully
connected
layer
with
4096
neurons
Discovery
data
set
of
75
patients
and
an
independent
validation
data
set
of
37
patients.
A
total
of
1403
handcrafted
features
and
98304
deep
features
were
extracted
from
preoperative
multi-­‐modality
MR
images
1007
posteroanterior chest
radiographs.
The
datasets
were
split
into
training
(68.0%),
validation
(17.1%),
and
test
(14.9%)
AlexNet and
GoogLeNet DCNNs

26. Deep-­‐learning :
The
CNN*
achieves
performance
on
par
with
all
tested
experts
across
both
tasks,
demonstrating
an
artificial
intelligence
capable
of
classifying
skin
cancer
with
a
level
of
competence
comparable
to
dermatologists
*
convolutional
neural
networks
129,450
clinical images
2,032
different diseases

27. ChexNet :
détection
de
pneumopathie
par
Deep Learning
|
https://arxiv.org/pdf/1711.05225.pdf

28. (Very)
Short
story
of
deep-­‐learning
1958 -­‐ F.
Rosenblatt (1958).
« The
Perceptron
:
a
Probabilistic Model
for
Information
Storage
and
Organisation
in
the
brain »,
Psychological Review,
vol.
65
(1958).
1969 -­‐ M.
Minsky,
S.
Papert,
«
Perceptrons
»,
MIT
press (1969).
1982 -­‐ J.
J.
Hopfield,
« Neural
networks
and
physical systems with
emergent collective
computational abilities »,
Proc.
Natl.
Acad Sci.,
vol.
79,
p.
2554
(1982).
2015 -­‐ Y.
Le
Cun,
Y.
Bengio,
G.
Hinton
« Deep Learning »,
Nature,
vol.
521,
p.
436
(2015).

29. Image:
https://appliedgo.net/perceptron/

30. Image:
https://appliedgo.net/perceptron/

31. Deep-­‐learning – demonstration
Tensorflow Playground
Variables

32. Deep-­‐learning – demonstration
Tensorflow Playground

33. Statistical Learning
Statistical
learning
of
spatiotemporal
patterns
from
longitudinal
manifold-­‐valued
networks.
Koval et
al.
arXiv:1709.08491v1
[stat.ML]
25
Sep
2017

34. Conclusion
Large
collections
of
images
and
tools
largely
available
Traceability,
Accessibility,
Provenance…
(FAIR)
Collaborations between
communities
needed
(Imaging,
NLP,
CS,
statistics)
New
analytical
methods
rising
Need
to
be
critical
but
considerate

35. Acknowledgements
Pr.
Laure
Fournier
Afef
Bouchouicha
Daniel
Balvay
Gabriel
Simavonian