Presentatie voor het Heliview de Data Quality Conference 2019. Adviezen, besluitvorming en voorspellingen komen in toenemende mate uit data gedreven, complexe en nauw verbonden IT-systemen. We moeten dus in hoge mate kunnen vertrouwen op data vanuit deze systemen en de Quality Assurance ervan op orde hebben. Kunnen we proactief ingrijpen wanneer de datakwaliteit te laag dreigt te worden? Zijn we instaat om achteraf te herleiden hoe een resultaat tot stand kwam? En is het resultaat reproduceerbaar?

1. KORTE SAMENVATTING
Kan ik ooit op mijn data vertrouwen?
Adviezen, besluitvorming en voorspellingen komen in toenemende mate uit data gedreven, complexe en
nauw verbonden IT-systemen. We moeten dus in hoge mate kunnen vertrouwen op data vanuit deze
systemen en de Quality Assurance ervan op orde hebben. Kunnen we proactief ingrijpen wanneer de
datakwaliteit te laag dreigt te worden? Zijn we instaat om achteraf te herleiden hoe een resultaat tot stand
kwam? En is het resultaat reproduceerbaar?
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

2. Adviezen, besluitvorming en voorspellingen komen in toenemende mate uit data gedreven, complexe - en nauw verbonden IT-systemen. We
moeten dus in hoge mate kunnen vertrouwen op deze systemen en de Quality Assurance ervan op orde hebben.
IT- en datasystemen zijn intensiever gekoppeld dan ooit, de technische complexiteit en onderlinge afhankelijkheid is daarmee dan ook sterk
toegenomen. Systemen zijn steeds vaker een “System-of-systems” in plaats van een enkel gesloten system; ze bestaan uit een combinatie
van samenwerkende componenten. De output van het ene systeem beïnvloed daarmee het resultaat van het ontvangende systeem. Monitort
en bewaakt het ontvangende systeem dan ook de kwaliteit van de data die het ontvangt, om vroegtijdig aanpassingen te kunnen maken?
Tegelijkertijd moeten we kunnen vertrouwen op de resultaten die deze systemen produceren en moet inzichtelijk zijn hoe deze resultaten tot
stand zijn gekomen.
Intensieve koppeling van systemen biedt fanatische mogelijkheden maar brengt mogelijk een fragiel kaartenhuis met zich mee. Een
optredende fout kan een snel groeiende sneeuwbal worden met grote gevolgen. Het is dan ook cruciaal permanent te blijven monitoren of het
systeem en haar deelsystemen voldoen aan de benodigde kwaliteit om zo nodig preventief in te kunnen grijpen. Bijvoorbeeld: data van
sensoren komt continue binnen en kan van wisselende en ‘verlopende’ kwaliteit zijn, hoe hou je dat in de gaten? En is het nog steeds
bruikbaar voor de analyse die uitgevoerd moet worden? Door toepassing van cloud - en virtualisatie technologieën worden IT-systemen
dynamisch; het systeem dat de data verwerking uitvoerde bestaat wellicht morgen niet meer. Hoe zorg je dan voor herleidbaarheid en
reproduceerbaarheid van resultaten als er vragen of klachten over komen?
In zijn presentatie belicht Erik de geautomatiseerde monitoring van de kwaliteit van “system-of-systems”. Hij gaat daarbij in op moderne IT-
technieken om systemen en databronnen op hun kwaliteit te monitoren en systemen ‘quality-aware’ in te richten.
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?
UITGEBREIDE SAMENVATTING

3. KAN IK OOIT OP MIJN DATA
VERTROUWEN?
4 juni 2019 | Heliview Data Quality Conference | Erik Langius MSc | erik.langius@tno.nl

4. EVEN VOORSTELLEN…
Erik Langius MSc
Integrator en projectleider bij TNO: focus op multidisciplinaire integratie van kennis
en systemen.
Informatica & Technische Bedrijfskunde met IT specialisatie
System of System Engineering
LinkedIn: https://nl.linkedin.com/in/eriklangius

5. TNO ICT – MONITORING AND CONTROL
TNO Unit ICT – research afdeling Monitoring and Control Services
https://www.tno.nl/nl/aandachtsgebieden/informatie-communicatie-
technologie/expertisegroepen/monitoring-control-services/
ICT voor grootschalige monitoring & control toepassingen
Toepassing in uiteenlopende domeinen, grootschalige
infrastructuren o.a . gas, electiciteit, water en rails, dijken, koeien.
IT – systemen voor tijdserie- en streamingdata
(Sensor)data en complexe modelketens
Monitoring en Control loop
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

6. HET BELANG VAN DATA QUALITY ASSURANCE (DQA)
Adviezen, besluitvorming en voorspellingen komen in toenemende mate uit datagedreven, complexe
en nauw verbonden IT-systemen
DQA gaat over zowel data kwaliteit als de kwaliteit van de dataverwerkende systemen (analyses,
modellen, etc)
Verificatie en Validatie
Past data en model bij het doel?
Is het systeem uitlegbaar? Zijn resultaten reproduceerbaar
en herleidbaar?
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

7. KWALITEIT IN DE CONTEXT VAN DEZE PRESENTATIE
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?
Impactbijfalen
+
-
Analyse complexiteit
+
-
Complexe analyse
en data + hoge
impact bij falen:
rechtvaardigt
intensieve DQA
Eenvoudig data en
analyse:
minimale DQA
inrichten
De definitie van kwaliteit is
context afhankelijk en heeft een
sterke link met het doel van de
toepassing, is het fit-for-
purpose?
Bron: aangepast uit “The Aqua Book:
guidance on producing quality analysis
for government (2015)

8. NAUW VERBONDEN SYSTEMEN DOOR DATA
AFHANKELIJKHEDEN
Algemene trend: systeem complexiteit neemt toe, evenals de mate waarin we
moeten vertrouwen op deze data gedreven systemen.
Systemen krijgen eigenschappen die ontstaan door interactie (emergentie).
De inrichting van DQA moet volgen op toegenomen complexiteit en emergente
eigenschappen kunnen monitoren.
Voorbeeld: bekend systeem in een nieuwe context
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

9. INTERACTIES EN COMPLEXITEIT
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?
Bron: aangepast uit “Meltdown: Why
our systems fail and what we can do
about it” (2018: C Clearfield, A Tilcsik)
Matevanverbondenheid
+
-
Systeem complexiteit
+
-
Als er iets misgaat gaat
er snel meer mis.
Lage kans op falen
Data gedreven systemen raken
verbonden met hun omgeving
door gebruik van data

10. WAT KUNNEN WE DOEN?
Om complexiteit onder controle te houden moeten we monitoren op signalen die het systeem afgeeft
en continue de “fit” met de “purpose” controleren.
1) Is de data nog steeds geschikt voor ontworpen analyse/model ?
Continue monitoring op data eigenschappen en vereisten van de analyse
Fit-for-purpose van binnenkomende data
2) Is de analyse/model nog steeds passend bij de data?
Analyse is waarschijnlijk ontworpen op bestaande dataset
Is de analyse is het nog steeds fit-for-purpose met nieuwe data?
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

11. Analyse lange
datareeksen en
verdeling van data
geeft snel overzicht
om eerste acties te
bepalen
350 SENSOREN, WELKE FUNCTIONEREN GOED?
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

12. Analyse &
Model vereisten
EEN BETROUWBAAR DATASYSTEM VEREIST CONTINUE AANDACHT
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?
Complexe data verwerkingData door de tijd
Data Quality
Assurance
Indicators:
Trends:
!
Data geschikt
voor analyse?
Analyse geschikt
voor actuele data?

13. TAKEAWAYS…KAN IK OOIT OP MIJN DATA VERTROUWEN?
Fit-for-purpose DQA: inrichting proportioneel naar de potentiele impact van falen
Echter, “Fit-for-purpose” is geen statisch gegeven, DQA moet dan ook een continue en evaluerend
karakter hebben.
Is de binnenkomende data nog steeds geschikt voor de analyse?
Is de analyse nog steeds passend bij de binnenkomende data?
Resultaten zijn herleidbaar en traceerbaar: DQA inrichten voor de gehele levenscyclus van
ontwerp, resultaat en voor vragen na oplevering.
Versie beheer op code, data, configuratie en resultaten
Monitor data, analyse en realiteit geautomatiseerd om veranderende context en signalen te
detecteren om tijdig bij te kunnen sturen.
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

14. 4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?
Vragen ?

15. WAAR WERKT TNO AAN?
https://www.tno.nl/nl/tno-insights/artikelen/hoe-controleer-je-de-betrouwbaarheid-van-data/
https://www.tno.nl/nl/samenwerken/expertise/early-research-programma/early-research-program-
making-sense-of-big-data/
https://www.tno.nl/nl/aandachtsgebieden/informatie-communicatie-technologie/roadmaps/data-
sharing/advanced-data-analytics/
https://www.tno.nl/nl/over-tno/nieuws/2019/3/tno-verbindt-nederland-met-europese-standaard-voor-
datadeling/
4 juni 2019 | Erik Langius | Kan ik ooit op mijn data vertrouwen?

16. BEDANKT VOOR UW AANDACHT
Voor meer inspiratie:
TNO.NL/TNO-INSIGHTS