Seminario Istat Roma, Aula Magna 19.11.19 La modernizzazione dei processi di diffusione in Istat e nel Sistema statistico nazionale via Cesare Balbo 16

1. Roma, 19/11/2019
Un nuovo toolkit a
supporto della diffusione
Alessandro Greco
a.greco@sister.it

2. Roma, 19/11/2019
 Software open source progettato ed implementato da Sistemi Territoriali
per ISTAT in collaborazione con Almaviva ed Almawave
 Offre tutte le funzionalità necessarie ad un ente per pubblicare dati nello
standard “SDMX - Statistical Data and Metadata eXchange -” alla base del
progetto “Hub della Statistica Pubblica” di ISTAT.
Il nuovo ISTAT «Meta & Data Manager»

3. Roma, 19/11/2019
L’evoluzione del toolkit ISTAT
oVersione totalmente reingegnerizzata,
aggiornata ed evoluta di tool rilasciati da
ISTAT nel 2014
oLa precedente versione del software è stata
utilizzata da oltre 400 utenti di vari
organizzazioni statistiche durante sessioni di
training e progetti di cooperazione
internazionali
oBasata sull’esperienza maturata da ISTAT in
tutti questi anni e dai vari feedback ricevuti
sulle varie funzionalità.

4. Roma, 19/11/2019
Il frutto di un processo collaborativo tra PA
oDiverse scelte tecniche e architetturali sono
state prese in accordo con Eurostat ed OECD
a seguito di varie call, incontri e scambi di
email e codice sorgente
oPienamente integrato con la SDMX-
Reference Infrastructure di Eurostat
oPresentato questo Settembre alla 7th
SDMX Global Conference a Budapest, con
più di 200 partecipanti provenienti da 97
paesi diversi.

5. Roma, 19/11/2019
‐ Implementare un database
ottimizzato per la
disseminazione/reporting di
informazioni statistiche interamente
basato sullo standard SDMX
‐ Esporre i dati per mezzo di un web
service SDMX perfettamente
interoperabile con l’hub della
statistica pubblica e qualsiasi altro
strumento di fruizione di dati SDMX
‐ Esporre il catalogo dei dati usando lo
standard per la metainformazione
“DCAT-AP_IT” indicato nelle linee
guida AGID e le CKAN API
ISTAT Meta & Data Manager – Le funzionalità
Meta
Manager
Gestione
Metadati
Strutturali
Data
Manager
Builder
Mapping e
Loader
Dataflow
builder
Metadati
referenziali
MetadataSet
DCAT-AP IT

6. Roma, 19/11/2019
ISTAT Meta Manager – Il ruolo dei metadati strutturali
 I metadati strutturali consentono
di definire delle Data Structure
Definition (DSD), ovvero una
formalizzazione della struttura e
contenuti di un dataset:
oQuali sono le dimensioni
oQuali sono i possibili valori delle
dimensioni (codelist)
oTemi e contenuto semantico
(categorie e concetti)
oecc.

7. Roma, 19/11/2019
 Consente la gestione di tutti i metadati strutturali previsti dallo standard SDMX, quali Codelist, Concept Scheme, Category
Scheme, Dataflow, DSD, etc.
ISTAT Meta Manager – Funzionalità principali

8. Roma, 19/11/2019
ISTAT Data Manager – Funzionalità principali
1. Builder: crea automaticamente delle strutture dati altamente ottimizzate
(cubi) a partire dalle DSD
2. Mapping e Loader: Consente l’alimentazione di un cubo con i dati provenienti
da file CSV o SDMX-ML
DATI

9. Roma, 19/11/2019
ISTAT Data Manager – Builder

10. Roma, 19/11/2019
ISTAT Data Manager – Mapping

11. Roma, 19/11/2019
ISTAT Data Manager – Loader
Dataset Preview

12. Roma, 19/11/2019
ISTAT Data Manager – Dataflow Builder
 A partire da un cubo alimentato di dati, consente la definizione e pubblicazione
di uno o più Dataflow, ovvero l’oggetto “finale” pubblicato in SDMX, generando
la relativa metainformazione

13. Roma, 19/11/2019
ISTAT Data Manager – Dataflow Builder

14. Roma, 19/11/2019
ISTAT - Metadati Referenziali
Consente una gestione totale dei metadata referenziali, ovvero
della descrizione dei contenuti e della qualità dei dati statistici da
un punto di vista semantico (descrizione, metodologia di
elaborazione, contatti, ecc.)
Partendo da un modello di metadati predefinito (MSD), lo
strumento permette di:
- Compilare la metainformazione con una intuitiva interfaccia
web
- Esporre la metainformazione in modalità machine to machine
(REST API con risposte in sdmx-json)
- Pubblicare la metainformazione in formato human-readable
per mezzo di widget HTML che possono essere condivisi
online o inclusi (embedded) in pagine web

15. Roma, 19/11/2019
ISTAT Metadati Referenziali DCAT-AP IT
Una porta aperta verso gli open data:
- Interfaccia web predisposta per la
compilazione dei metadati referenziali secondo
lo standard DCAT-AP_IT, indicato nelle linee
guida per i cataloghi dati di AGID
- Esposizione di API CKAN per garantire
l’interoperabilità con portali open data (es.
Dati.Gov.IT, EU Open Data Portal, ecc.)

16. Roma, 19/11/2019
ISTAT SDMX Meta & Data Manager – Punti di forza
o Applicazione web moderna, implementata utilizzando le più
recenti tecnologie (es. React e .Net Core) e moderni paradigmi
di interfaccia utente
o Ampia copertura delle funzionalità necessarie per pubblicare in
SDMX
o Software open source interamente realizzato in Italia
o Modello dati altamente ottimizzato (circa 90sec per caricare 1
Milione di righe)
o Multilingua, multipiattaforma e multidatabase
o Facile da installare

17. Roma, 19/11/2019
Un nuovo toolkit a
supporto della diffusione
- GRAZIE -
Alessandro Greco
a.greco@sister.it