Slide della lezione tenuta a Bari il 17 novembre 2013 nell'ambito del Laboratorio dal Basso "Open Data in Action"

1. Strumenti Google per gli Open Data
Best practice dall'esperienza di Palermo
Bari, 17 novembre 2013
Francesco Passantino
fpassantino@gmail.com
about.me/fpassantino

2. about.me/fpassantino
Dal 1990 Ricercatore, Consulente e Formatore
nelle Tecnologie dell’Informazione e della
Comunicazione. Ho fondato e lavorato per
diverse Startup. Valutatore di imprese per
banche ed altri enti.
Ho fondato il Google Developer Group di
Palermo e co-fondato il progetto Sementor.
Sono Ambassador del progetto Working
Capital di Telecom Italia e della Maker Faire
Rome.
Svolgo attività di Digital Strategist, con
specializzazione in servizi Social Local Mobile.
Sto organizzando la Palermo Startup
Weekend.
2

3. Programma
• Google/Open Refine
https://code.google.com/p/google-refine/
• Google Fusion Table
https://chrome.google.com/webstore/detail/fusion-tablesexperimenta/pfoeakahkgllhkommkfeehmkfcloagkl/related?
hl=it
• Google Public Data Explorer
http://www.google.com/publicdata/directory
• Open Data a Palermo
http://www.comune.palermo.it/opendata.php
3

4. Strumenti Google per gli Open Data
GOOGLE/OPEN REFINE
4

5. Introduction to OpenRefine
• http://openrefine.org/
– Download, Installazione, Documentazione
– Explore Data
http://www.youtube.com/watch?v=B70J_H_zAWM
– Clean and Transform Transform Data
http://www.youtube.com/watch?v=cO8NVCs_Ba0
– Reconcile / Match
http://www.youtube.com/watch?v=5tsyz3ibYzk
5

6. Esercizi su Open Refine
• Geocoding
https://github.com/OpenRefine/OpenRefine/
wiki/Geocoding
• Fetching URLs From Web Services
https://github.com/OpenRefine/OpenRefine/
wiki/Fetching-URLs-From-Web-Services
6

7. Strumenti Google per gli Open Data
TOOLS
7

8. Table Capture
https://chrome.google.com/webstore/detail/table-capture/iebpjdmgckacbodjpijphcplhebcmeop
8

9. Funzioni utili in Google Spreadsheet
Funzione
Descrizione
DETECTLANGUAGE
Identifica la lingua in cui è scritto il testo all'interno
di un intervallo specifico
GOOGLETRANSLATE
Traduce il testo nell'intervallo specificato dalla lingua
di origine a quella di destinazione.
IMAGE
Inserisce un'immagine all'interno di una cella
IMPORTDATA
La funzione ImportData recupera informazioni da un
file CSV o TSV.
IMPORTFEED
Recupera le informazioni da un feed di dati.
IMPORTHTML
La funzione ImportHTML consente di importare i
dati in una tabella o elenco particolare da una
pagina HTML
IMPORTXML
Recupera le informazioni da un file XML.
https://support.google.com/drive/table/25273?hl=it
9

10. Google Sitemap> Excel+SeoTools
• Protocollo: www.sitemaps.org
• Robots.txt
Sitemap: http://example.com/sitemap_location.xml
• XML>EXCEL+SeoTools
http://nielsbosma.se/projects/seotools/
Social:like, G+ count, Twitter count
10

11. Strumenti Google per gli Open Data
GOOGLE FUSION TABLE
11

12. Create with Fusion Tables
• Installazione estensione
https://drive.google.com/#query?view=2&filter=tables
• Esempi
https://support.google.com/fusiontables/answer/184641
– Mappa
https://support.google.com/fusiontables/answer/2527132?hl=en&top
ic=2573107&ctx=topic
– Grafici
https://support.google.com/fusiontables/answer/2562121?hl=en&top
ic=2573107&ctx=topic
– Condivisione
https://support.google.com/fusiontables/answer/2562055?hl=en&top
ic=2573107&ctx=topic
– Mappa ad intensità
https://support.google.com/fusiontables/answer/1032332
12

13. Esempio: OSM>Qgis>Fusion Table
13

14. Esempio uffici comunali
14

15. Strumenti Google per gli Open Data
GOOGLE PUBLIC DATA EXPLORER
15

16. Public Data
• Directory
http://www.google.com/publicdata/directory
• Upload Dataset
http://www.google.com/publicdata/admin
• DSPL
https://developers.google.com/publicdata/?hl=it&csw=1
16

17. Riferimenti, Tool, Esempi
•
•
•
•
•
•
•
•
Freebase: http://www.freebase.com/
Shape escape: http://www.shpescape.com/
Opendatakit: http://opendatakit.org/
Cleaning Data with Refine
http://geojournalism.oeco.org.br/2013/07/cleaning-data-with-refine/
School of data
http://schoolofdata.org/handbook/
http://schoolofdata.org/online-resources/
Data Journalism Handbook
http://datajournalismhandbook.org/1.0/en/index.html
Caso d’uso
http://www.msanti.net/2013/09/29/il-bilancio-2013-del-comune-diimola-visualizzato/
Altri spunti: http://social-dynamics.org/twitter-network-data/
17

18. Best practice dall'esperienza di Palermo
OPEN DATA A PALERMO
18

19. Linee Guida per le attività sugli Open
Data della Città di Palermo
A cura di:
• Marco Alfano
• Andrea Borruso
• Giulio Di Chiara
• Gerlando Gibilaro
• Francesco Passantino
• Ciro Spataro
• Davide Taibi
19

20. Indice
•
INTRODUZIONE E PRINCIPI
–
•
ORGANIZZAZIONE DEL COMUNE PER LE ATTIVITÀ SUGLI OPEN DATA
–
•
Metodologia per la pubblicazione dei dati in formato open, Modalità di produzione dei dataset e formato di
pubblicazione, I Metadati, Licenza per il riutilizzo, Frequenza di aggiornamento, Modalità di pubblicazione dei dataset
sul sito web, Comunicazione e promozione dei dataset pubblicati
RIUTILIZZO DEGLI OPEN DATA
–
•
•
•
•
•
•
Strutturazione interna, Modello Operativo, Formazione, Partecipazione sociale nel processo degli Open Data
comunali, Attività di monitoraggio e ruolo degli indicatori
PROCESSO DI PUBBLICAZIONE DEGLI OPEN DATA
–
•
Funzione delle Linee Guida, Governo Aperto e dati aperti come strumenti di trasparenza, Open Data, Normativa di
riferimento: Normativa Italiana, Normativa Europea, Normativa Internazionale cui aderisce lo Stato Italiano
Modalità di riutilizzo dei dati pubblicati e richiesta di pubblicazione di nuovi dati, Commenti, suggerimenti e
segnalazioni sui dataset pubblicati, Utilizzo da parte del Comune di applicazioni e interfacce sviluppate da terzi
OBIETTIVI, AZIONI E TEMPI
APPENDICE A: DEFINIZIONI
APPENDICE B: CATALOGAZIONE DEI SET DI DATI CON IL METODO DELLE STELLE
APPENDICE C: SCHEDA CATALOGAZIONE DATASET ED ESEMPI
APPENDICE D: ESEMPI DI DATASET DI LARGO INTERESSE
RIFERIMENTI BIBLIOGRAFICI
20

21. Metodologia per la pubblicazione dei
dati in formato open
1.
2.
3.
4.
5.
6.
7.
individuazione e selezione dei dataset
bonifica
arricchimento tramite metadati
validazione e pubblicazione (dati a 3 stelle)
analisi e modellazione
linking con dataset esterni
validazione e pubblicazione (dati a 4 e 5
stelle)
21

22. Metadati 1/2
•
•
•
•
•
•
•
•
•
•
Titolo *: Nome del dataset comprensibile da un utente generico. E’ il nome che
viene mostrato all’utente quando consulta il dataset (es. “Elenco dei siti turistici
visitabili”)
Referente*: E’ il responsabile del dataset, cioé il “titolare della banca dati” come
definito sopra (nel paragrafo sulla strutturazione interna)
Assessorato titolare *: Assessorato Titolare (es. Ass. BB.CC)
Contatto *: email contatto
Autore: Nome dell’autore
email autore: email autore
Descrizione *: Descrizione testuale del contenuto informativo del dataset
Categorie *: Categoria o categorie alle quali il dataset appartiene**
Tag/Parole chiave *: Lista di termini associati al dataset che lo descrivono, e
rendono possibile la sua classificazione e la sua ricerca
Documentazione tecnica: Indirizzo o indirizzi delle pagine web che contengono
informazioni utili alla comprensione del contenuto del dataset
22

23. Metadati 2/2
•
•
•
•
•
•
•
•
•
•
•
•
•
Copertura Geografica: Territorio amministrativo di riferimento (es. “Palermo”, “II
Circoscrizione”)**
Copertura Temporale (Data di inizio) *: Data di inizio validità
Copertura Temporale (Data di fine) *: Data di fine validità
Aggiornamento *: Frequenza di aggiornamento (es. “mensile”, “annuale”,
“giornaliera”)**
Data di pubblicazione *: Data in cui il dataset è reso disponibile on-line
Data di aggiornamento *: Data di ultima modifica del dataset
Licenza *: Tipo di licenza applicata (vedi capitolo relativo)**
Formato *: Formato di pubblicazione (standard) del dataset**
Codifica Caratteri: Codifica dei caratteri utilizzata (es. “latin-1”, “PC-850”)**
Dimensione: Dimensione in byte (o multipli di byte) del dataset
URI permanente: Identificatore univoco del dataset
Dataset richiesto da un cittadino: Booleano si/no
Altro: Ogni altra informazione utile per dataset
23

24. Dataset di largo interesse
• Priorità alta:
–
–
–
–
–
–
siti turistici
i dati raccolti nel geoblog
news
piani di lavoro aziende partecipate
stradario
scuole
• Analisi necessarie:
– le fermate degli autobus della città (non è necessario che sia un file cartografico,
anche una tabella con nome e codice fermata, indirizzo, ecc)
– le tabelle correlate che consentono di incrociare linee con fermate
– le linee degli autobus in formato cartografico
– l'anagrafe sulle farmacie
– i dati sulle opere pubbliche che impattano su strada (quindi cantierizzate)
– elenco dei beni comunali.
24

25. Riferimenti Bibliografici
•
•
•
•
•
•
•
•
•
Agenzia per l’Italia Digitale - Linee Guida Nazionali per la Valorizzazione del
Patrimonio Informativo Pubblico (Secondo Semestre 2013)
Comune di Milano - Linee di indirizzo per la realizzazione del progetto Open Data
Formez PA - Linee guida per i siti web delle PA, Vademecum Open Data
Regione Emilia-Romagna - LINEE GUIDA RELATIVE AL RIUTILIZZO E MESSA A
DISPOSIZIONE IN Open Data DEI DATI PUBBLICI DELL'AMMINISTRAZIONE
REGIONALE
Regione Lombardia - CRITERI GENERALI per l’Open Data
Regione Piemonte - Linee Guida relative al riutilizzo e alla diffusione tramite la rete
internet dei documenti e dei dati pubblici dell'Amministrazione regionale
Provincia Autonoma di Trento - Linee guida per il riutilizzo e la diffusione dei dati
pubblici
DigitPA - Linee Guida per l’interoperabilità semantica attraverso i Linked Open Data
Boris Villazón-Terrazas, Luis. M. Vilches-Blázquez, Oscar Corcho, and Asunción
Gómez-Pérez Methodological Guidelines for Publishing Government Linked Data.
Linking Government Data. D. Wood (Ed.) Part 1, pp.: 27- 49. Springer, New York.
2011. ISBN: 978-1-4614-1767-5.
25