Situación de las iniciativas de
Open Data internacionales
(y algunas recomendaciones)
Curso de Verano: BigData y Machine Learning junto a
fuentes de datos abiertos para especializar el sector
agroganadero
Cáceres, 25/09/2018
With contributions from María Poveda, Raúl García-Castro
and Paola Espinoza
Oscar Corcho
ocorcho@fi.upm.es
@ocorcho, @opencitydata_es
https://www.slideshare.com/ocorcho
License
• This work is licensed under the license
CC BY-NC-SA 4.0 International
• http://purl.org/NET/rdflicense/cc-by-nc-sa4.0
• You are free:
• to Share — to copy, distribute and transmit the work
• to Remix — to adapt the work
• Under the following conditions
• Attribution — You must attribute the work by inserting
• “[source Oscar Corcho]” at the footer of each reused slide
• a credits slide stating: “These slides are partially based on
“Situación de las iniciativas de Open Data internacionales (y
algunas recomendaciones)” by O. Corcho”
• Non-commercial
• Share-Alike
Talk Objectives
• Share some international experiences in the
application of Open Data principles (from an Open
Government perspective)
• Technical challenges and opportunities
• Barriers for adoption
• Organisational changes for successful Open Data strategies
• With a special focus on a few of them where I am
involved
• And with a focus on how ontologies (aka agreed
vocabularies and shared data structures) can make a
difference
• And how we are adapting existing ontology
engineering practices to achieve this goal
Open Government (a 1000 ft view)
• El Gobierno Abierto tiene como objetivo que los ciudadanos
colaboren en la creación y la mejora de los servicios públicos y
en el robustecimiento de la transparencia y la rendición de
cuentas. El concepto de Gobierno Abierto se sustenta en tres
pilares básicos: la Transparencia, la Colaboración, la
Participación.
• Fuente:
https://administracionelectronica.gob.es/pae_Home/pae_Estrategia
s/pae_Gobierno_Abierto_Inicio.html
Participación
ciudadana
Transparencia
Datos
abiertos
Let’s start with a video…
https://youtu.be/85s3EgEgztw
CLARITY blueprint
• http://www.zaragoza.es/sede/portal/clarity/index
CLARITY Blueprint in Zenodo
https://zenodo.org/record/1215724
Let’s now focus on open data
¿Qué son los datos abiertos (open data)?
• “Los datos abiertos (open data) son datos que
pueden ser utilizados, reutilizados y redistribuidos
libremente por cualquier persona u organización –
sujetos únicamente, como mucho, a los requisitos de
atribución y de compartir de manera similar”
• Elementos clave:
• Disponibilidad y Acceso: los datos deben estar disponibles
como un todo, con un coste máximo que sea el de su
reproducción, y preferiblemente en Internet. Asimismo,
deben ser fáciles de modificar.
• Reutilización y Redistribución: los datos deben darse con
una licencia que permita la reutilización y redistribución,
incluyendo la mezcla con otros conjuntos de datos.
• Participación Universal: todos deben poder usarlos,
reutilizarlos y redistribuirlos.
[fuente: Open Data Handbook, http://opendatahandbook.org/en/what-is-open-data/ ]
Legislación relevante. Europa y España
• Open Access Initiative (2001). Información científica; > 510 orgs
• Convención de Aarhus (1998). Derecho de participación y acceso; 41
países y la UE
• Directivas PSI. Reutilización de la PSI (2003/98/EC y 2013/37/UE)
• Convención sobre el acceso a documentos oficiales (2009)
• 12 países: Bélgica, Finlanda, Noruega, Suecia, Hungría, Estonia,
Lituania, Eslovenia, Georgia, Montenegro, Serbia y Macedonia
• Ley 37/2007. Reutilización de PSI (transpone la directiva 2003/98/EC)
• Modificada: ley 18/2015 (BOE 10/07/2015, directiva 2013/37/UE )
• Ley 11/2007. Acceso de los ciudadanos a los servicios públicos, y
Derecho a la calidad de los servicios
• RD 4/2010 Esquema Nacional de Interoperabilidad
• Estándares abiertos, principio de neutralidad tecnológica, open
source
• RD 1495/2011 Desarrolla la Ley 37/2007, para el ámbito estatal
• Norma Técnica de Interoperabilidad (19/02/2013, BOE 4/3/2013)
[fuente: basado en idea original de Antonio Rodríguez Pascual (CNIG)]
Una explosión de portales de datos abiertos
Datos abiertos y cómo publicarlos
1) En un tablón de anuncios
• Para aquellos con mucho tiempo disponible
• O los que están allí en el momento preciso
Adapted from: Antonio Rodríguez Pascual (IGN)
Datos abiertos y cómo publicarlos
2) En una página Web o en una aplicación móvil
• Para las personas
Adapted from: Antonio Rodríguez Pascual (IGN)
Datos abiertos y cómo publicarlos
2) En una página Web o en una aplicación móvil
• Para las personas (p.ej, obtenido a partir de GTFS)
Adapted from: Antonio Rodríguez Pascual (IGN)
Datos abiertos y cómo publicarlos
3) En ficheros
• Para ser cargados por humanos en un Sistema
de Información (XML, HTML, CSV, GTFS, etc.)
• Con suerte, no es un PDF escaneado
Adaptado de: Antonio Rodríguez Pascual (IGN)
Datos abiertos y cómo publicarlos
4) Mediante servicios Web
• Para ser consultados por sistemas (y personas)
• Permite generar servicios de valor añadido
• Integrarlo en la lógica de la aplicación del usuario
Adaptado de: Antonio Rodríguez Pascual (IGN)
Todos juntos…, y mejor algo revueltos…
Datos abiertos y cómo publicarlos
5) Mediante APIs (semánticas) y enlazadas
• Para ser consultados por sistemas (y personas)
• Permite generar servicios de valor añadido
• Formatos estandarizados (JSON, JSON-LD, RDF)
• Modelos estandarizados (vocabularios, ontologías)
 No reutilizable
√ Reutilizable.
 No abierto
√ Reutilizable, abierto.
 No completo
√ Reutilizable, abierto,
completo
 No enlazado
√ Reutilizable, abierto,
completo, enlazado
Formatos de representación de los datos
Y muchos otros: JSON, JSON-LD, Shapefiles, KMZ, KML, PC-Axis, etc.
El esquema de 5 estrellas de Tim Berners-Lee
¿De qué iniciativas internacionales
podemos hablar? Privadas, públicas
(gobiernos), de investigación
Google Data Search
• https://toolbox.google.com/datasetsearch
EU Open Data Portal
• https://data.europa.eu/euodp/data/
Several ongoing international initiatives
• Open Government Partnership
• Global Open Data Initiative
• National and local initiatives
• https://www.opengovpartnership.org/countries/spain
• https://www.opengovpartnership.org/countries/madrid-
spain
• Open Data Charter
• https://opendatacharter.net/
• 6 main principles
The OGP process
Open Data Charter principles
Open Data Charter principles
The ODI Node network
¿Y qué hacemos en el área de la
Ciencia?
Open Science / Ciencia Abierta
Lab book
Digital
Log
Laboratory Protocol
(recipe)
Scientific
Workflow
Experiment
In silico experiment
30
How do we do Science? Wet labs and in-silico
How do we do Science? Main components
Open Science (Ciencia Abierta)
bundles and relates digital resources of a scientific experiment
or investigation using standard mechanisms, “tool middleware”
http://www.w3.org/community/rosc/
http://www.researchobject.org/
Data repositories
https://edatos.consorciomadrono.es/
Data repositories
What about Food and Agriculture?
GODAN
https://www.godan.info/pages/open-data
Copernicus data
https://scihub.copernicus.eu/
FOODIE EU Project
https://www.foodie-cloud.org/
In summary…
• Open data offers good opportunities
• For 3rd party reusers
• For city officers
• For anybody
• But these efforts need to be taken seriously in order
to make the most of it
• We need a principled approach to publish and exploit
open data more effectively
• Not only based on open formats and 5-star classifications
• But also on shared vocabularies and data structures
• Develop once, deploy everywhere
Algunas tendencias...
Business-to-Government Data Sharing
SavingFood
European Open Science Cloud
Fuente: Comisión Europea
CLIMATHON (26-27 Octubre)
Situación de las iniciativas de
Open Data internacionales
(y algunas recomendaciones)
Curso de Verano: BigData y Machine Learning junto a
fuentes de datos abiertos para especializar el sector
agroganadero
Cáceres, 25/09/2018
With contributions from María Poveda, Raúl García-Castro
and Paola Espinoza
Oscar Corcho
ocorcho@fi.upm.es
@ocorcho, @opencitydata_es
https://www.slideshare.com/ocorcho

Situación de las iniciativas de Open Data internacionales (y algunas recomendaciones)

  • 1.
    Situación de lasiniciativas de Open Data internacionales (y algunas recomendaciones) Curso de Verano: BigData y Machine Learning junto a fuentes de datos abiertos para especializar el sector agroganadero Cáceres, 25/09/2018 With contributions from María Poveda, Raúl García-Castro and Paola Espinoza Oscar Corcho ocorcho@fi.upm.es @ocorcho, @opencitydata_es https://www.slideshare.com/ocorcho
  • 2.
    License • This workis licensed under the license CC BY-NC-SA 4.0 International • http://purl.org/NET/rdflicense/cc-by-nc-sa4.0 • You are free: • to Share — to copy, distribute and transmit the work • to Remix — to adapt the work • Under the following conditions • Attribution — You must attribute the work by inserting • “[source Oscar Corcho]” at the footer of each reused slide • a credits slide stating: “These slides are partially based on “Situación de las iniciativas de Open Data internacionales (y algunas recomendaciones)” by O. Corcho” • Non-commercial • Share-Alike
  • 3.
    Talk Objectives • Sharesome international experiences in the application of Open Data principles (from an Open Government perspective) • Technical challenges and opportunities • Barriers for adoption • Organisational changes for successful Open Data strategies • With a special focus on a few of them where I am involved • And with a focus on how ontologies (aka agreed vocabularies and shared data structures) can make a difference • And how we are adapting existing ontology engineering practices to achieve this goal
  • 4.
    Open Government (a1000 ft view) • El Gobierno Abierto tiene como objetivo que los ciudadanos colaboren en la creación y la mejora de los servicios públicos y en el robustecimiento de la transparencia y la rendición de cuentas. El concepto de Gobierno Abierto se sustenta en tres pilares básicos: la Transparencia, la Colaboración, la Participación. • Fuente: https://administracionelectronica.gob.es/pae_Home/pae_Estrategia s/pae_Gobierno_Abierto_Inicio.html Participación ciudadana Transparencia Datos abiertos
  • 5.
    Let’s start witha video… https://youtu.be/85s3EgEgztw
  • 6.
  • 7.
    CLARITY Blueprint inZenodo https://zenodo.org/record/1215724
  • 8.
    Let’s now focuson open data
  • 9.
    ¿Qué son losdatos abiertos (open data)? • “Los datos abiertos (open data) son datos que pueden ser utilizados, reutilizados y redistribuidos libremente por cualquier persona u organización – sujetos únicamente, como mucho, a los requisitos de atribución y de compartir de manera similar” • Elementos clave: • Disponibilidad y Acceso: los datos deben estar disponibles como un todo, con un coste máximo que sea el de su reproducción, y preferiblemente en Internet. Asimismo, deben ser fáciles de modificar. • Reutilización y Redistribución: los datos deben darse con una licencia que permita la reutilización y redistribución, incluyendo la mezcla con otros conjuntos de datos. • Participación Universal: todos deben poder usarlos, reutilizarlos y redistribuirlos. [fuente: Open Data Handbook, http://opendatahandbook.org/en/what-is-open-data/ ]
  • 10.
    Legislación relevante. Europay España • Open Access Initiative (2001). Información científica; > 510 orgs • Convención de Aarhus (1998). Derecho de participación y acceso; 41 países y la UE • Directivas PSI. Reutilización de la PSI (2003/98/EC y 2013/37/UE) • Convención sobre el acceso a documentos oficiales (2009) • 12 países: Bélgica, Finlanda, Noruega, Suecia, Hungría, Estonia, Lituania, Eslovenia, Georgia, Montenegro, Serbia y Macedonia • Ley 37/2007. Reutilización de PSI (transpone la directiva 2003/98/EC) • Modificada: ley 18/2015 (BOE 10/07/2015, directiva 2013/37/UE ) • Ley 11/2007. Acceso de los ciudadanos a los servicios públicos, y Derecho a la calidad de los servicios • RD 4/2010 Esquema Nacional de Interoperabilidad • Estándares abiertos, principio de neutralidad tecnológica, open source • RD 1495/2011 Desarrolla la Ley 37/2007, para el ámbito estatal • Norma Técnica de Interoperabilidad (19/02/2013, BOE 4/3/2013) [fuente: basado en idea original de Antonio Rodríguez Pascual (CNIG)]
  • 11.
    Una explosión deportales de datos abiertos
  • 12.
    Datos abiertos ycómo publicarlos 1) En un tablón de anuncios • Para aquellos con mucho tiempo disponible • O los que están allí en el momento preciso Adapted from: Antonio Rodríguez Pascual (IGN)
  • 13.
    Datos abiertos ycómo publicarlos 2) En una página Web o en una aplicación móvil • Para las personas Adapted from: Antonio Rodríguez Pascual (IGN)
  • 14.
    Datos abiertos ycómo publicarlos 2) En una página Web o en una aplicación móvil • Para las personas (p.ej, obtenido a partir de GTFS) Adapted from: Antonio Rodríguez Pascual (IGN)
  • 15.
    Datos abiertos ycómo publicarlos 3) En ficheros • Para ser cargados por humanos en un Sistema de Información (XML, HTML, CSV, GTFS, etc.) • Con suerte, no es un PDF escaneado Adaptado de: Antonio Rodríguez Pascual (IGN)
  • 16.
    Datos abiertos ycómo publicarlos 4) Mediante servicios Web • Para ser consultados por sistemas (y personas) • Permite generar servicios de valor añadido • Integrarlo en la lógica de la aplicación del usuario Adaptado de: Antonio Rodríguez Pascual (IGN)
  • 17.
    Todos juntos…, ymejor algo revueltos…
  • 18.
    Datos abiertos ycómo publicarlos 5) Mediante APIs (semánticas) y enlazadas • Para ser consultados por sistemas (y personas) • Permite generar servicios de valor añadido • Formatos estandarizados (JSON, JSON-LD, RDF) • Modelos estandarizados (vocabularios, ontologías)
  • 19.
     No reutilizable √Reutilizable.  No abierto √ Reutilizable, abierto.  No completo √ Reutilizable, abierto, completo  No enlazado √ Reutilizable, abierto, completo, enlazado Formatos de representación de los datos Y muchos otros: JSON, JSON-LD, Shapefiles, KMZ, KML, PC-Axis, etc.
  • 20.
    El esquema de5 estrellas de Tim Berners-Lee
  • 21.
    ¿De qué iniciativasinternacionales podemos hablar? Privadas, públicas (gobiernos), de investigación
  • 22.
    Google Data Search •https://toolbox.google.com/datasetsearch
  • 23.
    EU Open DataPortal • https://data.europa.eu/euodp/data/
  • 24.
    Several ongoing internationalinitiatives • Open Government Partnership • Global Open Data Initiative • National and local initiatives • https://www.opengovpartnership.org/countries/spain • https://www.opengovpartnership.org/countries/madrid- spain • Open Data Charter • https://opendatacharter.net/ • 6 main principles
  • 25.
  • 26.
  • 27.
  • 28.
    The ODI Nodenetwork
  • 29.
    ¿Y qué hacemosen el área de la Ciencia? Open Science / Ciencia Abierta
  • 30.
    Lab book Digital Log Laboratory Protocol (recipe) Scientific Workflow Experiment Insilico experiment 30 How do we do Science? Wet labs and in-silico
  • 31.
    How do wedo Science? Main components
  • 32.
  • 33.
    bundles and relatesdigital resources of a scientific experiment or investigation using standard mechanisms, “tool middleware” http://www.w3.org/community/rosc/ http://www.researchobject.org/
  • 34.
  • 35.
  • 36.
    What about Foodand Agriculture?
  • 37.
  • 38.
  • 39.
  • 40.
    In summary… • Opendata offers good opportunities • For 3rd party reusers • For city officers • For anybody • But these efforts need to be taken seriously in order to make the most of it • We need a principled approach to publish and exploit open data more effectively • Not only based on open formats and 5-star classifications • But also on shared vocabularies and data structures • Develop once, deploy everywhere
  • 41.
  • 42.
  • 43.
  • 44.
    European Open ScienceCloud Fuente: Comisión Europea
  • 45.
  • 46.
    Situación de lasiniciativas de Open Data internacionales (y algunas recomendaciones) Curso de Verano: BigData y Machine Learning junto a fuentes de datos abiertos para especializar el sector agroganadero Cáceres, 25/09/2018 With contributions from María Poveda, Raúl García-Castro and Paola Espinoza Oscar Corcho ocorcho@fi.upm.es @ocorcho, @opencitydata_es https://www.slideshare.com/ocorcho

Notas del editor

  • #7 Mention video, https://github.com/zaragoza-sedeelectronica/clarity
  • #10 http://opendatahandbook.org/en/what-is-open-data/
  • #15 http://www.gtfs-data-exchange.com/agency/madrid/
  • #31 Data driven, usually represented as Directed Acyclic Graphs (DAGs)
  • #34 To share your research materials (RO as a social object) To facilitate reproducibility and reuse of methods To be recognized and cited (even for constituent resources) To preserve results and prevent decay (curation of workflow definition; using provenance for partial rerun) Middleware