Curso Aragón Open Data Pool: usuarios técnicos

Juan Valer
Responsable del área de desarrollo en gnoss.com
Gobierno de Aragón. Zaragoza.
19 de noviembre de 2018
Aragón Open Data Pool
Fondo Europeo de Desarrollo Regional - Construyendo Europa desde Aragón

¿Qué es Aragón Open Data
Pool?

¿Qué es Aragón Open Data Pool?

• Es un Grafo de Conocimiento que enlaza los datos
cargados desde las vistas de datos del API GA-OD-
CORE, mediante las entidades, ubicaciones y temas del
Gobierno de Aragón, modeladas semánticamente con la
Ontología EI2A.
• Ofrece un interfaz Web para usuarios no técnicos y un
API y un interfaz SPARQL para desarrolladores y
reutilizadores de datos abiertos.

Aragón Open Data Pool es un entorno de Datos Abiertos del Gobierno de
Aragón que ofrece unos interfaces que facilitan su conocimiento, uso y
mantenimiento; con las siguientes características:
• Construcción de un repositorio de datos unificado
• Ontología EI2A > Estándares W3C: OWL y RDF > Linked Data
• GRAFO DE CONOCIMIENTO
• Presentación de los datos a los usuarios sin conocimientos técnicos
• Web de Aragón Open Data Pool
• Sistemas de consulta de los datos para desarrolladores y reutilizadores
• API de Consulta y punto SPARQL
• Actualización automática o a demanda de los datos
• ETL Procesos de Extracción, Transformación y Carga de Datos

Arquitectura
AOD Pool
Website
AOD Pool
Tools
AOD Pool
API de Cargas
Procesos ETL
Openlink Virtuoso
AOD Pool
RDF Data
EI2A Ontology
HTPP
Requests
HTTP
SPARQL
Datos nuevos
o actualizados
API GA_OD_CORE Datos
AOD Pool
API de Consulta
HTTP Requests
HTTP
Datos
AOD Pool
SPARQL
Endpoint
HTTP Requests

La fuente de datos principal es el API
GA_OD_CORE
Aunque es posible subir datos en formato
CSV, sin que importe su origen

Origen de los datos
Los datos provienen de un conjunto de vistas de datos (>100) disponibles mediante
llamadas al API GA_OD_CORE. Sin entrar en detalles de cada vista, las podemos
agrupar en las siguientes temáticas:
• Elecciones y Plenos
• Ordenanzas (Municipales, Fiscales, Comarcales, etc.)
• Otros documentos: Archivo DARA, Símbolos municipales, etc.
• Entidades administrativas: municipios, comarcas, mancomunidades, etc.
• Eventos.
• Turismo: hoteles, albergues, restaurantes, campings, turismo rural, etc.
• Planeamiento.
• Agricultura: solicitudes de la PAC.
• Instalaciones de gestión de agua del IAA - Instituto Aragonés del Agua:
depuradoras, pozos, hidrantes, etc.
• Transporte: ARABUS, CRA y otras concesiones.

Página de inicio

Búsqueda de Ordenanzas de Tauste

Ficha de una ordenanza

Ficha de un municipio

DEMO

¿Qué es un grafo de
conocimiento?

¿Qué es un grafo de conocimiento?
¿Qué es una entidad?
https://www.youtube.com/watch?v=TJfrNo3Z-DU

Un grafo de conocimiento es un tipo particular de
grafo que, de acuerdo con la definición de Gartner
(2018) “codifican información (“conocimiento”)
como datos organizados en una malla o red
("grafo") de nodos y enlaces (“aristas o arcos”) en
lugar de en tablas de filas y columnas. Los nodos
contienen datos o sus etiquetas o metadatos; las
aristas enlazan nodos, representando las
relaciones entre ellos.”

Los grandes jugadores utilizan
grafos de conocimiento

Caso de uso: Google

Caso de uso: Facebook
Los datos de Facebook se estructuran
en un grafo: nodes, edges, fields.
Graph API es la herramienta para leer y
escribir en el grafo.

Caso de uso: Museo del prado

Caso de uso: BBVA

Caso de uso: didactalia.net

Objetivos de Aragón Open Data
Pool

• Unificación de datos
• Dar mayor visibilidad para usuarios sin
conocimientos técnicos
• Estandarización
• Facilitar la reutilización
Objetivos

Estandarización
Más de una cuarta parte del esfuerzo se
dedicó a la creación del modelo de datos.
A través del uso y extensión de la ontología
del EI2A
Y de la búsqueda de ontologías estándar
para determinadas áreas

Estandarización
Ontologías usadas:
– EI2A (Estructura de Información
Interoperable de Aragón)
– Harmonise (Turismo)
– Linked General Transit Feed Specification
(Linked GTFS) (Transporte)
– Wisdom (Agua)

Reutilización
Como hemos indicado antes, el Grafo de Conocimiento contiene datos de
Aragón Open Data, pero está preparado para albergar LOS datos de Aragón
Open Data en un proceso que supondrá:
• Mejorar la calidad de los datos con información adicional.
• Añadir nuevos datos al modelo, extendiendo el modelo ontológico si es
necesario.
• Integración con otras fuentes de datos internas o externas.
• Mejora de los interfaces de consulta.
En cualquier caso, Aragón Open Data Pool proporciona ya unas herramientas
que constituyen una avanzada plataforma de datos abiertos, sobre un
importante conjunto de datos, que permite a los desarrolladores reutilizar la
información y construir servicios avanzados que ofrezcan nuevas utilidades o
herramientas a los usuarios.

Reutilización
Por ejemplo:
• Análisis de datos para definir políticas en el sector público. Por ejemplo,
¿existe relación entre el tamaño de las parcelas y la pérdida de habitantes?
¿Los años de mayor construcción de vivienda descendieron las solicitudes
de ayudas agrarias, o fue al revés?
• Caracterización de territorios en mapas inteligentes: cultivos, servicios
turísticos, gestión de agua y medio ambiente, transporte, etc.
• Generación de contextos en aplicaciones externas. Por ejemplo, un
Alojamiento Rural podría mostrar un mapa en su web con las empresas de
turismo activo o los restaurantes más próximos.
• …

Datos y ontología del Grafo de
Conocimiento de Aragón Open
Data Pool

Esquema de Información Interoperable de
Aragón (EI2A)
https://opendata.aragon.es/def/ei2a/index.htm

Modelado ontológico
El modelo ontológico con el que estos datos se incorporan al Grafo de
Conocimiento es la Estructura de Información Interoperable de
Aragón EI2A desarrollado por ITA Innova.
http://opendata.aragon.es/def/ei2a
Al respecto de los datos integrados desde GA_OD_CORE, las clases
más relevantes del modelo EI2A son:
Organization, Person, Document, SpatialThing, CadastralParcel,
EventAgenda

Modelado ontológico
Durante el desarrollo del proyecto hemos propuesto extensiones del modelo
(extensibilidad, una de las características de los grafos) para integrar nuevas
entidades:
• Datos de Transporte. Ontología Linked GTFS.
• Gestión del Agua. Ontología WISDOM.
• Turismo. Ontología HarmoNet Tourism.
• Agricultura PAC. Extensión de la ontología EI2A.
• Además, hemos propuesto otras modificaciones para mejorar la relación entre
entidades, su categorización y la utilidad de algunos de sus atributos:
• Carga de documentos relacionados con organizaciones.
• Enlaces con el Grafo de AragoPedia y con GA_OD_CORE.
• Mapeo de vistas y entidades con categorías propuestas por ITA.
• Identificación de nuevos tipos de entidades.
• Normalización de fechas de ordenanzas.

Relaciones de los datos
El Grafo de Conocimiento ofrece información enlazada sobre:
• Entidades relacionadas entre si: Organizaciones, Personas, Documentos,
Eventos, PAC, Gestión del Agua y Transportes.
• Entidades asociadas a temas: Cultura, ocio y turismo; Derechos y servicios
del ciudadano; Educación, investigación y desarrollo; Empresa, comercio y
asociaciones; Infraestructuras, transportes y carreteras; Salud o Vivienda.
• Entidades clasificadas por lugares: Provincias, comarcas y municipios.
• Entidades relacionadas con el grafo de Aragopedia.

Volumen de datos
El grafo cuenta con unos 440 millones de triples, de los que 415 millones
corresponden a las solicitudes de ayudas agrarias de la PAC desde el año
1996 al 2014.
A propósito, ¿qué es un triple?
En la definición anterior del grafo decíamos: “… datos organizados en una
malla o red ("grafo") de nodos y enlaces (“aristas o arcos”) en lugar de en
tablas de filas y columnas. Los nodos contienen datos o sus etiquetas o
metadatos; las aristas enlazan nodos, representando las relaciones entre
ellos”. Por ejemplo:
Sujeto - Nodo Predicado - Relación Objeto - Nodo o Atributo
ei2a:solicitud-pac-300-2006-
50056
pos:location ei2a:municipio-50056
ei2a:municipio-50060 ei2a:organizationName "BULBUENTE“
ei2a:municipio-50060 org:subOrganizationOf ei2a:comarca-13
ei2a:comarca-13 ei2a:organizationName "CAMPO DE BORJA"

Logros

• Unificar el contenido de más de 130
vistas del API GA_OD_CORE
• Relacionar miles de entidades,
creando un grafo rico y fácil de navegar
• Facilitar la reutilización
• Dar mayor visibilidad a los datos de
Aragon Open Data para usuarios sin
conocimientos técnicos
Logros

Relación y problemática de
datos

Relación y problemática de datos
Relación de datos:
– Cada entidad tiene una URI única
– La URI se compone con el identificador de
cada vista
– Hay entidades que se relacionan con
otras, pero no a través de su identificador

Ejemplo #1: Vista 11 Municipio
Vista 5 Ordenanza Gral. Municipio
Vista 62 Registro de llamadas

Ejemplo #2:
La Almunia de Doña Godina
Almunia de Doña Godina, La

Ejemplo #3:

Ejemplo #4:
Código SIGPAC 50243 Código INE 50240

Problemática de datos:
– Datos mal codificados: DATOS P?BLICOS
– Campos CHAR != VARCHAR:
"0";"ARTIGA ";
– CSV mal formados: "DE USO TEMPORAL
O ESPORADICO DE LA SALA DEL
“CLOT” "

Cantidad de datos:
– Vistas con más de 93 millones de registros

Funcionamiento

Utilidades

• Archivos XML de mapeo de atributos
de ontología
• Archivos YML de plantillas HTML
• API de administración
• Configuraciones de búsquedas en
base de datos
• Aplicación de sincronización periódica
de vistas
Utilidades

¿Preguntas?

http://opendata.aragon.es
Juan Valer. @juanvalert

Curso Aragón Open Data Pool: usuarios técnicos

Recomendados

Recomendados

Más contenido relacionado

Similar a Curso Aragón Open Data Pool: usuarios técnicos

Similar a Curso Aragón Open Data Pool: usuarios técnicos (20)

Último

Último (14)

Curso Aragón Open Data Pool: usuarios técnicos