Sistema de Datos Integrados (iDatos) - capacidades analíticas

SISTEMA DE DATOS INTEGRADOS (iDatos)
Capacidades analíticas
UNIVERSIDAD DE LAS PALMAS DE GRAN CANARIA – SEPTIEMBRE 2019
SISTEMA DE DATOS
INTEGRADOS (iDatos)

Jesús Alberto González Yanes
jgonyanp@gobiernodecanarias.org
@algoya_dat
SISTEMA DE DATOS
INTEGRADOS (iDatos)

normativa

1. Ley 1/1991 de Estadística de la Comunidad Autónoma de Canarias
- Artículo 32 Peticiones a las Administraciones
- Artículo 34 Acceso a ficheros de datos
- Artículo 36 Recepción, envío y depósito de información estadística
2. Plan Estadístico de Canarias 2018-2022
- Directriz 4.1. Uso de fuentes administrativas y fuentes Big Data públicas o privadas
- Directriz 4.2. Integración de fuentes de datos, estadísticas multifuentes y sistema de datos
integrados

Línea 4. Eficiencia, reducción de carga y estimación en pequeños dominios
mediante el uso de nuevas fuentes de datos, integración de fuentes y
métodos estadísticos avanzados
Se aportan datos para pequeños dominios de interés para las Administraciones Públicas
de Canarias. Se ofrecen productos y servicios estadísticos basados tanto en encuestas
tradicionales como en nuevas fuentes de datos, incluyendo datos administrativos,
datos espaciales y, cuando sea posible, fuentes Big Data. Las nuevas fuentes de datos
complementan las existentes y ayudan a mejorar la calidad de los productos. Se
integran fuentes de datos y se georreferencian para generar nuevo valor informativo.

Directriz 4.1. Uso de fuentes administrativas y fuentes Big Data públicas o
privadas
La evolución experimentada en los últimos años en la disponibilidad de datos ha de
aprovecharse en la elaboración de las operaciones del Plan Estadístico de Canarias
2018-2022. Los métodos tradicionales de obtención de información primaria han de
combinarse con estas nuevas fuentes de datos de la mejor manera posible, en aras a
reducir la carga de los informantes, abaratar el coste de las estadísticas y, en muchos
casos, a disponer de indicadores más rápidos.
La potenciación del uso de registros administrativos y las bases de datos masivos (Big
Data) serán los dos bloques fundamentales de fuentes alternativas y
complementarias a la obtención tradicional de la información. Se deberán ejecutar
las actuaciones jurídicas, tecnológicas, procedimentales y formativas necesarias para
el despliegue de esta directriz.

Directriz 4.2. Integración de fuentes de datos, estadísticas multifuentes y
sistema de datos integrados
El artículo 32 de la Ley 1/1991 de Estadística de la Comunidad Autónoma de
Canarias indica que se constituirá un banco de datos administrativos para fines
estadísticos, que se nutrirá prioritariamente de los ficheros administrativos de la
Comunidad Autónoma de Canarias, a cuyo fin todos los departamentos deberán
remitir al Instituto Canario de Estadística los ficheros administrativos de los que sean
titulares y que sean necesarios para el ejercicio de la función estadística. Los
referidos ficheros deberán adecuarse, para su remisión, a los requisitos técnicos que
establezca el Instituto. Asimismo se señala que el banco de datos administrativos
para fines estadísticos deberá facilitar la fusión de los ficheros para fines estadísticos.

Este banco de datos se elabora a fin de mejorar la eficiencia de la actividad
estadística de interés de la Comunidad Autónoma de Canarias y para su desarrollo
durante la ejecución del Plan Estadístico de Canarias 2018-2022 se impulsará el
Sistema de Datos Integrados (iDatos). Dicho sistema debe permitir la producción de
estadísticas multifuentes mediante la elaboración de datos maestros organizados en
directorios y registros que faciliten el enlazamiento de fuentes diversas.

A su vez el Sistema de Datos Integrados debe facilitar la obtención de estadísticas
espaciales, mediante la georreferenciación de la información dentro de un Marco
Geoestadístico de Canarias alineado con el Global Statistical Geospatial Framework
elaborado por el Grupo de Expertos de Integración de Información Estadística y
Geoespacial de Naciones Unidas (UN EG-ISGI. United Nations Expert Group on the
integration of Statistical and Geospatial Information).

Objetivos
1. Debe permitir la integración de datos de fuentes administrativas
2. Debe permitir su integración con información geográfica
3. Debe facilitar la elaboración de estadísticas multifuentes
– Incluyendo fuentes Big Data
Hitos
1. Integración de microdatos
2. Georreferenciación de microdatos
3. Geocodificación de macrodatos
4. Anonimizar microdatos, macrodatos y cartografías

Comité Técnico
1. Definir y desarrollar, técnica y normativamente, el Sistema de Datos Integrados.
2. Elaborar e implementar un marco de calidad de fuentes administrativas para fines estadísticos.
3. Inventariar fuentes de información administrativa para uso estadístico. Apoyar en el desarrollo de un gestor de
inventario de fuentes de información administrativa para fines estadísticos, integrado en la Infraestructura de Datos y
Metadatos Estadísticos de Canarias (eDatos) y definición de los procedimientos asociados.
4. Elaborar e implementar un marco de trabajo en geoestadística.
5. Incorporar estrategias, procedimientos y tecnologías de georreferenciación, deduplicación y enlazamiento de
ficheros en un entorno integrado de datos estadísticos de origen administrativo.
6. Definir estrategias, normas, procedimientos y buenas prácticas de uso de ficheros administrativos para fines
geoestadísticos.
7. Incorporar procedimientos y tecnologías de control de la confidencialidad y el secreto estadístico.

datificación

El tiempo en las tipologías de fuentes
Encuestas
Censos
Registros Big Data

Las unidades de observación en las tipologías de fuentes
Registros
Big Data
Encuestas
ANALISIS LONGITUDINAL

El espacio en las tipologías de fuentes
Censos - Registros - Big DataEncuestas

Dominios pequeños
Poblaciones poco
frecuentes
Eventos poco
frecuentes

Estadística multifuentes

experiencias

New Zealand is leading the world with its use of data integration for research and analysis, and Stats
NZ is at the forefront.
Stats NZ's Integrated Data is a critical tool in the government's efforts to reduce poverty, improve health, and support a growing, inclusive economy. It
enables evidence-based insights, and measurement of the effectiveness of government initiatives and services.
The Integrated Data Infrastructure (IDI) and Longitudinal Business Database (LBD) are powerful integrated data tools that bring together information
from government agencies, Stats NZ surveys, and non-government organisations.
Stats NZ, as steward of the IDI and LBD, looks after the technology of these databases and ensures researchers meet the access conditions that keep
the data safe.

iDatos

Datos
Modelo organizacional por
tipología y naturaleza
(esquemas-tipo)
Metadatos
Soporte de normalización
semántica
Procedimientos
Soporte de procesos y
procesamiento

Directorios Códigos Descripción
Lugares C00047A Directorio de Calles y Direcciones
C00113A Directorio de Puntos de Interés Turístico (PIT)
Edificios, viviendas y
locales
(DEV)
C00111A Directorio de Edificios, Viviendas y Locales
C00111B Directorio de Viviendas Turísticas (VITUR)
Población y hogares
(DPH)
C00063A Directorio de Población y Hogares
Empresas y
establecimientos
(DUE)
C00021A Directorio de Unidades Económicas (DUE)
C00021B Directorio de Alojamientos Turísticos Colectivos
(ALOJATUR)
C00021C Directorio de Establecimientos de Alimentación y
Bebidas (ALIMERCA)
C00021D Directorio Especializado de Unidades Económicas de la
Industria
C00021E Directorio Especializado de Unidades Económicas de la
Energía
C00021F Directorio Especializado de Unidades Económicas del
Sector Comercial
C00021G Directorio Especializado de Unidades Económicas del
Sector Primario
DIRECTORIOS MAESTROS
- Direcciones
- Población
- Empresas
- Viviendas

MODELO GENERAL DE INTEGRACIÓN
Directorio: Colección de registros conceptualmente relacionados
Registro: Colección de ficheros relacionados con una de unidad de análisis
Capas: Colección de ficheros de un registro según funcionalidad de integración
Variables nucleares: Variables clave de un registro
Variables normalizadas: Variables que no siendo claves se quieren normalizar en iDatos
Variables de entidades relacionadas: Identificadores que vinculan unidades de un registro con las
de otro registro

Capa de relaciones (URD) > Vida administrativa de una persona

Resultados prototipo 2017
Registro de población
Fuentes
Administrativas
Ficheros
(N_FICH)
Registros
(N_DAT)
Versiones
(N_IDF)
Personas
(N_IDT)
Relaciones
(N_URD)
Serie: 2017- 2019 jun y 2016Q3 4 60 32.296.872 3.344.588 2.416.569 35.641.460

Resultados prototipo 2017

DAT
URD
Padrón (s)
RD_PMH
IDT
URD
a : IDT
b in (IDF, PMH,...)
IDF
Registro
Portales
C00047A_ID
DAT
URD
GEO
Afiliados (t)
RD_AFILIA
DAT
URD
GEO
MUFACE (t)
RD_MUFACE
RC
SITCAN 2017 DAT
URD
GEO
Cuentas Cotización
(t)
RD_COTIZACION_SE
GSOC
DAT
URD
GEO
Demandantes (t)
SD_DEMANDA
GEO
URD
GEO

Georreferenciación
Fuente propia
● Georreferenciación determinística
○ Método de enlazamiento directo a
ID_NOMEPORTALES
○ Método de enlazamiento heredado
● Georreferenciación pseudodeterminística
○ Método del portal más cercano
○ Método del centro de vía
● Georreferenciación probabilística
○ Método de API propia (algoritmo de
librería LibPostal)
Fuentes Big Data
● Georreferenciación probabilística
○ Método de API

Geocodificación
Demandantes de empleo en Santa Cruz de Tenerife
según barrios (Marzo 2017)

Geocodificación
Método de abajo-arriba
Polígonos suburbanos
1. Polígonos estadísticos generales
a. Distritos - Secciones
b. Entidades - Núcleos
c. Grid500 - Grid250
2. Polígonos estadísticos particulares
a. Mesh-block
b. Generalizaciones de polígonos
administrativos (manzanas, códigos
postales, barrios, etc)
3. Polígonos autogenerados

Geocodificación
Método de abajo-arriba
Polígonos suburbanos
1. Polígonos estadísticos generales
a. Distritos - Secciones
b. Entidades - Núcleos
c. Grid500 - Grid250
2. Polígonos estadísticos particulares
a. Mesh-block
b. Generalizaciones de polígonos
administrativos (manzanas, códigos
postales, barrios, etc)
3. Polígonos autogenerados (DBSCAN)

ACUERDO DE LAS COMISIONES ESTADÍSTICAS
DELEGADAS DE LAS CONSEJERÍAS PARA LA
REMISIÓN DE DATOS ADMINISTRATIVOS DE
CADA CONSEJERÍA AL BANCO DE DATOS
ADMINISTRATIVOS PARA FINES ESTADÍSTICOS.
1. Consejería de Agricultura, Ganadería, Pesca
y Aguas
2. Consejería de Empleo, Políticas Sociales y
Vivienda
3. Consejería de Educación y Universidades
4. Consejería de Turismo, Cultura y Deportes
5. Consejería de Obras Públicas y Trransporte

1. Sistema de información geográfica de parcelas agrícolas (SIGPAC)
2. Registro de Explotaciones Ganaderas (REGA)
3. Registro de Identificación Individual Animal (RIIA)
4. Registro de movimiento de animales (REMO)
5. Registro general de producciones agrarias (REGEPA)
6. Registro General de la Producción Agrícola
7. Registro de organizaciones de productores de frutas y hortalizas (Reg OPFH)
8. Registro vitícola comunitario (RVC)
9. Registro de explotaciones agrarias prioritarias
10. Registro de las Sociedades de Transformación Agrícola
11. Registro de Operadores de Productos de Agricultura Ecológica de Canarias (ROPE)
12. Registro de Embotelladores y Envasadores de Vino y Bebidas Alcohólicas
13. Registro de primera venta
14. Registro de productores de semillas y plantas de vivero
15. Concesiones y ordenaciones acuícola
16. Titulaciones náuticas de recreo y profesionales
17. Academias náuticas de recreo
18. Escuelas deportivas náuticas de recreo
19. Cofradías
20. Puntos de descargas
21. Registros de buques
22. Centro de buceo
23. Otros ficheros de interés de la Consejería de Agricultura, Ganadería, Pesca y Aguas
Consejería de Agricultura, Ganadería, Pesca y Aguas

1. Plan Concertado de Prestaciones Básicas de Servicios Sociales
2. Gestión de la Prestación Canaria de Inserción
3. Gestión de Reconocimiento del Grado de Discapacidad
4. Gestión de Prestaciones LISMI
5. Gestión de Prestaciones FAS
6. Gestión de las PNC
7. Registro de Entidades Colaboradoras en la Prestación de
Servicios Sociales
8. Registro de Entidades de Voluntariado de Canarias
9. Registro de Entidades Colaboradoras en la Atención Integral al
Menor
10. Registro de Centros de Día, Hogares y Clubes
11. Registro de Autorización y Acreditación de Centros y Servicios
Sociales de atención a personas mayores
12. Registro de Entidades Colaboradoras de Adopción
Internacional
13. Registro de Mediadores Familiares de Canarias
14. Registro e Inspección de Centros Ocupacionales y Pisos
Tutelados para Personas con Discapacidad
15. Gestión de la Comisión Tutelar del Mayores legalmente
incapacitado
16. Gestión de Escuelas Infantiles
17. Reconocimiento de la condición de Familias Numerosas
18. Directorio/Repositorio del Menor. Aplicativos específicos para:
- Maltrato infantil
- Justicia Juvenil
- Acogimiento familiar
- Acogimientos residenciales
- Menores en situación de riesgo
- Gestión de denuncias de menores de 14 años
- Gestión de desamparo
- Gestión de guardas y custodias
- Gestión de adopciones
Consejería de Empleo, Políticas Sociales y Vivienda

1. Datos de Canarias para las Estadísticas de Educación del Ministerio de Educación, Cultura y
Deportes. Incluye datos todos los niveles educativos agregados por centros de todos los centros
de Canarias, públicos, concertado y privados.
2. Estadística del alumnado de Formación Profesional. Relación nominal del alumnado que cursa
estudios de Formación Profesional en Centros Públicos de Canarias.
3. Datos de las certificaciones de comienzo de curso de los centros públicos de Canarias en todos
los niveles educativos.
4. Datos y sistema de indicadores de las pruebas de diagnóstico de los centros de Canarias
realizadas por el ACCUEE.
Las unidades de observación que son de interés son, para todas las enseñanzas no universitarias, y de
acuerdo con la metodología de la Estadística de Enseñanzas no Universitarias, son:
1. Centros
2. Plan de estudio
3. Profesorado y otro personal en centros (incluyendo situaciones especiales)
4. Alumnado matriculado
5. Resultados académicos del alumnado
6. Indicadores de las pruebas de diagnóstico.
Consejería de Educación y Universidades

Consejería de Turismo, Cultura y Deportes
1. Sistema de información turística
2. Registro General Turístico
3. Subvenciones al deporte canario
4. Registro de entidades culturales
Consejería de Obras Públicas y Transporte
1. Decreto 222/2000, de 4 de diciembre, por el que se establece el régimen de bonificaciones al
transporte marítimo interinsular de viajeros residentes en Canarias.
2. Orden FOM/2554/2006, de 27 de julio, por la que se establece el procedimiento de control para el
reintegro a las empresas navieras del importe de las bonificaciones al transporte marítimo para los
residentes en las Comunidades Autónomas de Canarias y de las Illes Balears y en las Ciudades de Ceuta
y Melilla.
3. Control administrativo de viajeros realizado por el Ente Puertos Canarios.

Decisiones
públicas

Apoyo a decisiones usando
evidencias estadísticas

Datos
Información
Conocimiento

Artículo 8. Información económica, presupuestaria y estadística.
1. Los sujetos incluidos en el ámbito de aplicación de este título
deberán hacer pública, como mínimo, la información relativa a los
actos de gestión administrativa con repercusión económica o
presupuestaria que se indican a continuación:
i) La información estadística necesaria para valorar el grado de
cumplimiento y calidad de los servicios públicos que sean de su
competencia, en los términos que defina cada administración
competente.
Ley 19/2013, de 9 de diciembre, de transparencia, acceso a
la información pública y buen gobierno
Información

Información

Planificar
estadísticas
Datificar Contexto Estratégicos Procesos Efectos
Fases y sistemas
Planificar estadísticas
Planificar políticas
Desarrollar políticas

Planificar
estadísticas
Datificar Contexto Estratégicos Procesos Efectos
Sistemas para desarrollar políticas
EVALUATING EU ACTIVITIES: A PRACTICAL GUIDE FOR THE COMMISSION SERVICES

Sistemas para desarrollar políticas
EfectosProcesos

Conocimiento

A fin de garantizar un tratamiento leal y transparente respecto del interesado,
teniendo en cuenta las circunstancias y contexto específicos en los que se tratan
los datos personales, el responsable del tratamiento debe utilizar
procedimientos matemáticos o estadísticos adecuados para la elaboración de
perfiles, aplicar medidas técnicas y organizativas apropiadas para garantizar, en
particular, que se corrigen los factores que introducen inexactitudes en los datos
personales y se reduce al máximo el riesgo de error, asegurar los datos
personales de forma que se tengan en cuenta los posibles riesgos para los
intereses y derechos del interesado y se impidan, entre otras cosas, efectos
discriminatorios en las personas físicas por motivos de raza u origen étnico,
opiniones políticas, religión o creencias, afiliación sindical, condición genética o
estado de salud u orientación sexual, o que den lugar a medidas que produzcan
tal efecto. Las decisiones automatizadas y la elaboración de perfiles sobre la
base de categorías particulares de datos personales únicamente deben
permitirse en condiciones específicas.
Conocimiento
RGPD – Elaboración y evaluación de perfiles

Fin científico

Marco jurídico uso de datos para fines científicos
Sistema estadístico nacional y sistema estadístico europeo
1. Ley 12/1989 de la Función Estadística Pública
2. Reglamento UE 223/2009 relativo a la estadística europea.
3. Reglamento UE 557/2013 acceso a datos confidenciales con fines
científicos
Sistema estadístico canario
1. Ley 1/1991 de Estadística de la Comunidad Autónoma de Canarias

Ley 12/1989 de la Función Estadística Pública. Secreto estadístico
• Prohíbe el uso de datos estadísticos con fines no estadísticos
• Regula y limita las cesiones con fines estadísticos
• Obliga a guardar secreto estadístico a todos los implicados en cualquier
fase del proceso estadístico
• Establece la disociación de datos de identificación directa
Reglamento UE 223/2009. Capítulo V
Podrá concederse el acceso a datos confidenciales que solo permitan la
identificación indirecta de unidades estadísticas a investigadores que lleven a
cabo análisis estadísticos con fines científicos (art. 23)
Reglamento UE 557/2013:
Desarrolla el R223/2009 para el acceso a datos confidenciales con fines de
investigación científica.

Acceso a datos confidenciales con fines científicos en Eurostat
Regulación establecida por el R557/2009
Procedimiento:
1. Acreditación de la entidad investigadora
2. Evaluación de proyectos de investigación
3. Determinación del método de acceso (en función del tipo de fichero)
Características:
1. Se establecen ficheros estándar de algunas operaciones estadísticas.
2. El acceso en centro seguro para los ficheros así calificados sólo se realiza en
Eurostat (Luxemburgo)

Acceso a datos confidenciales con fines científicos en Canarias
Anteproyecto de Ley de Estadística de la Comunidad Autónoma de Canarias

@istac_es
www.gobiernodecanarias.org
SISTEMA DE DATOS
INTEGRADOS (iDatos)
https://forms.gle/EpSGkmtRGk5uGrBU9
Agradecemos tu participación

Sistema de Datos Integrados (iDatos) - capacidades analíticas

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (9)

Similar a Sistema de Datos Integrados (iDatos) - capacidades analíticas

Similar a Sistema de Datos Integrados (iDatos) - capacidades analíticas (20)

Más de Instituto Canario de Estadística (ISTAC)

Más de Instituto Canario de Estadística (ISTAC) (20)

Último

Último (14)

Sistema de Datos Integrados (iDatos) - capacidades analíticas