SDMX – STATISTICAL DATA AND METADA EXCHANGE INEI

SDMX Training Course
Michael Macavilca Mejia
Analista de Sistemas – INEI – Peru
Junio - 2016

Eurostat
Directorio General de la Comisión Europea.
Tiene por misión proveer a la Unión Europea de un servicio
de información estadístico de gran calidad.
En conjunto con los Institutos Nacionales de Estadística de los
paises miembros conforma el Sistema Estadístico Europeo
(ESS).

Roles de Eurostat en el Sistema Estadístico Europeo (ESS)
 Desarrollar y proponer un marco común a traves de
regulaciones y normas, en cooperación con los países
miembros.
 Desarrollo de calidad y monitoreo mediante revisiones y
autoevaluaciones.
 Desarrollo de indicadores regionales y valores agregados.
 Levantamiento y actualización de bancos de datos con data
regional.

Eurostat ha desarrollado una serie de herramientas que
contribuyen y apoyan la creación de capacidad estadística
dirigido a los países en desarrollo.
 SNAPSHOT
 GUIDE TO STATISTICS
 ASTRA
 EUROTRACE
 ERETES
 ESSENTIAL SNA
 SDMX

SDMX
Statistical Data and Metadata eXchange

Razón fundamental del desarrollo de SDMX
 Los Organismos Nacionales de Estadística han pedido a las
Organizaciones Internacionales soluciones comunes.
 Las Organizaciones Internacionales pueden ampliar su
colaboración entre ellos y con los Organismos Nacionales.
 Nueva tecnología parece ofrecer claras ventajas (XML y Web
Services).
 El progreso puede ser hecho dentro de un “framework”
coherente y de manera gradual.

El Contexto
 Siete Organizaciones Internacionales (Bank for International Settlements,
European Central Bank, Eurostat, International Monetary Fund, Organisation for
Economic Cooperation and Development, United Nations y World Bank) unieron
las fuerzas para desarrollar el estándar
 En Febrero 2007 SDMX fue aprobado por el “European Union’s Statistical
Programme Committee”
 En Marzo 2007 las organizaciones patrocinadoras firmaron un Memorando de
Entendimiento.
 En Febrero 2008 la la sesión 39ª de la Comisión de Estadísticas de las Naciones
Unidas reconoció SDMX como “el estándar de preferencia para intercambiar y
compartir datos y metadatos entre la comunidad estadística global”
 En enero de 2013 SDMX fue aprobado como un estándar ISO

Versiones
• Versión 1.0 (ISO/TS 17369:2005)
 Modelo de información
 Formato de datos en XML (SDMX-ML) y GESMES/TS (SDMX-EDI)
 Versión 2.0
 Compatible con la versión 1.0
 Metadatos de referencia
 Especificación del interfaz del Registro
 Versión 2.1 (ISO/IS 17369)
 ampliada las directrices de servicios web
 simplificado los formatos de datos
 Mejorado el mecanismo de ”query”

Beneficios de los estándares SDMX
 Mejorar la calidad y la eficiencia en el intercambio y la
difusión de datos y metadatos
 armonización y coherencia de los datos
 preservación de significado
 formato abierto (XML) en lugar de uno propietario
 Reducir la carga de envío de los datos hacia instituciones
nacionales y internacionales
 Puede ser utilizado por los organismos nacionales e
internacionales como elementos fundamentales en los
sistemas informáticos estadísticos internos utilizados para la
recolección, compilación, almacenamiento y búsqueda de la
información estadística

 Potencialmente puede reducir el costo de desarrollo de
software de sistemas estadísticos
 Evita la duplicación de esfuerzos en el desarrollo y
mantenimiento de las normas para el tratamiento de la
información estadística
 Está anclado en los organismos internacionales reconocidos,
como ISO
 Plena compatibilidad con las normas utilizadas anteriormente
(o actualmente)

Los componentes de SDMX
IT Infrastructure
for exchange and
sharing
Content
Oriented
Guidelines
SDMX
Information
Model

SDMX no es sólo un nuevo formato de transmisión de datos, en realidad consisten
en:
• Modelo de información para describir datos y metadatos estadísticos en
differente formatos (XML y EDI):
• Los metadatos estructurales son usados en la identificación de datos y
metadatos. Deben estar siempre asociados a los datos, de lo contrario se
hace imposible identificar, recuperar y examinar los datos.
• Metadatos de referencia o explicativos: forman una larga lista de conceptos
que describen y cualifican conjuntos de datos estadísticos y procesos, siendo
asociados generalmente no a una observación específica o serie de datos,
pero sí a toda una colección de datos o incluso a una institución proveedora
de datos. Los metadatos de referencia generalmente existen en formato de
texto, usan conceptos que describen contenido, metodología y calidad de los
datos. por tanto, se pueden dividir en:
• Metadatos conceptuales, que describen los conceptos usados y su
implementación práctica;
• Metadatos metodológicos, que describen los métodos usados para la
generación de datos;
• Metadatos de calidad, que describen las diferentes dimensiones de
calidad de los datos estadísticos.

• Directrices orientadas al contenido: son un grupo de recomendaciones utilizados
para clasificar y describir los datos. Se componen de:
• Conceptos y listas de codigos transversales (Cross-domain)
• Dominios estadísticos de tema (Statistical subject-matter domains)
• Vocabulario común de metadatos (metadata common vocabulary)
• Una eficiente arquitectura informática para un intercambio de datos y metadatos
estadísticos. Además de la tradicional modalidad de transmisión de tipo "push" de
archivos de datos (donde la agencia que produce los datos envía un fichero a la
agencia que necesita los datos), SDMX ofrece líneas guias y herramientas para el
método de "pull" de condivision de datos (“data sharing”). Los datos pueden estar
disponibles para su descarga en un fichero SDMX , o pueden ser recuperados de
una base de datos en respuesta a una consulta de SDMX ("query"), a través de un
servicio web que se ejecuta en el servidor del proveedor. En ambos casos, los
datos se ponen a disposición de cualquier organización que les exige, en formatos
que garantizan que los datos sean describen consistentemente por apropiados
metadatos, cuyo significado es común a todas las partes en el intercambio.

Directrices orientadas al contenido
 Listas de códigos y conceptos de dominio transversales
 Dominios de temas estadísticos
 Vocabulario común de metadatos

Listas de códigos y conceptos de dominio transversales
Esta directriz contiene una lista de conceptos estadísticos transversales, entre otros
relacionados con procesos estadísticos y calidad de datos.
Los conceptos pueden ser utilizados tanto en la parte de los datos como en la parte
de los metadatos.
Cada concepto tiene un identificador único (ID), una descripción, el contexto en el
que el concepto es utilizado, y su presentación en el estándar SDMX.
Los conceptos transversales, así como todos los conceptos, pueden tener una lista
de códigos (code list) como presentación. Esto significa que tienen un número
limitado de valores enumerados en listas de códigos.
Esas listas de códigos se llaman listas de códigos transversales
Las listas de código tienen una descripción general, una lista de códigos con sus
descripciones y anotaciones (annotations). Las anotaciones proporcionan
información adicional sobre los códigos.

Dominios de temas estadísticos
Los ‘Dominios estadísticos’ (Statistical subject-matter domains) son una
clasificación de alto nivel de las áreas estadísticas, basada en el trabajo
de la Comisión Económica de las Naciones Unidas para Europa.
La clasificación ofrece un punto de partida para organizar el intercambio
de datos y metadatos estadísticos.
Un dominio estadístico se refiere a una actividad estadística que tiene
características comunes con respecto a ciertas variables, conceptos y
metodologías de recopilación de datos y para todo el proceso de
compilación de datos estadísticos. Como ejemplos de dominios
estadísticos tenemos las estadísticas de precios, las cuentas nacionales,
las estadísticas del medio ambiente o las estadísticas educativas.

La lista de dominios estadísticos SDMX pretende cubrir el universo de información
estadística manejada por un gran número de organizaciones internacionales y
agencias nacionales, a menudo conocida como estadísticas oficiales. Las estadísticas
oficiales constituyen el sistema básico de información de una sociedad. El dibujo 6
muestra una lista de dominios.
La lista de los dominios estadísticos tiene tres funciones:
• Como un esquema estándar contra el que las listas de dominios similares de
organizaciones nacionales e internacionales pueden ser mapeadas para facilitar el
intercambio de datos y metadatos
• Como un marco identificativo para registrar y buscar datos estadísticos en
registros SDMX
• Como una ayuda de navegación para identificar y organizar los correspondientes
grupos de dominio (domain groups) que tienen un rol activo en el uso de los
estándares SDMX y de las directrices orientadas al contenido para el intercambio
de datos y metadatos estadísticos.

Vocabulario común de metadatos
El Vocabulario Común de Metadatos (MCV: Metadata Common
Vocabulary) contiene conceptos y respectivas definiciones utilizadas
en metadatos estructurales y de referencia de organizaciones
internacionales y agencias productoras de datos nacionales.
MCV es un conjunto de vocablos que recomienda una terminología
común para facilitar la comunicación y el entendimiento.
MCV está asociado a los conceptos transversales (cross-domain) ya
que también contiene todos estos conceptos, declarando sus
definiciones y descripciones del contexto

Vocabulario común de metadatos
MCV comprende un rango de conceptos de metadatos:
• Conceptos generales de metadatos: - derivados en su mayoría de
documentos ISO, UNECE y UN, útiles para proporcionar un contexto
general a los metadatos (por ejemplo: clasificación, registro de
metadatos, metadatos estadísticos, producción estadística);
• Términos de metadatos que describen los métodos estadísticos y la
calidad de los datos. Por ejemplo: frecuencia, metodología de
colección de datos, revisión de datos, fuente, ajuste, precisión o los
marcos de calidad adoptados por las organizaciones internacionales;
• Términos que se refieren específicamente al intercambio de datos
y metadatos. Por ejemplo: intercambio bilateral o intercambio
abierto.

Modelo de información de SDMX (SDMX-IM)

Esquema de alto nivel del modelo de SDMX

La organización del modelo de Información SDMX
 El modelo de información está construido como un conjunto de
paquetes (“packages”) funcionales que ayuda en la comprensión,
la reutilización y el mantenimiento del modelo mismo
 Cada paquete puede ser considerado estar en uno de tres niveles
conceptuales

Esquema de conceptos (ConceptScheme)
 Es un objeto SDMX mantenido por una agencia y que contiene una
lista de conceptos sobre los que se pueden construir definiciones de
estructuras de datos y metadatos
 Se pueden crear muchos esquemas de conceptos que generalmente
agrupan conceptos relevantes para una única estructura, aunque
 una definición de estructura de datos/metadatos puede usar
conceptos de esquemas de concepto diferentes
 Los conceptos (que componen uno eschema de conceptos) se
identifican en esquemas de conceptos mediante un codigo (id) y un
nombre (Name) en al menos una lengua, y también pueden añadirse,
opcionalmente, descripciones (Description) multilingües de los
conceptos

Esquema de conceptos (ConceptScheme)

Lista de códigos (Codelist)
 Es un objeto SDMX, mantenido por una agencia, que contiene una
lista de elementos (items) definido exclusivamente por un codigo
(id) y una descripción (Name) que puede proporcionarse en varios
idiomas
 es simplemente un conjunto de valores que se usan para la
representación de un concepto en definiciones de estructuras de
datos/metadatos
 El modelo permite que una lista de códigos tenga una jerarquía
simple de códigos. En ese caso, la jerarquía se hace mediante la
definición de un código padre como máximo para códigos hijo

Lista de códigos (Codelist)

Esquema de categorías (CategoryScheme)
 Es un objeto SDMX, mantenido por una agencia, que está constituido por una
simple jerarquía de categorías (una categoría puede tener una o más categorías
hijo), definido exclusivamente por un codigo (id) y una descripción (Name) que
puede proporcionarse en varios idiomas
 Proporciona una manera de clasificar los datos para su recogida, informe, o
publicación
 Los esquemas de categoría más habituales pueden comprender muchas
categorías de alto nivel como finanzas, economía, salud, turismo, transporte,
demografía, etc.
 Cada una de éstas podría segmentarse a su vez en categorías de bajo nivel
formando así una jerarquía de categorías
 Un flujo de datos o de metadatos pueden vincularse a una o más categorías
dentro de uno o más esquemas de categoría (en SDMX2.1 a traves de un objecto
“Categorisation”)

Esquema de categorías (CategoryScheme)

Conjunto de datos (Dataset)
 Contiene datos y metadatos relacionados cuyo contenido se ajusta a la
especificación de una definición de estructura de datos
 Los datos estadísticos en SDMX son organizados en conjuntos de
observaciones a menudo numéricas que normalmente tienen un
determinado tiempo asociado a ellas
 Un Dataset es un objeto SDMX utilizado para intercambiar or difundir
datos de acuerdo con un “flujo de datos”
 Para poder entender su significado necesitamos un grupo de conceptos
estadísticos que actúan como identificadores y descriptores de los datos
 Estos valores de los metadatos se pueden entender como dimensiones
de un sistema de coordenadas multidimensionales, que describen lo que
se llama a menudo un “cubo” de datos.

Definición de Estructura de Datos (DSD)
 Conjunto de explicaciones sobre cómo se construye un conjunto de datos y
cómo habrá de interpretarse
 Construida sobre conceptos estadísticos
 Mantenida por una agencia de mantenimiento
 Vincula los datos estadísticos a los metadatos estructurales mediante la
asignación de conceptos descriptores a los elementos de los datos estadísticos
 Dimensiones (que comprenden dimensiones no asociadas a claves y listas de
claves):
 descriptor de clave;
 descriptor(es) de clave de grupo; puede haber más de un descriptor de clave
de grupo.
 Medidas
 Atributos

Elementos de una Definición de Estructura de Datos

Flujo de Datos (Dataflow)
 En SDMX, los conjuntos de datos se presentan o difunden según
una definición de flujo de datos
 Es un objeto SDMX, mantenido por una agencia (agencyID) y
definido por un codigo (id) y una versione (version). Además se
asigna una descripción (Name) que puede proporcionarse en
varios idiomas
 La definición de flujo de datos se vincula a la definición de
estructura de datos y puede asociarse con uno o más categorías
dentro de uno o más esquemas de categoría (en SDMX2.1 a
traves de un objecto “Categorisation”)

Arquitecturas SDMX

 Actores
 productor/proveedor de
datos/metadatos
 recolector de datos/metadatos
 usuario final
 Tres procesos básicos:
 “bilateral”
 “gateway”
 “data-sharing”
 Dos métodos
 “push”
 “pull”
 Arquitecturas
 para colectors
 para proveedors
 “registry-based
 para usuarios final
 Herramientas
Arquitectura informática para el intercambio de datos/metadatos

• Bilateral : Las instituciones intercambian datos en función de
acuerdos bilaterales sobre el formato, la sincronización, protocolos,
etc.
• Gateway : Instituciones comparten los datos que recogen, con sus
pares, en formatos acordados entre comunidades.
• Data-sharing : Intercambio de datos utilizando formatos y
protocolos estandarizados
Los Patrones de intercambio

 Los productos SDMX admiten todos los tipos de intercambio
 Uno de los requisitos principales es trabajar bien con los
sistemas existentes, para proteger las inversiones en
tecnología.
 SDMX promueve un movimiento incremental hacia el modelo
de intercambio de datos
 Los metadatos estructurales también se intercambia y pueden
ser leídos por los sistemas de las contrapartes
 La actualización incremental es posible
Los Patrones de intercambio

Arquitectura informática
 Casos de uso – recolección de datos
 push (el proveedor empuja los datos al recolector)
 pull (el colector extrae los datos del sitio web del proveedor)
 arquitectura “data warehouse” (Almacén de datos)
 arquitectura a “hub”
 Casos de uso – diseminación
 SDMX para descargar ficheros
 SDMX como fuente de datos consultable
 SDMX para organizar la presentación de datos y metadatos en el sitio web
 Casos de uso – Data warehouse
 SDMX para la extracción, transformación y carga de datos
 SDMX como un modelo para la estructura de “data warehouse” o repositorio
de metadatos

Arquitectura “data warehouse”

Arquitectura Hub

Arquitectura Hub
La arquitectura a Hub es un sistema bien accesible con los actores involucrados
con las siguientes acciones:
• Un proveedor de datos puede:
1.notificar nuevos conjuntos de datos y metadatos estructurales
correspondiente (medidas, dimensiones, listas de códigos, etc.)
2.exponer los datos directamente a través de un sistema de consulta
• Un productor de datos puedes:
1.navegar un conjunto de datos de interés a través de los metadatos
estructural
2.recuperar el conjunto de datos directamente de los proveedores de datos
Desde el punto de vista de la gestión de los datos, el Hub también se basa en
conjuntos de datos acordados, pero aquí los conjuntos de datos no se envían al
sistema central. Al contrario, se extraen de las bases de datos de proveedores
cuando son requeridos por el usuario final

Arquitectura para productor de datos

Arquitectura para productor de datos
(1) Recuperar el DSD de una fuente de metadatos estructurales (por ejemplo, un registro
SDMX
(2) Crear las tablas de base de datos
(3) Leer un fichero de conjunto de datos CSV o SDMX y cargar los datos en la base de
datos
(4) Un sistema de descubrimiento de datos sincroniza continuamente sus metadatos con
la fuente de metadatos estructurales. Un usuario realiza una selección de datos de
opciones construidos a partir de la información contenida en un registro SDMX
(metadatos estructurales tales como esquema de categorías, de flujo de datos, DSD,
proveedor de datos, contratos de operaciones y registro de datos)
(5)(6) (7) un usuario define una consulta construida a partir de las selecciones de las
dimensiónes. La consulta (Query SDMX) es enviada a la base de datos que responde
con un conjunto de datos y metadatos de referencia SDMX. Los datos y metadatos se
pasan a un estrato software de visualización que presenta los datos en tablas,
cuadros, gráficos, mapas, etc. A menudo, una descarga de ficheros se ofrece en varios
formatos. Las opciones de descarga a menudo incluyen también la DSD o MSD.

Uso del Registro SDMX
 El Registro SDMX juega un papel importante en esta arquitectura,
de hecho puede ser visto como una aplicación central que está
accesible a otros programas por Internet (o una Intranet o
Extranet) para proporcionar información que se necesite para
facilitar la presentación, recopilación y difusión de estadísticas.
 A groso modo, el Registro SDMX es una aplicación que almacena
metadatos para su consulta, y que pueden usarse por cualquier
otra aplicación de la red con suficientes privilegios de acceso.
 Puede entenderse como el índice de una base de datos distribuida
o repositorio de metadatos que está compuesto de todos los
conjuntos de datos y metadatos del proveedor de datos dentro de
una comunidad estadística.

Funciones del Registro SDMX
 Proporciona información sobre qué conjunto de datos y metadatos
están disponibles, y dónde se encuentran ubicados.
 Proporciona información sobre cómo se proporcionan los
conjuntos de datos y metadatos: cuándo se actualizan, cuáles son
sus contenidos, cómo se puede acceder a ellos, y preguntas
similares.
 Proporciona información sobre la estructura de conjuntos de datos
y metadatos, respondiendo preguntas como: ¿Qué listas de
códigos usan? ¿Qué conceptos implican?
 Permite que las aplicaciones se registren (o subscriban) para recibir
notificaciones, para que cuando un conjunto de datos o metadatos
de interés esté disponible, la aplicación sea alertada
automáticamente.

Herramientas

Software SDMX de código abierto (desarollado por Eurostat)
Convertidor SDMX
Convierte ficheros de datos de formatos SDMX a
otros formatos de ficheros
Asistente de Estructura de
Datos(DSW)
Usado para crear, editar y probar artefactos
SDMX
Registro SDMX
Un repositorio central para almacenar y compartir
artefactos SDMX
Infraestructura de Referencia (SDMX-
RI)
Un conjunto de herramientas que permite
conectar sus sistemas TI al mundo SDMX
Asistente de Mapeo
Mapeo y transcodificación de los contenidos de
una base de datos existente a estructuras de
datos SDMX
Generador XSD
Genera un esquema de definición XML estándar
para una DSD SDMX dada

Convertidor SDMX
 Convierte desde todos los formatos existentes de SDMX (genérica,
compacta, de utilidad y transversal) así como de GESMES (SDMX-
EDI 2.0) FLR y formatos CSV
 La interacción con el Convertidor es posible mediante el uso de una
Interfaz Gráfica de Usuario (GUI), interfaz de línea de comandos
(CLI) y vía su API de programación
 La interfaz de Servicio Web ofrece la posibilidad de exponer las
funcionalidades del Convertidor en la Web. Los clientes pueden
hacer una llamada al servidor de la aplicación donde el servicio del
Convertidor se encuentre desplegado

Registro SDMX
 Registro de metadatos que implementa al registro de especificaciones SDMX
 El Registro SDMX tiene como tarea el proporcionar una estructura,
organización, y mantenimiento e interfeaces de consulta para la mayoría de
componentes SDMX necesarios para el soporte de la visión de los datos a
compartir
 Proporciona una interfaz de usuario basada en web así como servicios web
para interactuar con los objetos de metadatos estructurales SDMX en uso
dentro de Eurostat y con socios estadísticos
 El registro sólo se preocupa de proporcionar la información necesaria para
acceder a los conjuntos de datos y metadatos de referencia
 Una aplicación que quisiera un conjunto de datos o metadatos concreto
consultaría entonces al registro acerca de la URL, y entonces iría y obtendría
el conjunto de datos o metadatos directamente del servidor web del
proveedor

Asistente de Estructura de Datos DSW
 Una aplicación individual de Java que soporta la versión 2 y 2.1 del
estándar SDMX.
 Puede usarse tanto offline como online, dependiendo de la elección del
usuario y sus derechos de acceso
 Permite el mantenimiento de los siguientes artefactos SDMX:
Definiciones de Estructuras Datos, Listas de Códigos, Esquemas de
Concepto, Flujos de Datos, Listas de Códigos Jerarquizadas, Esquemas de
Categoría y Esquemas de Organización
 Posibilidad de crear dinámicamente una plantilla para una DSD
especificada en formato SDMX
 Proporciona un mecanismo para importar/exportar definiciones DSD
SDMX-ML y un mecanismo para importar/exportar definiciones DSD
desde/a ficheros de estructura GESMES/TS

Infraestructura de Referencia SDMX (SDMX-RI)
 Una infraestructura generalizada de servicios que puede reutilizarse parcial o
completamente por una organización interesada en empezar proyectos SDMX
para el intercambio de datos
 Estos son los modelos más comunes de Infraestructura de Referencia SDMX:
 Parseador de Consultas SDMX
 Recuperador de Datos
 Recuperador de Estructuras
 Generador de Datos SDMX
 Asistente de Mapeo
 Dos componentes web:
 Cliente Web
 Proveedor de Servicios Web

Generador XSD
 Produce Definiciones XML de Esquemas (XSD) basadas en una DSD
recibida
 Produce esquemas XSD para formatos Compactos, Transversales o
de Utilidad para el estándar SDMX v2.0, y pueden usarse:
 Como un bloque de construcción reutilizable, a través de su API.
 A través de una Interfaz Gráfica de Usuario (GUI) individual
 A través de una Interfaz de Línea de Comandos (CLI)
 A través de una GUI Web

Relaciones entre Herramientas – Ejemplo

¿Cómo saber más acerca de SDMX?

Otros enlaces
 http://www.istat.it/it/strumenti/web-service
 http://www.inegi.org.mx/inegi/contenidos/servicios/sdmx/defa
ult.aspx
 http://stats.oecd.org/SDMXWS/sdmx.asmx
 http://ec.europa.eu/eurostat/data/sdmx-data-metadata-
exchange
 https://registry.sdmx.org/home.html
 https://ec.europa.eu/CensusHub2

SDMX – STATISTICAL DATA AND METADA EXCHANGE INEI

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (17)

Similar a SDMX – STATISTICAL DATA AND METADA EXCHANGE INEI

Similar a SDMX – STATISTICAL DATA AND METADA EXCHANGE INEI (20)

Más de Michael Macavilca Mejia

Más de Michael Macavilca Mejia (6)

Último

Último (20)

SDMX – STATISTICAL DATA AND METADA EXCHANGE INEI

Notas del editor