SDMX: 04 SDMX y los metadatos estructurales

JORNADAS FORMATIVAS METAMAC I

SDMX Y LOS METADATOS
ESTRUCTURALES

JORNADAS FORMATIVAS METAMAC I

SDMX Y LOS METADATOS
ESTRUCTURALES

@istac_es
http://www.slideshare.net/istac

Índice
 Introducción

 DSDs en la práctica
 Ejercicio: Identificando conceptos I
 Ejercicio: Identificando conceptos II
 Ejercicio: Desarrollar un DSD
 Ejercicio: Crear y validar un DSD

 Recomendaciones para crear un DSD

INTRODUCCIÓN
Más información en:
SDMX Information Model: UML Conceptual Design Versión 2.0

Introducción

¿Qué es un DSD?

JORNADAS FORMATIVAS METAMAC I: DSD

Introducción

¿Qué es un DSD?

 ¿Qué estamos midiendo?

 ¿Qué unidad de medida usamos?

 ¿A qué región o país se aplica?

 ¿Cuándo se tomó la observación?

 ….


Introducción

¿Qué es un DSD?
 Una Definición de Estructura de Datos (DSD) es un conjunto de conceptos descriptores,
asociados con un conjunto de datos, que nos permite entender la estructura de los
datos.

Hasta la versión 2.1 a los DSD también se les denominaba “Key Family”. A partir de la v2.1:

“The term Key Family is discarded and the technical standards use the term Data Structure
Definition or DSD. […]”

SDMX 2.1 Summary of Mayor Changes and New Funcionalities


Introducción

Agrupando datos


Introducción

Agrupando datos
 FRECUENCIA
 Concepto descriptor que describe los intervalos de tiempo entre observaciones.
 Suele ser un intervalo regular aunque NO es una obligación.
 Una observación individual NO tiene frecuencia.
 Se trata de un concepto descriptor que sólo se puede aplicar a series de datos.


Introducción

Agrupando datos

•
•


Introducción

Agrupando datos
 GRUPO
 Agrupación de datos de alto nivel.

 Surgen de la unión de series

 Ejemplo: Sibling groups

 Unión de series que son idénticas a excepción de la unidad de medida de la frecuencia.


Introducción

Agrupando datos
 CONJUNTO DE DATOS (Data Set)

 Nivel de agrupamiento superior al de grupo.

 Suele ser mantenido y publicado por una agencia por lo que llega a ser una conocida
fuente de datos estadísticos.


Introducción

Agrupando datos

Conjunto de
Datos

Grupo

Serie

Observación


Introducción

Adjuntando niveles
 Algunos conceptos descriptores NO son significativos a nivel de observación sino a un nivel
superior (Ej. La frecuencia es significativa a nivel de serie, no en observaciones).

 Un DSD nos da información acerca de a qué nivel va adjunto (unido) un determinado
concepto descriptor.


Introducción

Adjuntando niveles
 Los posibles niveles adjuntos de un concepto descriptor son:

Nivel de observación

Nivel de serie

Nivel de grupo

Nivel de conjunto de datos (Data Set)


Introducción

Adjuntando niveles
 Un concepto descriptor será adjuntado al nivel en el que comienza a tener significado.

Conjunto de
Datos

Grupo

Serie

Observación


Introducción

Dimensiones VS Atributos


Introducción

Listas de código y otras representaciones
 Una DSD nos dice cuáles son los valores válidos para cada dimensión.

 La lista de posibles valores se conoce como “lista de códigos”.

 Cada valor de esta lista contiene un código (abreviatura) y una descripción.

 Evita problemas de traducciones en la descripción de los datos.


Introducción

Listas de código y otras representaciones
 Valores de las listas de código tomados de estándares internacionales.

 Las dimensiones siempre es conveniente representalas con listas de código.

 Los atributos a veces se representan con código y otras con números o texto.

Esto se permite porque los atributos no tienen una función identificativa.


Introducción

Claves
 “Clave” se refiere a los valores de los conceptos que identifican a un conjunto particular de
datos.

Dimensión Clave


Introducción

Claves
 Facilitan la comprensión y el intercambio de datos estadísticos.

 Los conceptos que forman parte la clave se adjuntan generalmente al nivel de serie pero
también puede existir clave a otros niveles.


Introducción

Claves: Ejercicio


Introducción

Claves: Ejemplo
 Conjunto de datos estadísticos que usan los siguientes conceptos descriptores:


Introducción

Claves: Ejemplo


Introducción

Claves
 ¿Qué estamos midiendo?

 ¿A qué región o país se aplica?

 ¿Cuándo se tomó la observación?

 ¿Qué unidad de medida usamos?


Introducción

Agrupando datos

Fecha/Actividad A1 A2 A3
2008 1520
2009 1600
2010 1800


Introducción

Agrupando datos

País/Actividad A1 A2 A3
IT
ES
…


Introducción

Agrupando datos
 Existe otra forma de agrupar los datos denominada “cross-sectional data”.

 Gran cantidad de observaciones relacionadas son presentadas para un mismo instante de
tiempo.

 Las estructuras de datos “cross-sectional” NO aplican un conjunto de conceptos diferentes
a los datos.

 Adjunta los conceptos a los datos de manera diferente para conseguir una representación
distinta de los datos.

En el estándar también se hace referencia a estas estructuras de datos como “non-time-
series-oriented”


Introducción

Estructuras de datos “cross-sectional”
 El concepto “cross-section” se usa para referirse a un grupo de series que son paralelas a
lo largo del tiempo.

 Las series se llaman secciones.

 En nuestro ejemplo podemos verlo fácilmente si organizamos los datos en lugar de por
fecha por país.


Introducción

Estructuras de datos “cross-sectional”


Introducción

Comparativa: Series VS cross-sectional


Introducción

Un DSD…
 Especifica un conjunto de conceptos que permiten describir e identificar un conjunto de
datos.

 Nos dice qué conceptos son dimensiones y cuáles son atributos.

 Nos proporciona un nivel adjunto para cada concepto basado en el empaquetamiento de
estructuras.

 Nos define la lista de códigos para las dimensiones y los atributos.


Introducción

Construyendo un DSD


DSD EN LA PRÁCTICA
Ejercicio 01: Identificando conceptos

DSDs en la práctica

Conjunto de Datos (Data Set)



Estructura del Conjunto de Datos



¿Qué necesitamos saber?
 Conceptos

 Listas de código

 Valores de los datos

 Qué significan los datos

 …



Identificar los conceptos



Estructura del Conjunto de Datos: Listas de códigos



Haciendo que los datos cobren sentido



Estructura del Conjunto de Datos: Definiendo estructuras
multidimensionales
 Implica identificar:
 Conceptos que identifican el valor de la observación

 Conceptos que añaden metadatos adicionales acerca del valor de la observación

 Concepto que es el valor de la observación

 Estos pueden ser:
 Códigos
 Texto
 Fecha / Tiempo
 Número
 ….


Identificar los tipos de conceptos



Relación entre artefactos



Identificando conceptos: fuentes
 Tablas de conjuntos de datos existentes
 Desde la web
 Desde aplicaciones

 Instrumentos de colección de datos
 Cuestionarios
 Hojas de cálculo Excel

 Regulaciones, Libros de ayuda, Guías de usuario

 Tablas de Bases de Datos

 Definiciones de Estructuras de Datos Existentes
 De otras organizaciones


DSD EN LA PRÁCTICA
Ejercicio: Identificando conceptos II


Ejercicio: Identificar los conceptos

Measurement = 1,000 Kg
Source: FAO proof of concept project



Ejercicio: Identificar el tipo de los conceptos



Ejercicio: Identificar el tipo de los conceptos

Measurement = 1,000 Kg
Source: FAO proof of concept project



Ejercicio: Definir los CL
 Popóstio de una lista de códigos
 Restringen el valor del dominio de un concepto cuando se usan en una estructura como por
ejemplo una definición de estructura de datos.
 Da significado semántico a los valores, con posibilidad de hacerlo en múltiples lenguajes.
 Permite la interoperabilidad



Ejercicio: Definir los CL



Listas de código
 Para series temporales, SDMX recomienta que se defina:
 Código de estado (Concepto = OBS_STATUS)
 Código de confidencialidad (Concepto = OBS_CONF)



Por tanto, el DSD quedaría ….
Conceptos Representación Concepto Medida Representación
Dimensión
OBS_VALUE Numérico
FREQ CL_FREQ
REF_AREA_REG CL_REF_AREA_REG
COMMODITY CL_COMMODITY
MEASURE_TYPE CL_MEASURE_TYPE
TIME

Conceptos Atributo Estado Adjunto Representación
OBS_STATUS M (Mandatory) Observación CL_OBS_STATUS
OBS_CONF C (Conditional) Observación CL_OBS_CONF
UNIT M Series CL_UNIT
UNIT_MULTIPLIER M Series CL_UNIT_MULTIPLIER


DSD EN LA PRÁCTICA
Ejercicio: Identificando conceptos III


Identificando Conceptos: Tabla 1

Source: UNESCO Institute for Statistics



Solución: Tabla 1




Solución: Tablas 2 y 3




Solución: Tabla 4


DSD EN LA PRÁCTICA
Ejercicio: Desarrollar un DSD


Ejercicio: Desarrollar una Definición de Estructuras de Datos



Tablas: Estadísticas de Trabajo



Tabla 2



Tabla 3



Tabla 4



Tabla 5



Tabla 6



Solución…
Concepto Dimensión Representación

FRECUENCIA CL_FRECUENCIA

AREA_REF CL_AREA_REF

ACTIVIDAD_ECON CL_ACTIVIDAD_ECON

SEXO CL_SEXO

GRUPO_EDAD CL_GRUPO_EDAD

OCUPACION CL_OCUPACION

NIVEL_EDUCATIVO CL_NIVEL_EDUCATIVO

TIPO_MEDIDA CL_TIPO_MEDIDA

ESTADO_EMPLEO CL_ESTADO_EMPLEO

FECHA



Solución…

Concepto Atributo Estado Adjunto a… Representación

OBS_STATUS Obligatorio Observación CL_OBS_STATUS

OBS_CONF Optativo Observación CL_OBS_CONF

UNIDAD Obligatorio Series CL_UNIDAD

MULT_UNIDAD Obligatorio Series CL_MULT_UNIDAD

Concepto Medida Representación

OBS_VALUE Numérico


DSD EN LA PRÁCTICA
Ejercicio: Crear y validar un DSD


Pasos a seguir…
 Usar la herramienta SDMX Key Family o DSW para crear el DSD

 Exportar el DSD a SDMX – ML (SDMX Offline Tools)

 Transformar el DSD en HTML (SDMX Offline Tools)



Herramientas SDMX
 Las herramientas que usaremos son distribuidas gratuitamente por Metadata Technology
(SDMX Key Family y SDMX Offline Tools) y el Eurostat (DSW).

 Cubren todo tipo de transformaciones entre los formatos de datos.

 Son herramientas para la creación de datos y DSDs.



Usando herramientas de creación de DSD


RECOMENDACIONES PARA
CREAR UN DSD

Recomendaciones para crear un DSD

Pautas
1. Evitar dimensiones compuestas.

2. Evitar crear CL cuando ya existe uno destinado a tal efecto.

3. Crear DSDs con un número pequeño de dimensiones.

4. Evitar dimensiones que NO son apropiadas para todas las series.

5. Considerar la inclusión de los siguientes atributos
1. Título descriptivo de la series
2. Unidad
3. Multiplicador de la unidad
4. Disponibilidad / Confidencialidad
5. Decimales
6. Estado de la observación



¿Qué debe tener un DSD?
1. Identificación del DSD
1. DSD identifier
2. DSD name

2. Conceptos que actúen como dimensiones y para cada uno:
1. Identificador del concepto
2. Identificador del CL

3. Conceptos que actúen como atributos y para cada uno:
1. Identificador del concepto
3. Condición de obligatoriedad
4. Attachment Level
5. Longitud máxima del texto (representaciones no codificadas)
6. Longitud máxima del código (representaciones codificadas)



¿Qué debe tener un DSD?
1. Listados de CL usado en el DSD y para cada uno:
2. Nombre del CL
3. Códigos y descripciones de los valores


GRACIAS POR SU
ATENCIÓN
@istac_es
http://www.slideshare.net/istac

SDMX: 04 SDMX y los metadatos estructurales

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Similar a SDMX: 04 SDMX y los metadatos estructurales

Similar a SDMX: 04 SDMX y los metadatos estructurales (20)

Más de Instituto Canario de Estadística (ISTAC)

Más de Instituto Canario de Estadística (ISTAC) (20)

Último

Último (20)

SDMX: 04 SDMX y los metadatos estructurales