Análisis, preparación y visualización de datos usando herramientas Open Source

1. Workshop
“Análisis, preparación y visualización de
datos usando herramientas Open Source”
05 - Marzo - 2016
Open Data Day - UIO

2. OPEN DATA

3. ¿QUÉ ES OPEN DATA?
❏ Poner a disposición de la sociedad los datos
gestionados por la administración pública
❏ Sin restricciones de derecho de autor
❏ Los datos son abiertos cuando:
➔ Accedidos
➔ Usados
➔ Modificados
➔ Compartidos

4. HISTORIA
❏ El 17 de noviembre de 2003, la Directiva del
Parlamento Europeo, presentaba un Tratado
sobre el acceso de los datos
❏ En el año 2009 el gobierno de Estados Unidos
comunicaba su iniciativa de liberar los datos
❏ El 30 de Noviembre de 2010 el Reino Unido
liberó una licencia gubernamental

5. PRINCIPIOS DEL OPEN DATA
❏ Los datos deben ser:
➔ Públicos
➔ Detallados
➔ Actualizados
➔ Accesibles
➔ Automatizados
➔ Sin Registro
➔ Abiertos
➔ Libres

6. BENEFICIOS DEL OPEN DATA
❏ Construir nuevo conocimiento
❏ Más eficiencia en los servicios gubernamentales
y la administración pública
❏ Genera nuevos indicadores económicos y
sociales
❏ Mide el impacto de las políticas públicas

7. OPEN DATA Y POLITICA

8. FUNDACIÓN CIUDADANO INTELIGENTE

9. PROYECTOS

10. OBSERVATORIO ANTICORRUPCION

12. ENFOQUE DE
SOLUCIÓN

13. PROCEDIMIENTO
1
Preguntas a
responder
2 Obtener los
Datos
3 Explorar los
Datos
4Modelar los
Datos
Comunicar y
Visualizar
Resultados
5

14. ALGUNAS FUENTES DE DATOS
❏ Archivos
➔ Formatos Abiertos: CSV, XML, JSON
➔ Formatos Propietarios: Excel, SPSS
❏ Bases de Datos
➔ PostgreSQL, MySQL, Oracle
❏ APIs
➔ Servicios Web SOAP: XML
➔ Servicios REST: XML/JSON
❏ Documentos (PDFs, páginas web, etc.)
❏ Redes Sociales

15. FORMATOS ABIERTOS - CSV
Cabecera (Header) Separador (, ; |)
Enclosure (")
Registros (Rows)

16. FORMATOS ABIERTOS - XML
Etiquetas (Tags)
<tag>...</tag>
Codificación

17. FORMATOS ABIERTOS - JSON
Valor
Atributo
Arreglo
[ ]
Objeto
{ }

18. APIs - OPEN DATA BANCO MUNDIAL
http://api.worldbank.org/countries/all/indicators/DT.DOD.DECT.
CD?date=2010:2015&format=xml
❏ Invocación para obtener XML
http://api.worldbank.org/countries/all/indicators/DT.DOD.DECT.
CD?date=2010:2015&format=json
❏ Invocación para obtener JSON
http://api.worldbank.org/countries/all/indicators/DT.DOD.DECT.
CD?date=2010:2015&format=csv
❏ Invocación para obtener CSV

19. ARQUITECTURA DE
LA SOLUCIÓN

20. ARQUITECTURA
DATA_MODEL
(DIMENSIONAL)
CSV
ETLsCSV
CUBO DE
DATOS
ANÁLISIS
Y
VISUALIZACIÓN
SQL POWER
ARCHITECT
PENTAHO DATA
INTEGRATION
PENTAHO SCHEMA
WORKBENCH
PENTAHO BI SERVER
SAIKU ANALYTICS

21. SOFTWARE OPEN SOURCE A USAR
❏ Procesamiento de Datos
➔ Pentaho Data Integration CE v5.4
❏ Entrega de Información
➔ Pentaho Schema Workbench v5.4
➔ Pentaho BI Server CE v5.4, Saiku Analytics
➔ PostgreSQL v9.3
➔ SQL Power Architect v1.0.8
❏ Modelamiento
➔ Oracle JDK v1.7 (Java)
❏ Base de Datos
❏ Software Base

22. MODELAMIENTO
DIMENSIONAL

23. CONCEPTOS
❏ Consiste en modelar hechos y dimensiones
para llegar a lo que se conoce como Modelo
Estrella
DIMENSIÓN 1
DIMENSIÓN 2
...
DIMENSIÓN N
HECHOS

24. CONCEPTOS
DIMENSIONES
❏ Datos Cualitativos
❏ Representan información de una entidad. Ej.
País, Región, Sucursal, Producto
HECHOS
❏ Datos Cuantitativos
❏ Representan un indicador o medida. Ej. ventas,
deuda externa, comisiones
❏ Los indicadores pueden ser agregados (sum,
avg, max, min, count)

25. EJEMPLO
FECHA
CLIENTE PRODUCTO
LOCAL
VENDEDOR
HECHOS
VENTAS
1..*

26. POSTGRESQL
❏ Abrir Terminal y abrir pgAdmin III
❏ Ir a File > Add Server
❏ Crear la base de datos data_model

27. SQL POWER ARCHITECT
❏ Abrir Files
❏ Ir al siguiente directorio
Computer > /opt/pentaho/architect-1.0.8
❏ Iniciar la aplicación architect.jar
❏ Conexión: Connections > Add Source
Connection > New Connection
❏ Creación del modelo: Tools > Forward
Engineer

28. PROCESAMIENTO DE
DATOS

29. PENTAHO DATA INTEGRATION
❏ Descargar archivos CSV: http://bit.ly/1TfVKd9 en
el directorio src_data y descomprimir
❏ Crear el directorio src_data en
➔ /home/vagrant/Documents/workshop
../workshop/src_data/DeudaExterna
catalogo_indicadores.csv
catalogo_paises.csv
deuda_externa.csv

30. PENTAHO DATA INTEGRATION
❏ Abrir Terminal
❏ Ejecutar los siguientes comandos:
➔ cd /opt/pentaho/data-integration
➔ ./spoon.sh
❏ Seleccionar el repositorio workshop
❏ Conexión: Tools > Repository >
Connections > data_model

31. CUBOS DE DATOS

32. CONCEPTOS
❏ Un cubo es una colección de múltiples
dimensiones y medidas
FECHA TABLET
VENDEDOR
2013
2014
PRODUCTOPC
2015
SMARTPHONE
JUAN
PEDRO
ANDREA
MEDIDAS
- VENTAS
- COMISIONES
- CANTIDAD
DIMENSIONES

33. CUBOS, DIMENSIONES Y MEDIDAS
Analogía
❏ Las dimensiones del cubo son a las
dimensiones del modelo dimensional
❏ Las medidas del cubo son a los hechos del
modelo dimensional
Visualización
❏ Un cubo se lo visualiza como una tabla
cruzada o tabla pivot

34. VISUALIZACIÓN DE UN CUBO
FECHA TABLET
VENDEDOR
2013
2014
PRODUCTOPC
2015
SMARTPHONE
JUAN
PEDRO
ANDREA
TABLET PC SMARTPHONE
2013 2014 2015 2013 2014 2015 2013 2014 2015
JUAN 12 8 14 - - - - - -
PEDRO - - - 22 45 16 - - -
ANDREA - - - - - - 134 122 245
TABLA PIVOT / CRUZADA

35. PENTAHO SCHEMA WORKBENCH
❏ Conexión: Options > Connection >
data_model
❏ Publicación del Cubo: File > Publish
Admin|password|data_model
❏ Abrir Terminal
❏ Ejecutar los siguientes comandos:
➔ cd /opt/pentaho/schema-workbench
➔ ./workbench.sh

36. PENTAHO BI-SERVER
❏ Abrir Firefox: http://localhost:8080
❏ Abrir Terminal
❏ Ejecutar los siguientes comandos:
➔ cd /opt/pentaho/biserver-ce
➔ ./start-pentaho.sh
➔ sudo su - pentaho
❏ Conexión: Manage Data Sources > New
Connection > data_model

37. LINKS DE INTERÉS
❏ Blog Data Warehousing / Business Intelligence
con herramientas Open Source: http:
//ingmmurillo-dwh-bi.blogspot.com/
❏ Documentación API Banco Mundial: http:
//data.worldbank.org/developers/api-
overview/basic-call-structure
❏ Evaluador JSONPath en línea: http://jsonpath.
com
❏ Pentaho CE https://sourceforge.
net/projects/pentaho/files https://sourceforge.
net/projects/mondrian/files

38. MUCHAS GRACIAS
Para preguntas o sugerencias:
Gabriela Chasifan | gchasifan@thoughtworks.com
Byron Torres | btorres@thoughtworks.com
Mauricio Murillo | mmurillo@thoughtworks.com
Carlos Fuentes | cfuentes@thoughtworks.com