Key components for building a Datawarehouse.

1. Data Analysis for
Startups

2. ¿Quién es este impostor?
jbarreneche
@jbarreneche

3. Datos, datos y más datos…

4. Registro de operaciones

5. Sistemas para análisis de
datos

6. Sistemas para análisis de
datos

7. Sistemas para análisis de
datos
2014
2013
2012
2011
2010
2009

9. Componentes principales
Aplicaciones
de BI
Datawarehouse
Sistema de
ETL

10. Sistema de ETLs
ETL
ETL
ETL
ETL
ETL
ETL
ETL

11. Framework de ETL
Planificación de la ejecución
• Latencia de información
• Agenda de ejecución
• Grafo de dependencias
• Ejecución en paralelo/serie

12. Framework de ETL
Tolerancia a fallas
• Idempotencia
• Reinicio desde un checkpoint

13. Framework de ETL
Abstracciones de fuentes y destinos de
información
ETL
ETL
ETL
ETL

14. Framework de ETL
Testeo
• Completitud
• Correcta transformación
• Integridad del procesamiento

15. Data Warehouse
• Base de datos relacional
• MySQL
• Postgresql
• MPP (Massive Parallel Processing)
• Redshift, BigQuery, Vertica
• Hadoop: Hive, Presto, Impala, Drill
• Spark: SparkSQL

16. Diseño del schema
“Atomic data that has not been aggregated is the
most expressive data”
Ralph Kimball (2013) The Data Warehouse Toolkit

17. Diseño del schema
Modelado dimensional!
• Tablas de hechos
• Tablas de dimensiones

18. Tablas de hechos
• Relación 1 a 1 de eventos real con entrada en la
tabla
• Columnas numéricas
• Relaciones con las tablas de dimensiones
• No registrar las no ocurrencias

19. Tablas de dimensiones
• Contienen el contexto asociado al evento medido
• Describen el “Qué, Quién, Cómo, Cuándo…”
• Normalmente poseen una clave única
• Fuente principal de los filtros, grupos y etiquetas
en las consultas

21. ¿Qué nos queda?
Aplicaciones
de BI
Datawarehouse
Sistema de
ETL

22. Aplicaciones de BI
Open source
• re:dash
• Oculus

23. Aplicaciones de BI
• Chart.io (SaaS)

24. Análisis con SQL
id Name
1 Montevideo
2 Buenos Aires
date units amount region_id
2014-10-01 2 30 1
2014-10-02 1 20 2
2014-10-02 3 15 1
Sales Regions

25. Análisis con SQL
Consultas básicas
SELECT !
SUM(sales.units) AS `Total Units`!
FROM !
sales
Total Units!
-------------!
189593!
SELECT !
sales.units, COUNT(sales.units) AS `Sales Count`!
FROM !
sales!
GROUP BY!
sales.units
Units | Sales Count!
-------+-------------!
1 | 53323!
2 | 2343!
3 | 23

26. Análisis con SQL
Consultas básicas
SELECT !
regions.name AS `Region Name`, SUM(sales.units) AS
`Sales Total`!
FROM sales!
JOIN regions ON sales.region_id = regions.id!
GROUP BY!
regions.name
Region Name | Sales Total!
---------------+-------------!
Buenos Aires | 323!
Montevideo | 53323!

27. Análisis con SQL
Consultas de series de tiempo
select date(created_at) as day, count(1)!
from sales!
where created_at > now() - interval '30 day'!
group by day order by day;
day | count!
------------+-------!
2014-03-12 | 5!
2014-03-13 | 1!
2014-03-19 | 6!
2014-03-20 | 4!
2014-03-21 | 1!
2014-03-24 | 1!
2014-04-08 | 2!
2014-04-09 | 3!
(8 rows)!

28. Análisis con SQL
Consultas de series de tiempo
select date(d) as day,
count(sales.id) !
from generate_series(!
current_date - interval '30 day', !
current_date, '1 day'!
) d !
left join sales on
date(sales.created_at) = d !
group by day order by day;
day | count!
------------+-------!
2014-03-12 | 5!
2014-03-13 | 1!
2014-03-14 | 0!
2014-03-15 | 0!
2014-03-16 | 0!
2014-03-17 | 0!
2014-03-18 | 0!
2014-03-19 | 6!
2014-03-20 | 4!
2014-03-21 | 1!
2014-03-22 | 0!
2014-03-23 | 0!
2014-03-24 | 1!
...!
(31 rows)!
select dates.date as day,
count(sales.id) !
from dates!
left join sales on
date(sales.created_at) = date!
group by day order by day;

29. Análisis con SQL
Window functions
!
SELECT function() OVER ( !
[ PARTITION BY ... ]!
[ ROWS|RANGE BETWEEN ... ] !
)!

30. Análisis con SQL
SELECT !
regions.name, !
SUM(sales.units),!
SUM(sales.units) / (SUM(sales.units) over ())::float AS "% of sales"!
FROM sales!
INNER JOIN regions ON sales.region_id = regions.id!
GROUP BY 1!
Region Name | Sales Total | % of sales!
---------------+-------------+-----------!
Buenos Aires | 323 | 0.006!
Montevideo | 53323 | 99.994
Window functions

31. Análisis con SQL
CTE - Common Table Expresions
• CTEs son optimizadas por separado de la consulta
• Simplifican el armado de consultas en “etapas”

33. Más a hacer con SQL…
• Promedios acumulados
• Análisis de funnels
• Análisis de cohort
• Consultas sobre JSON data con HStore

35. ¡¡Gracias!!