Tener una plataforma interna para analítica de datos brinda una forma poderosa de monitorear tus datos en tiempo real y entender el impacto que tiene tu organización. Presentado por Ángel Alvarado en SG Virtual Conference 2020

1. Cómo construir una
plataforma poderosa de
datos en un ambiente con
recursos restringidos
Ángel Alvarado
Créditos:
Sarah Thomason - UC Berkeley: análisis de “US census data”
Fernando Bustos - iOS Dev: pruebas del código compartido en esta plática
New York Times COVID19 data:
https://www.nytimes.com/interactive/2020/us/coronavirus-us-cases.html.
Unidos compartiendo y aprendiendo
#SGVirtual

2. Senior Engineer
Ángel Alvarado
Unidos compartiendo y aprendiendo
#SGVirtual
Data Engineer
Volunteer & mentor

3. Unidos compartiendo y aprendiendo
#SGVirtual
● Nonprofit 10,000
miembros en USA
● 8 capítulos
● 50k migrates sin
documentos
● Buscando abrir un
capítulo en México:
dulce@techqueria.org

4. ¿Objetivo de esta platica?
Qué aprendas cómo
implementar una plataforma
de datos de bajo costo con
herramientas de software libre.

5. Agenda
● ¿Por qué una plataforma de este tipo?
● Herramientas-Arquitectura
● ¿Cómo se ve?
● Flujo de trabajo ejemplo 1
● Flujo de trabajo ejemplo 2
● Consideraciones en Producción

6. ¿Por qué crear una
plataforma de este tipo?
● No tecnología propietaria y ni elevado costo.
● Privacidad de datos
● No hay $ para invertir en personal dedicado
a ingeniería de datos
● Entry-level para desarrolladores web y móvil.
● Diferentes departamentos en tu empresa
quieren analizar datos de manera sencilla.
● Equipos muy pequeños

7. ¿Qué herramientas usa esta
plataforma?

8. ¿Cómo interactúan?

9. ¿Cómo se ve en
funcionamiento?

10. ¿Cómo se ve en
funcionamiento?

11. Herramientas: ¿Por qué Docker?
● Ligero y facil de instalar
● Permite empaquetar en
contenedores tus
● Facilita deployments

12. Herramientas: ¿Por qué Rails y
Mysql?
● Framework web común
● Gran comunidad
● Rails scheduler/jobs
● Database schema
● Migrations
● Mysql
● Base de datos relacional
● Escalable hasta cierto
punto

13. Herramientas: ¿Por qué
Streamsets?
● Facilita Streaming & ETL de los
datos
● Pensado en BigData & DataOps
● Despliega los pipelines en clusters

14. ,
Herramientas: ¿Por qué
Streamsets?
● Multiple conectores
out-of-the-box
○ Apache Kafka, Hadoop, Spark
○ Flume, Mapr, Snowflake,
tensorflow
○ Salesforce
● Open-Source
○ Conectores personalizados -
Java ó Scala ó Python

15. Herramientas: ¿Por qué Superset y
Redis?
● Alivia la carga de la
base de datos (Cache)
● Creada por
● Facilita la
representación de los
datos en D3.js
● Open source

16. ¿Y el Big Data?
● Streamsets
○ Apache spark
○ Scala, Java
○ Apache Kafka
○ Druid-HDFS
○ ElasticSearch
○ Google Cloud
○ ...
● Scheduler
○ Rails+Streamsets ó Airflow+Streamsets
● Supersets
○ Druid, Drill, Impala, BigQuery
○ ElasticSearch y muchos más

17. ¿Cuál es el flujo de desarrollo en esta
plataforma?
Caso de uso:
Preparar plataforma de datos para permitir a
investigadores y científicos analizar datos de
Covid19 en US generados por el New York
Times

18. Paso 0: Haz un fork de la plataforma y
levantala localmente

19. Paso 1: Prepara tu “data lake”

20. Paso 1: Prepara tu “data lake”
Estructura de los datos
https://github.com/AngelAlvarado/data-platform-with-open-source/pull/1/files

21. Paso 1: Prepara tu “data lake”
Estructura de los datos

22. Paso 2: Genera tus 'data pipelines': ETL ó Streaming
● Datos Covid19
● Los datos son
https://github.com/AngelAlvarado/data-platform-with-open-source/pull/1/files

23. Paso 2: 'data pipelines': data wrangling
● Datos Covid19
● Los datos son
https://github.com/AngelAlvarado/data-platform-with-open-source/pull/1/files

24. Paso 2: 'data pipelines': Geocodes
● Datos Covid19

25. Paso 2: 'data pipelines': streaming/batching
● Datos Covid19
● Los datos son

26. Paso 3: Genera una visualización de datos

27. Paso 3: Genera una visualización de datos

28. Paso 3: Genera un dashboard

29. Paso 4: ¿Y el job scheduler?
● Los datos en NYT
son actualizados
cada mañana

30. Paso 4: job scheduler

31. ● Datos Covid19 del New York Time
+ Datos del censo de los estados
unidos
Flujo de trabajo:

32. ● Datos Covid19 del New York Time
+ Datos del censo de los estados
unidos
Paso 1: Prepara tu “data lake”

33. Paso 1: Prepara tu “data lake”

34. Paso 2: Genera tus 'data pipelines': ETL ó Streaming

35. Paso 2: Genera tus 'data pipelines': ETL ó Streaming

36. Paso 3: Genera una visualización de datos

37. Genera una visualización de
datos más compleja con
SQL lab.

38. Consideraciones para enviar a producción/staging
● Infraestructura
○ Digital Ocean, AWS/GC
○ Streamsets cloud
○ Docker compose o desacoplar aún más
● Integración continua
○ Tests
● Alertas
● Logging
● Visualizaciones y/o dashboards
○ usuarios finales
● Científicos de datos/investigadores: jupyter notebook -> analisis

39. Crea tu propia plataforma
Github:
https://github.com/AngelAlvarado/data-platform-
with-open-source
Créditos:
Sarah Thomason - UC Berkeley: análisis de “US census data”
Fernando Bustos - iOS Dev: pruebas del código compartido en esta plática
New York Times COVID19 data:
https://www.nytimes.com/interactive/2020/us/coronavirus-us-cases.html.
Unidos compartiendo y aprendiendo
#SGVirtual