Proyectos de Big Data del INEGI presentados en la Universidad Iberoamericana. Mostrando principios de Big Data y 3 proyectos: El estratificador Inegi, El Animo Tuitero y el Cubo de Datos Geoespaciales.

1. CÁTEDRA INEGI
BIG DATA
IBERO

3. BIG DATA
Marzo 2010
Febrero 2012

4. BIG DATA
Mayo 2013

5. https://trends.google.com.mx/

6. https://www.researchgate.net/publication/238704525_Managing_big_data_for_scientific_visualization
Antecedentes

7. TOTAL
Los algoritmos viajan a los datos distribuidos
Aportación básica

8. El mundo cambió hace ~ 14 años
https://en.wikipedia.org/wiki/Timeline_of_social_media

9. El mundo cambió hace ~ 14 22 años

10. Diciembre 2004
Octubre 2003
Y entonces:

11. Hadoop (2006 - 2008)

12. Hadoop (2006 - 2008)

13. Panorama Tecnológico (2010’s)

14. ¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/

15. ¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/

16. ¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/

17. ¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/

18. (Gartner, 2012) Big data son activos de
información de gran volumen, alta velocidad y / o
gran variedad que exigen formas rentables e
innovadoras de procesamiento que permitan una
mejor comprensión, toma de decisiones y
automatización de procesos.
¿Qué es Big Data?
https://www.gartner.com/en/information-technology/glossary/big-data

19. ¿Qué es Big Data?

20. http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx
Big Data en las Oficinas Nacionales de
Estadística (ONE)

21. http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx
Big Data en las Oficinas Nacionales de
Estadística (ONE)
• It is clear that during the next two years there is a need
to identify a few pilot projects that will serve as proof of
concept.
• Statistical organisations are, therefore, encouraged to
address formally Big data issues in their annual and
multi-annual work programmes by undertaking
research and pilot projects in selected areas and by
allocating appropriate resources for that purpose.

22. http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx
Big Data en las Oficinas Nacionales de
Estadística (ONE)
• 'new' exploration and analysis methods are required:
Visualization methods, Text mining, and High Performance
Computing.
• To use Big data, statisticians are needed with a different
mind-set and new skills. The processing of more and
more data for official statistics requires statistically aware
people with an analytical mind-set, an affinity for IT (e.g.
programming skills)

23. Estratificación Multivariada Nacional
Censo 2010
Acceso a Internet, Computadora, Teléfono Celular y Automóvil
2013

24. http://www.anlytcs.com/2014/01/data-science-venn-diagram-v20.html

25. Hilary Mason, Chief Data Scientist at bitly
http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist
Científico de Datos

26. https://101.datascience.community/2014/07/08/data-scientist-vs-data-engineer/

27. Equipo de Big Data y Ciencia de Datos

28. Valor
Análisis de Datos
Estadística
Machine Learning
Estadística
Descriptiva
Procesamiento de
Lenguaje Natural
Muestreo
Mucho más…
Análisis de
Redes (Grafos)
Visualización
Análisis de
Series de Tiempo
http://www.datascienceassn.org/
http://en.wikipedia.org/wiki/DIKW_Pyramid
https://im.ft-static.com/content/images/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf
Inspirado en:
Gramática de visualización
https://vega.github.io/vega/
Componentes de Big Data y Ciencia de Datos

29. Ciclo de vida de Ciencia de Datos
https://docs.microsoft.com/en-us/archive/blogs/machinelearning/introducing-the-team-data-science-process-from-microsoft

30. Estratificador INEGI (2011)

31. https://docs.microsoft.com/en-us/archive/blogs/machinelearning/introducing-the-team-data-science-process-from-microsoft
Estratificador INEGI (2011)

32. Estratificador INEGI (2011)

33. Estado de Animo de los Tuiteros
https://www.inegi.org.mx/app/animotuitero

34. Estado de Animo de los Tuiteros
https://www.inegi.org.mx/app/animotuitero

35. Estado de Animo de los Tuiteros (2014)

36. Estado de Animo de los Tuiteros (2018)

37. Estado de Animo de los Tuiteros (2018)
~8 Redhat Servers (8 Gb Ram, 4 Cores)
~500 Milliones of Geo-Tweets
~200 Milliones dentro de México
> 4 Years ~ 24/7

38. Estado de Animo de los Tuiteros (2018)

39. Cubo de Datos Geoespaciales de México

40. https://docs.microsoft.com/en-us/archive/blogs/machinelearning/introducing-the-team-data-science-process-from-microsoft
Cubo de Datos Geoespaciales de México

41. Cubo de Datos Geoespaciales de México
Machine Learning (2019)
Entrenamiento
Censo 2010
Muestra Aleatoria
Geomediana libre de
nubes
30 metros
Machine Learning
Supervisado
Clasificación de
Densidad Urbana
Años no-censales
2019
Imágenes 2010

42. Cubo de Datos Geoespaciales de México (2020)

43. Lago de Datos 2020 - …
Mathis, C. (2017). Data Lakes. Datenbank-Spektrum, 17(3), 289–293.
https://doi.org/10.1007/s13222-017-0272-7

44. • Se requiere involucramiento y liderazgo de expertos del negocio.
• Es fundamental colaborar con la academia.
• No se requiere gran inversión en hardware, se pueden hacer los proyectos
piloto con los recursos que ya se cuentan.
• En proyectos de clasificación supervisada lo mas valioso es construir y
mantener actualizada una base de entrenamiento.
• Los proyectos de Big Data / Ciencia de Datos son proyectos de
investigación, NO HAY GARANTIAS DE ÉXITO.
Algunas lecciones aprendidas

45. Abel Alejandro Coronado Iruegas
abel.coronado@inegi.org.mx
GRACIAS @abxda