Big Data, Applied Economics, UCLM

1. To err is human, but to really foul things up you need a computer
Big Data:
Some Questions in its Use
in Applied Economics
Ana Fernandez
Svet Ivantchev
Programa de Doctorado en Economía y Empresa, UCLM, Albacete, 16 de enero de 2017

2. Big Data
❖ ¿Qué es y porque ahora?
❖ es una innovación, relación con Cloud Computing
❖ factor dinero: ej: CloudSort benchmark
https://databricks.com/blog/2016/11/14/setting-new-world-record-apache-spark.html

3. AWS spot pricing

4. AWS spot pricing

5. The Data Science Venn Diagram
Ref: Drew Conway, https://s3.amazonaws.com/aws.drewconway.com/viz/venn_diagram/data_science.html

6. Ref: S Wildish, http://mymodernmet.com/stephen-wildish-clever-venn-diagrams

7. Data Analysis
Capturar Almacenar Transformar Analizar
Visualizar

8. Orden de magnitud de acceso a datos
Ref: https://people.eecs.berkeley.edu/~rcs/research/interactive_latency.html
“Ancho de banda” de UPS

9. Un ejemplo de big dataset
Ref: https://databricks.com/blog/2015/10/13/interactive-audience-analytics-with-apache-spark-and-hyperloglog.html
Ad | Site | Cookie | Impressions | Clicks | Segments
------------- |-------------- | --------------- | ----------- | ------ | -------------------------------
bmw_X5 | forbes.com | 13e835610ff0d95 | 10 | 1 | [a.m, b.rk, c.rh, d.sn, ...]
mercedes_2015 | forbes.com | 13e8360c8e1233d | 5 | 0 | [a.f, b.rk, c.hs, d.mr, ...]
nokia | gizmodo.com | 13e3c97d526839c | 8 | 0 | [a.m, b.tk, c.hs, d.sn, ...]
apple_music | reddit.com | 1357a253f00c0ac | 3 | 1 | [a.m, b.rk, d.sn, e.gh, ...]
nokia | cnn.com | 13b23555294aced | 2 | 1 | [a.f, b.tk, c.rh, d.sn, ...]
apple_music | facebook.com | 13e8333d16d723d | 9 | 1 | [a.m, d.sn, g.gh, s.hr, ...]
Wikipedia: 30k-70k per second; ej: consumo eléctrico domestico
http://www.internetlivestats.com

10. Contar puede ser un problema interesante
Input: [12, 45, 44, 67, 12, 9, 44]
Output: 5 — en número de valores distintos (cardinality)
Concepto: intercambiar precisión por tiempo y memoria

11. HyperLogLog
❖ idea: observar el stream de números en su representación binara:
❖ fijamos un prefijo, por ejemplo “100”. Si lo observamos aumentamos
la probabilidad de que el cardinality es 2^[la-longitud-del-prefijo], en el
ejemplo 8.
❖ en una aplicación práctica: dividimos en flujo en varios y corregimos
para bajos números de observaciones (ver Ref)
101000100
010101000
001010011
100001000
…
…

12. Bootstrap vs Estratificar
❖ Otra vez: intercambiar precisión por tiempo
❖ Sampling aleatorio vs estratificar
❖ ej: calcular una media también puede ser un reto

13. Data Analysis
Capturar Almacenar Transformar Analizar
Visualizar

14. Cuarteto de Anscombe
Anscombe, F. (1973), Graphs in Statistical Analysis,The American Statistician, pp. 195-199.

15. Cuarteto de Anscombe

19. ¿Cómo de grande es “Big”?
❖ si podemos entender los datos solo indirectamente
(estadísticos, visualizaciones)
❖ los puntos individuales son demasiados para
estudiarlos de forma individual
❖ las visualizaciones se centran en la distribución, no en
los puntos individuales

20. Ref: J Bendar, Continuum Analytics
4 x 10k puntos

21. Taxi en NYC y datashader

22. https://anaconda.org/jbednar/nyc_taxi/notebook

23. undersampling: mostramos 1000 de 12M puntos (0.01%)

24. overploting: mostramos 10.000 de 12M puntos (0.1%)

25. 100.000 de 12M puntos (~1.0%)

26. using datashader

29. Herramientas
❖ supuestos importantes:
❖ en el almacenamiento: que falla (ej: HDFS)
❖ acceso a los datos: idea de noSQL (ej: key-value stores,
column-based DBs como Cassandra; graph-oriented
como neo4j)
❖ en el análisis: el acceso puede ser lento (ej: Spark lazy
evaluation; valores aproximados)
vs

30. ¿La mejor herramienta?
“depende”

31. Elecciones…

35. Un ejemplo: teléfono para mayores

39. Datos
❖ cantidad de datos: registro cada 5 min para 10,000
personas ~ 20 GB/día, 60 TB/mes
❖ oportunidad: identificación de outliers en los datos
❖ retos colaterales: consumo de batería
❖ idea de Active Learning

40. Para acabar
”I keep saying the sexy job in the next ten years will be
statisticians. People think I’m joking, but who would’ve
guessed that computer engineers would’ve been the
sexy job of the 1990s?”
Hal Varian, The McKinsey Quarterly, January 2009

47. Gracias
Q & A