Este documento presenta una introducción de 30 minutos sobre Big Data. Explica que Big Data se refiere a conjuntos de datos tan grandes que no pueden manipularse con métodos estándar. Describe las cinco V's de Gartner (volumen, velocidad, variedad, veracidad y valor) para caracterizar los datos masivos. También discute la importancia de recolectar datos completos, correctos y conectables para alimentar algoritmos efectivos.

1. BIG DATA 30 MIN HOW TO
September 2014
M. en I. Tenoch Gonzalez
tenoch@ieee.org
@tenoch_g
Linkedin.com/in/tenochgonzalez

3. CAFETERA CONECTADA A TWITTER!

4. QUE ES BIG DATA
Conjuntos de datos que son muy grandes para
manipular con métodos o herramientas estándar.

5. QUE ES BIG DATA
Conjuntos de datos que son muy grandes para
manipular con métodos o herramientas estándar.

6. QUE ES BIG DATA
Gartner usa las siguientes v’s
para hablar de Big Data.
• volumen la cantidad de
data.
• velocidad la velocidad en
que se genera y fluye la
información en la empresa.
• variedad el tipo de data
disponible.
• veracidad que tan
confiable es la información.
• valor que representa para
la empresa.

7. QUE ES BIG DATA
Gartner usa las siguientes v’s
para hablar de Big Data.
• volumen la cantidad de
data.
• velocidad la velocidad en
que se genera y fluye la
información en la empresa.
• variedad el tipo de data
disponible.
• veracidad que tan
confiable es la información.
• valor que representa para
la empresa.

8. BIG DATA DESCRIPCIÓN GRÁFICA.

9. DE DONDE SALIERON
TANTOS DATOS?
Google propuso soluciones a sus problemas de
almacenamiento, consulta y procesamiento de información:
Google File System y Map Reduce

10. CUANDO TIENES UN
MARTILLO TODO SE VE
COMO UN CLAVO.

11. UNA BUENA SOLUCIÓN
SIRVE PARA MÁS DE UN
PROBLEMA.

12. COMO EMPEZAR!
Is the Data!
Is the Data!
Vamos con una historia…

13. HISTORIA DE HORROR.

14. PORQUE PREOCUPARSE?
Se supone que los científicos de
datos son magos no?

15. UN ALGORITMOS SÓLO ES TAN BUENO COMO
LOS DATOS CON LOS QUE LOS ALIMENTAS

16. NO IMPORTA EL TAMAÑO DE TU
PROYECTO.

17. Tu data set debe
ser
Completo.
Correcto.
Conectable
.

18. Que es critico para tu negocio?
Están los campos críticos para la empresa
guardados en el sistema?
… guardamos las urls que referimos
http://example.com/123?referrer=ourclient.com
COMPLETO

19. Que es critico para tu negocio?
Están los campos críticos para la empresa
guardados en el sistema?
… guardamos las urls que referimos
http://example.com/123?referrer=ourclient.com
Campo critico para el negocio
referrer=ourclient.com
COMPLETO

20. Volumen.
Se están guardando tantos datos como
esperas?
Google analytics dice que tienes 50,000
visitas y tu tienes datos de 500 :S
Perdiendo 99% de los datos.
Revisa el volumen.
COMPLETO

21. Captura eventos no sólo
errores!
Todo lo que hacen en tu
app, sitio, servicio, etc.
COMPLETO

22. Fecha del servicio.
Hora que se buscó el viaje.
Lugar y hora de origen.
Lugar y hora de destino.
Tiempo del viaje.
Clima
Monto de la transacción.
Cliente
SERVICIO DE TRANSPORTE DE PASAJEROS

23. Fecha del servicio.
Hora que se buscó el viaje.
Lugar y hora de origen.
Lugar y hora de destino.
Tiempo del viaje.
Clima.
Monto de la transacción.
Cliente.
VIAJES

24. Fecha del servicio.
Hora que se buscó el viaje.
Lugar y hora de origen.
Lugar y hora de destino.
Tiempo del viaje.
Clima.
VIAJES
SÓLO CAPTURABAN:
Monto de la transacción.
Cliente.
THE HORROR!!!

25. REVISA CONTRA EL SENTIDO COMÚN.
CORRECTO

26. M : 579
H : 6870
??????
Por mucho
tiempo no se
capturaba el
genero del
usuario y en
los datos se
hacía default a
‘M’
REVISAN Y LOS RESULTADOS

27. NO SABES?
NULL
‘’

28. Unique ID?
CONECTABLE??

29. No hacemos e-commerce…
La mayoría de las compañías de
retail/financieras no llevan la conexión
entre el cliente y la compra.
CONECTABLE??

30. CONECTABLE??
3ª vez mi numero de
cliente???

31. HERRAMIENTAS UTILES EN EL CAMPO

32. Conjunto de utilerías que permiten trabajar
los logs desde terminal.
En python
Está en github
pip install csvkit
Está en github
JSON, SQL
CSVKIT

33. Utilerías en línea de comandos para
análisis de datos.
En python
Está en github
pip install data_hacks
Está en github
JSON, SQL
DATA_HACKS

34. DATA_HACKS

35. iPython
Numpy
Scipy
PyMC
Matplotlib
Pandas
COMO SE TRABAJA CON LOS DATOS?
NO ES “FÁCIL” PERO ES POSIBLE.

36. PORQUE HACER ESTO?
5 Historias de éxito con
ciencia de datos.

37. SISTEMA DE RECOMENDACIONES BASADO EN
LO QUE HAZ VISTO, COMPRADO Y WISH LIST

38. PUBLICIDAD ENFOCADA A PERFILES ESPECIFICOS…

39. QUE PERSONAS ES MAS PROBABLE QUE CAMBIEN SU
VOTO SI SE LES CONTACTAY PORQUE MEDIO. EL
EQUIPO SE ADJUDICA 3 A 4% DE VENTAJA.

40. PUBLICIDAD ENFOCADA POR REGIÓN NO POR PAÍS.

41. SE ALIO CON SAP ANALISIS DEL EQUIPO E
INDIVIDUAL. LOGRARON BAJAR EL TIEMPO
DE POSESIÓN DE 3.4 A 1.1 SEGUNDOS

42. CIENCIA DE DATOS ES DE CAMPEONES!

43. TE DAMOS TODA LA PERSPECTIVA
tenoch@ieee.org @tenoch_g