Presentación de una de las conferencias sobre Big Data dadas en SENASoft - Colombia, el evento sobre TIC más importante de Colombia organizado por el SENA sobre tecnologías de la información y la comunicación. Por: Sebastián Ramírez Twitter: @tiangolo

1. Familiarización básica a métodos
y herramientas
para soluciones de Big Data
@tiangolo

2. ¿Quién les habla?
Sebastián Ramírez
SENSETA
Inteligencia Artificial sobre Big Data
@tiangolo

3. ¿Por qué “Big Data”?
@tiangolo

4. Crecimiento exponencial de datos
90% en últimos
2 años
@tiangolo

5. ¿Qué es Big Data?
@tiangolo

6. 3 V de Big Data
• Volumen • Velocidad • Variedad
@tiangolo

7. Volumen
Tamaño en disco, Bytes
@tiangolo

8. Velocidad
Nuevos datos rápidamente
@tiangolo

9. Variedad
Múltiples formatos
@tiangolo

10. ¿Cómo se usa?
@tiangolo

11. Hadoop
2005
Open Source
Map Reduce
HDFS
@tiangolo

12. Cluster Hadoop
@tiangolo

13. Hadoop HDFS
Hadoop Distributed File System
@tiangolo

14. Hadoop Jobs
@tiangolo

15. Nodos Hadoop
@tiangolo

16. Hadoop Map Reduce
@tiangolo

17. Map Reduce
Map
function
Reduce
function
Input
Splits
Fase “Map” Fase “Reduce”
@tiangolo

18. “Ecosistema” Hadoop
@tiangolo

19. Herramientas adicionales
para Big Data
@tiangolo

20. Distribuciones Hadoop
@tiangolo

21. Distribuciones de Hadoop
(“Ecosistema” Hadoop)
@tiangolo

22. Hive - SQL
@tiangolo

23. Facebook
• 300 Analistas
•Acceso tipo SQL
•Base de Datos
corporativa no resistía
@tiangolo

24. Hive
•Tipo SQL
•Schema on-read
(al leer)
•Estándar para
Bases de Datos
en Hadoop
@tiangolo

25. Hcatalog - SQL
@tiangolo

26. HCatalog
•Estructura de tablas para múltiples herramientas
•Abstracción de ubicaciones
•Sopota RCFile, CSV, JSON, y SequenceFile
@tiangolo

27. Pig - Script
@tiangolo

28. Pig
•Combinación: Script
y SQL
•Secuencias de flujos
de datos
•ETL, transformación
•Extensible
@tiangolo

29. HBase - NoSQL
@tiangolo

30. HBase
•NoSQL
•Columnar
•Tiempo Real
•Billones de registros
•Millones de columnas
•No JOINs
@tiangolo

31. Sqoop - Importar
@tiangolo

32. Sqoop
•Importar - Exportar
•Hive, Hbase…
•MySQL, Postgre,
Oracle
•Extensible
@tiangolo

33. Solr - Búsquedas
@tiangolo

34. Solr
•Búscquedas en “Tiempo Real”
•Indexa JSON, XML, CSV
•Búsquedas avanzadas
@tiangolo

35. Spark – En memoria
@tiangolo

36. Spark
•En memoria
•Machine Learning y Data Science
•Procesos iterativos (repetitivos)
@tiangolo

37. Ambari – Administración
@tiangolo

38. Ambari
•Open Source
•Monitoreo
•Administración
@tiangolo

39. Otras herramientas…
•MongoDB
•Cassandra
•Impala
•ElasticSearch
•Python Disco…
@tiangolo

40. ¡Gracias!
Sebastián Ramírez
Twitter: @tiangolo
Linkedin: http://lnkdin.me/p/tiangolo