Plataformas para Big Data

1. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Plataformas para BD

2. Plataformas
BD
Arquitectura BD
Aplicación Web
Inges0ón
de datos
Aplicación
Procesamiento
Aplicación
Aprendizaje
Automá0co
Motor
de
Búsqueda

3. Plataformas
BD ▪ Apache Software Foundation
(Código abierto)
▪ Procesamiento batch
▪ MapReduce. Capacidad de
procesar gran cantidad datos
Características

4. Plataformas
BD ▪ Escalabilidad
▪ Tolerancia a fallos
▪ Flexibilidad
Características

5. Plataformas
BD
▪ No recurisvidad ni interactividad
▪ Coste de inicio
▪ Múltiples fases Map/Reduce
▪ Múltiples archivos
Retos

6. Plataformas
BD
▪ Falta programadores
▪ Conocimientos Java
▪ SQL+ Hadoop
▪ Administración arte y ciencia
Retos

7. Plataformas
BD
▪ Seguridad de datos
▪ Gestión y gobierno de los datos
Retos

8. Plataformas
BD
▪ HDFS (Hadoop distributed file
system)
▪ YARN (Yet Another Resource
Negotiator)
Módulos

9. Plataformas
BD
▪ HDFS (Hadoop distributed file
system)
▪ Sistema archivos distribuido
▪ Replicación bloques
▪ YARN (Yet Another Resource
Negotiator)
▪ ResourceManager
▪ ApplicationMaster (tareas
MapReduce)
Módulos
▪ HDFS (Hadoop distributed file
system)
▪ YARN (Yet Another Resource
Negotiator)

10. Aplicación Web
Inges0ón
de datos
Aplicación
Procesamiento
Aplicación
Aprendizaje
Automá0co
Motor
de
Búsqueda
HDFS
YARN MapReduce
Motor

11. Plataformas
BD
▪ Procesamiento batch, streaming
y en linea
▪ Código abierto
▪ Procesamiento iterativo de
algoritmos aprendizaje
automático
Características

12. Plataformas
BD
▪ Alto rendimiento
▪ Computación en memoria.
Eliminación del uso del disco
de los resultados intermedio
▪ DAG (optimización etapas
Map/Reduce)
Características

13. Plataformas
BD
▪ Facilidad de programación
▪ Python
▪ R
▪ Scala
▪ Java
▪ SQL
Características

14. Plataformas
BD
RDD
▪ RDD Resilent Distributed
Datasets
▪ Estructura de datos
distribuida
▪ Partición (unidad atómica
situada en un nodo)
▪ RDD es colección de
particiones
▪ Coloca automáticamente
operaciones en RDDs
▪ Tolerante a fallos

15. Streaming
the batch system to be processed. Some MapReduce implementations, especially real-time o
Spark and GridGain support this technique. In Spark the streaming support is called discretized
or DStream which is represented as a sequence of RDDs. A schematic of stream processing in S
given in Figure 2. The in-memory computing feature of Spark enables it to compute data
quicker than Hadoop. However, this technique is not adequate for the demands of a true stream
Furthermore, the MapReduce model is not suitable for stream processing.
Figure 2. Schematic of stream processing in Spark.
Currently, there are a few stream processing frameworks that are inherently designed for b
streams. Two notable ones are Storm from Twitter, and S4 from Yahoo [27]. Both frameworks
the Java Virtual Machine (JVM) and both process keyed streams. However, the programming m
the frameworks is different. In S4, a program is defined in terms of a graph of Processing E
(PE) and S4 instantiates a PE per each key. On the other hand, in Storm, a program is defined
Flujo de
Datos
Lotes
datos
Entrada
Lotes
datos
Procesados
Dstream (RDD)

16. Ecosistema
Spark SQL+
DataFrame Streaming MLlib GraphX
Spark Engine API
R Java
Python Scala SQL

17. Aplicación Web
Inges0ón
de datos
Aplicación
Procesamiento
Aplicación
Aprendizaje
Automá0co
Motor
de
Búsqueda
RDD
HDFS
Motor

18. Similitudes/
diferencias
▪ Diferencias
▪ En memoria / en disco
▪ DAG optimizado / manual
▪ Características comunes
▪ Localidad datos
▪ Ejecución en etapas
▪ HDFS para la persistencia en
disco

19. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Plataformas para BD