MapReduca

1. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
MapReduce:
Ejemplo

2. MapReduce
Ejemplo
Lista de comentarios:
▪ Primera vez
▪ Última vez
▪ Número de comentarios

3. MapReduce
Claves
▪ Mover la computación a los datos
Tareas Map
Master
Tareas Reduce
Copiar Copiar

4. MapReduce
Tarea Map
Worker i
Split i
Output de la función map
< k2, v2 >
v=[minimo, maximo, # comentarios]

5. MapReduce
Tarea Map
Clave
entrada
Mín
imo
Max
imo
Cuenta
1856 7 7 1
1856 10 10 1
1856 23 23 1
2341839 12 12 1
2341839 3 3 1
< k2, v2 >

6. MapReduce
Tarea Reduce
Clave
entrada
Mín
imo
Max
imo
Cuenta
1856 7 7 1
1856 10 10 1
1856 23 23 1
2341839 12 12 1
2341839 3 3 1
< k2, [v2] >
Input de la función reduce
{

7. MapReduce
Tarea Reduce
Itera la función reduce
para cada clave
minActual ← min{minActual, value}
maxActual ← max{maxActual, value}
Cuenta ← Cuenta + 1

8. MapReduce
Tarea Reduce
Clave Min Max Cuenta
1856 7 7 1
1856 10 10 1
1856 23 23 1
< k3, v3 > = [1856, 7, 23, 3]
Procesando . . .

9. MapReduce
Otras tareas
Tareas Map
Tareas Reduce
▪ Read
▪ Map
▪ Collect
▪ Spill
▪ Shuffle
▪ Merge
▪ Reduce
▪ Write

10. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
MapReduce:
Ejemplo