Divides y vencerás

1. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Divide y vencerás

2. Mo#vación
Coste exponencial es inabordable
▪ A efectos prácticos no es
escalable
O(n3
)
Sistemas
Big Data
▪ 1000 datos*64 Bytes
▪ 1MB=1.048.576 Bytes
▪ 0.06 MB
▪ n=1000 números float
Memoria

3. Mo#vación
▪ =
▪ 1000 millones de operaciones
10003
= 1000 * 106
Número de operaciones
Sistemas
Big Data
▪ Coste exponencial es inabordable
▪ A efectos prácticos no es
escalable
O(n3
)
▪ n=1000 números float

4. Mo#vación
= 1 billón de operaciones
100003
= (10 ⋅ 1000)3
= 103
10003
Número de operaciones
Sistemas
Big Data
▪ Coste exponencial es inabordable
▪ A efectos prácticos no es
escalable
O(n3
)
▪ n=10000 números float

5. Divides y
vencerás
Sistemas
Big Data
Particionamiento
datos
Resultados
intermedios
Output

6. Computación
distribuida
Sistemas
Big Data
▪ n=1000 números float
K=100 procesadores
m=10 tamaño submuestra
m=10
m=10 K=1
n=1000
K=100
Número
operaciones=103+f(K)
=1000+ f(K)
Secuencial =1000 millones

7. Cálculo
Media
Sistemas
Big Data x̄ =
x1 + … + xn
n
41 9 32 6 12
x̄ =
41 + 9 + 32 + 6 + 12
5
=
100
5
= 20

8. Computación
distribuida
Sistemas
Big Data
Particionamiento
datos
Resultados
intermedios
Output

9. Cálculo
Media
Sistemas
Big Data
x̄1 =
41 + 9
2
=
50
2
= 25 x̄2 =
32 + 6 + 12
3
=
50
3
{
41 9 32 6 12
{
{

10. • Cálculo
Media
Sistemas
Big Data
x̄ =
2
5
x̄1 +
3
5
x̄2 =
2
5
25 +
3
5
50
3
= 20
{
x̄1 x̄2
Media ponderada

11. Complejidad
Secuencial
Sistemas
Big Data
O(n) secuencial
n=m*K; particionamos en
grupos de m datos
x̄ =
x1 + … + xn
n

12. Complejidad
Sistemas
Big Data
O(m)
K
1
m
m
m
O(K)
+
O(m*K)
Distribuido
Secuencial

13. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Divide y vencerás
• no es escalable
• Computación distribuida
O(n3
)