1. Análisis de
redes en la nube
usando NoSQL
J o a q u í n S a l v a c h ú a
J s a l v a c h u a @ d i t . u p m . e s
jueves 25 de noviembre de 2010

2. El AZAR y la
Necesidad
jueves 25 de noviembre de 2010

3. Indice
Problema: Matemáticas vs. Ordenador.
Computación distribuida.
Bases de datos NoSQL: Grafos.
Soluciones computacionales.
Conclusiones
jueves 25 de noviembre de 2010

4. jueves 25 de noviembre de 2010

5. jueves 25 de noviembre de 2010

6. jueves 25 de noviembre de 2010

7. jueves 25 de noviembre de 2010

8. Grafos y matrices
1 2 3 4 5
1 0 1 0 1 0
2 1 0 0 1 1
3 0 0 0 1 0
4 1 1 1 0 0
5 0 1 0 0 0
jueves 25 de noviembre de 2010

9. > 10^7
jueves 25 de noviembre de 2010

10. Computación sobre
el grafo social
Grafo que almacena una red social y sus
propiedades.
Necesidad de computación en tiempo real:
Muro de Facebook.
Seguidores de Twitter.
Cualquier otro servicio social.
jueves 25 de noviembre de 2010

11. Web Semántico
Estas tecnologías están habilitando realmente
la web semántica.
También son grafos y una de sus limitaciones
han sido computacionales.
Nueva oportunidad con Open-Data.
jueves 25 de noviembre de 2010

12. Stream-processing
REALTIME
jueves 25 de noviembre de 2010

13. jueves 25 de noviembre de 2010

14. Un ordenador tiene
recursos limitados
Diferentes algoritmos :
Necesidad de cálculos rápidos.
Pseudotiempo real blando.
Complejidad algorítmica.
jueves 25 de noviembre de 2010

15. Si no entra en
memoria principal
Todo va muy lento.
jueves 25 de noviembre de 2010

16. jueves 25 de noviembre de 2010

17. jueves 25 de noviembre de 2010

18. Librerias de
computación
paralela
Sistemas tipo GRID (MPI)
Sin resistencia a fallos.
Si alguno para hay que empezar de nuevo.
jueves 25 de noviembre de 2010

19. jueves 25 de noviembre de 2010

20. A que huelen las
nubes
jueves 25 de noviembre de 2010

21. Clasificación ?aas
SaaS (Software as a Service) (gmail,
salesforce.com, Google Apps).
PaaS (Platform as a Service) (Amazon simple
DB, MS Azure, Google app engine).
IaaS (Infrastructure as a Service) (HaaS)
(Virtualizadores )
Cloud es el Matrix de los servicios (virtuales).
jueves 25 de noviembre de 2010

22. Comprar y construir
una casa (y mantenerla)
jueves 25 de noviembre de 2010

23. Dificil segun crece
jueves 25 de noviembre de 2010

24. Es como un hotel
Sin preocuparse
de
fontaneros
jueves 25 de noviembre de 2010

25. Almacenaje
Paradigma relacional.
Solo existe las tablas, las relaciones y Select es
su profeta.
jueves 25 de noviembre de 2010

26. jueves 25 de noviembre de 2010

27. Almacenaje clave
valor
Saco de tuplas : < Clave, Valor >
Hash table:
jueves 25 de noviembre de 2010

28. Distributed Hash
Table
jueves 25 de noviembre de 2010

29. Google bigtable
Almacen < Hash(URL), Página >
Funciona sobre el GFS
jueves 25 de noviembre de 2010

30. Cloneado por apache
Hadoop : equivalente sobre HDFS
Soportado por YAHOO
jueves 25 de noviembre de 2010

31. NoSQL
No ACID
Teorema de CAP (Brewer): 2 de
Consistencia.
Disponibilidad.
Resistencia a Particion.
jueves 25 de noviembre de 2010

32. NotOnlySQL
jueves 25 de noviembre de 2010

33. Clasificación
Clave-Valor
Columnas.
Documentos
Grafos <----
jueves 25 de noviembre de 2010

34. Diversas soluciones
existentes
NEOJ DEX SONES Hypergraph
jueves 25 de noviembre de 2010

35. Modelo con grafos y
enlaces.
Nodos
Enlaces
Propiedades (campos) en los dos.
Equivalentes a las “tablas”.
jueves 25 de noviembre de 2010

36. OpenSource
NEOJ (propia).
Hypergraph (xmpp sobre berkeleyDB).
Vertex DB : (tokio-cabinet)
jueves 25 de noviembre de 2010

37. Otras
Comerciales
DEX
SONES
Desarrollada en España.
jueves 25 de noviembre de 2010

38. Problemas
Adecuadas solo para ciertos usos.
Distribuidas: Tipo MySQL.
RDF : Remora o Requisito.
jueves 25 de noviembre de 2010

39. jueves 25 de noviembre de 2010

40. Computación sobre
cloud y NOSQL
Problemas isomorfos….
PageRank.
BigTable & Map Reduce.
jueves 25 de noviembre de 2010

41. MAP-REDUCE
Diseño de google para calculo del PageRank.
Librería simple, asíncrona, autoajustable
Desgraciadamente el ensamblador de los
algoritmos.
jueves 25 de noviembre de 2010

42. Descripción
Tenemos MAP
jueves 25 de noviembre de 2010

43. Descripción
Tenemos REDUCE
jueves 25 de noviembre de 2010

44. Descripción
Fase MAP:
Analizamos los datos y los convertimos en
tuplas < clave, valor >.
Barajado : se ordenan y agrupan por la clave
Fase REDUCE:
Todos los valores asociados a una clave se
procesan juntos.
jueves 25 de noviembre de 2010

45. WC
jueves 25 de noviembre de 2010

46. WC
jueves 25 de noviembre de 2010

47. Arquitectura
distribuida
jueves 25 de noviembre de 2010

48. Problemas
Su bajo nivel: Dificil programar.
Exceso de comunicación.
No para todo tipo de cálculo sobre grafos.
jueves 25 de noviembre de 2010

49. ¿Posible solución?
Pregel
Librería sencilla
Pagerank:12 líneas.
Erlang clones.
jueves 25 de noviembre de 2010

50. Diversos elementos
Vertices (nocos) activos.
Enlaces creando y destruyendo.
Aplicación algoritmo local hasta que vertice
decide parar.
Cuando todos los vertices han parado se ha
acabado.
jueves 25 de noviembre de 2010

51. El principio de un
largo camino
Sistemas “tuneados”:
Twitter - Facebook.
Cálculos muy simples.
No hay solución DEFINITIVA.
jueves 25 de noviembre de 2010

52. ¿Caminamos juntos?
jueves 25 de noviembre de 2010

53. jueves 25 de noviembre de 2010

54. jueves 25 de noviembre de 2010