Este documento trata sobre sistemas distribuidos y arquitectura de software. Explica definiciones clave como sistemas distribuidos, casos de uso comunes como servidores de archivos y bases de datos, y patrones arquitectónicos como cliente-servidor y peer-to-peer. También describe la expectativa vs la realidad de los sistemas distribuidos y el ecosistema de Hadoop, incluyendo HDFS y MapReduce.

1. Distributed computing
&
Software Engineering
Allan Avendaño

3. Sistemas Distribuidos

4. Agenda
• Definición
• Casos de uso
• Expectativa vs Realidad
• Patrones arquitectónicos
• Hadoop y su ecosistema

5. Sistema Distribuido

6. Plataformas
Berkeley
Voluntarios
Computación en paralelo
Canal directo de comunicación
Sin control central
Objetivo común

7. Caso: Aplicación de
almacenamiento de imágenes
http://www.aosabook.org/en/distsys.html
Manejador
de
Imágenes
B.D.
de
Imágene
s
Imagen
Los archivos son
almacenados en
la Base de Datos
Cargar
Requerimiento
de una imagen
Cliente

8. Imagen
Cargar
Requerimiento
de una imagen
Cliente
Los archivos son
almacenados en
la Base de Datos
Servicio de
escritura de
imágenes
Servicio de
lectura de
imágenes
B.D.
De
imágenes

9. Imagen
Cargar
Requerimiento
de una imagen
Cliente
Los archivos son
almacenados en
la Base de Datos
B.D.
De
imágenes
B.D.
De
imágenes
Replicación
Servicio de
escritura de
imágenes
Servicio de
escritura de
imágenes
Servicio de
lectura de
imágenes
Servicio de
lectura de
imágenes
Ubicado en
otro lugar
Archivos 1
son
guardados
en
la B.D.
Archivos 2
son
guardados
en
la B.D.
Los archivos son
almacenados en
la Base de Datos
Replicación
Replicación
B.D.
espejo para
Archivos 1
B.D.
espejo para
Archivos 2
Ubicado en
otro lugar

10. Casos de Uso
• Servidores de archivos
• Bases de datos
• Servidores Web
• Servidores de Correo
• Computación en la nube
• Minería de datos

11. Expectativa vs Realidad
• Escalabilidad.
• Disponibilidad.
• Transparencia.
• Heterogeneidad y
Apertura.
• Reutilización.
• Costos.
• Detección,
Enmascaramiento,
tolerancia y
recuperación de fallos.
• Complejidad.
• Tiempo de
procesamiento.

12. Patrones Arquitectónicos
• Cliente-Servidor (+ multinivel)
• Peer-to-Peer
• Maestro-Esclavo

13. Cliente-Servidor
• Uso de
recursos.
• Redundancia.
• Procesamiento
en paralelo.
• Tolerancia a
fallos.

14. Peer-to-Peer
• Servicios:
• Balanceo de
carga.
• Distribución
de trabajo.
• Tolerancia a
fallos.

15. Hadoop y su Ecosistema

16. Hadoop
Procesamiento de conjuntos grandes de datos
HDFS y MapReduce

17. Ecosistema
SQL para grandes
volúmenes
de datos
Análisis de datos
en un
lenguaje de
alto nivel
Monitoreo de
Hadoop
Machine Learning
Distribuido

18. GSoC 2015
Colaborar con comunidades de software
abierto.
Compensación económica.
Diversión.

19. Q & A