11- Unidad 3: Webservices - 3.2 Uso de Web services (aplicaciones)

1. Unidad 3. Webservices
3.2. Uso deWebservices
(Aplicaciones)
Autor(es):
Ciencias de la Ingeniería
Carrera de Sistemas
Plataformas de Desarrollo 2
Mg. Luis Fernando Aguas Bucheli
+593 984015184
@Aguaszoft
Laguas@uisrael.edu.ec
Aguaszoft@Outlook.es

2. “No puedes derrotar a la persona que
nunca se rinde”
(Anónimo)
Ciencias de la Ingeniería
Carrera de Sistemas
Plataformas de Desarrollo 2

3. Resultado de Aprendizaje
 Desarrollar soluciones informáticas mediante metodologías,
herramientas y estándares que satisfagan los requerimientos
de las organizaciones sobre la base de los principios de la
sociedad de la información.

4. Contenidos
 Introducción
 Objetivos
 Desarrollo de Contenidos
 Conclusiones
 Bibliografía

5. 3.2. Uso de Webservices

6. Objetivos
 Adquirir los conceptos básicos relacionados con el web
Service
 Reconocer las características del diseño de web Service

7. Introducción
Mejora en las
comunicacione
s de Red
Aumento de
velocidad y del
volumen de
tráfico
soportado
Nace
Apache
Hadoop
Aparición del
Paradigma de
Computación
Cloud
Computing
¿Es posible
Integrarlos?
Sistema de
Computación
Distribuido de Alto
Rendimiento en un
entorno Cloud
Computing
Desarrollo de
los Sistemas de
Computación
Distribuidos
3

8. Cloud Computing
 Ofrecer los recursos de un sistema sin que los usuarios tengan
conocimientos sobre el mismo, su configuración,
mantenimiento o administración.
 Tipos de nubes: privadas, públicas, híbridas, combinadas y
comunitarias.
5
 Virtualización de Servidores.
 Convertir un sistema en una infraestructura de
servicios escalable, dinámica y automatizable
en
la que se paga por los servicios que utilizas.
 Migrar servicios entre servidores y adaptar el
sistema a la demanda de los usuarios.

9. Cloud Computing
Ventajas y Desventajas
Ahorro
de
Costes
Alta
Disponibilidad
Alto
Rendimient
o
Fiabilidad
Escalabilida
d
Agilida
d
Recuperación
ante
Desastres
Abstracción e
Independencia
del Hardware
Sentimiento de
Inseguridad o
Vulnerabilidad
Dependencia
Conexión a
Internet
Tecnología
Prematura
en
Desarrollo
Degradación
del Servicio
Dependenci
a
Proveedores
de Servicios
6

10. Cloud Computing
Comparativa

11. Cloud Computing
OpenStack
 DUAL NODE
Red
Pública
Red de
Gestión
Nodo(s) de
Procesamiento
Nodo
Controlador
7

12. Cloud Computing
Computación Distribuida Apache
Hadoop
 Entorno de computación distribuida de licencia libre
creado por Doug Cutting y promovido por Apache
Software Foundation.
Aplicaciones
sobre
grandes
volúmenes
de datos de
manera
distribuida.
Sistemas con
miles de nodos.
Alta flexiblidad
y escalabilidad.
Clústeres con
distintas
topologías.
9

13. Cloud Computing
Computación Distribuida Apache
Hadoop
MAESTRO ESCLAVO(S)
TASKTRACKER
JOBTRACKER
DATANODE
NAMENODE
DATANODE
TASKTRACKER
Capa
MapReduce
Capa
HDFS
10

14. Cloud Computing
Hadoop Distributed File System
Diseño
específico para
Apache
Hadoop
Mínimas
Escrituras –
Múltiples
Lecturas
No posee Alta
DisponibilidadPosibilidad de
Réplica de Nodos
No indicado para
sistemas con
múltiples archivos
de poco tamaño
Posibilidad de
agrupar los datos
en contenedores
Tolerancia a
Fallos
11

15. Cloud Computing
Hadoop Distributed File System
NAME
NODE
NAMENODE
SECUNDARIO
DATANODE DATANODE
Réplica de
Datos
Op.
Sincronización
Op. sobre
Bloque
Red de
Sincronización
Op. Datos
12

16. Integración Cloud Computing –
apache hadoop
Hadoop es
adaptable a
cualquier tipo de
máquinas
Incluso Virtuales
Creamos una
instancia virtual
en nuestra nube
OpenStack Instalamos
Hadoop
SingleNode en
ella.
Almacenamos
la instancia
como patrónDesplegamos
tantas instancias
como nuestros
recursos nos
permitan
Configuramos
Hadoop
Multinode
14

17. Integración Cloud Computing –
apache hadoop
 Seleccionamos
un tipo de
instancia.
 Utilizamos una
máquina
virtual
Ubuntu.
15

18. Integración Cloud Computing –
apache hadoop
 Nos conectamos vía SSH a la instancia.
 Configuramos Hadoop SingleNode.
16

19. Integración Cloud Computing –
apache hadoop
 Almacenamos esta máquina virtual configurada con
Hadoop SingleNode como patrón de instancias.
 Desplegamos tantas instancias como los recursos
hardware de nuestro sistema Cloud Computing
permitan.
17

20. Integración Cloud Computing –
apache hadoop
 Configuramos Hadoop Multinode.
 Iniciamos los servicios del entorno distribuido.
 Primero el HDFS.
 Finalmente la capa MapReduce.
18

21. Programación MapReduce
Programación
Funcional
(Map – Reduce)
Balanceado
de Carga
Orientado a
Grandes
Cantidades de
Datos
Amplio
Soporte
Control de Errores
en Nodos.
Tolerancia a Fallos
Licencia
Libre
Programación
Paralela
20

22. Programación MapReduce
Funcionamiento
21

23. Programación MapReduce
Funcionamiento
 Los elementos principales de un programa MapReduce
son:
JobConf Mapper Reducer
Formato de
Salida
Formato de
Entrada
No hay un ningún tipo de archivo para trabajar con
Imágenes
22

24. Programación MapReduce
Librería HIPI
Librería creada por la University of Virginia que aporta una
API para el procesamiento de imágenes
HipiImageBundl
e
FloatImage CullMapper
HipiJob
24

25. Programación MapReduce
Librería HIPI
25

26. Pruebas de Rendimiento y
Ejemplos de Aplicación HIPI
Prueba de
Rendimiento
WordCount
Batería de pruebas
aumentando el
número de libros
27
Carga de Archivos
en el Sistema
Ejecución
MapReduce

27. Pruebas de Rendimiento y
Ejemplos de Aplicación HIPI
 Resultados obtenidos:
28
Test WordCount
(Libros)
Incluir Archivos en HDFS
(mm:ss,d)
Ejecución
(mm:ss,d)
10 00:03,2 00:45,3
50 00:13,1 01:12,4
100 00:25,2 01:41,0
150 00:42,6 02:18,8
200 01:04,6 03:02,9
300 01:50,8 03:58,1
400 02:25,5 05:04,7
500 02:53,8 05:54,7
600 02:59,8 06:46,5
700 03:21,6 07:43,7
800 03:27,1 08:18,0
900 03:48,3 09:44,7
1000 04:12,4 10:29,9

28. Pruebas de Rendimiento y
Ejemplos de Aplicación HIPI
00:00.0
00:43.2
01:26.4
02:09.6
02:52.8
03:36.0
04:19.2
10 50 100 150 200 300 400 500 600 700 800 900 1000
Tiempo(mm:ss,d)
Biblioteca de Entrada
Incluir Archivos en HDFS
Cuanto mayores son
los conjuntos de
entrada, mejor el
comportamiento
Las diferencias en
los grandes
conjuntos son
menos significativas
29

29. Pruebas de Rendimiento y
Ejemplos de Aplicación HIPI
00:00.0
02:52.8
05:45.6
08:38.4
11:31.2
10
50
100
150
200
300
400
500
600
700
800
900
1000
Tiempo(mm:ss,d)
Biblioteca de Entrada
Ejecución
El aumento en el tiempo de ejecución es
lineal, por lo que el incremento en la
biblioteca de entrada afecta de forma
normal.
30

30. Pruebas de Rendimiento y
Ejemplos de Aplicación HIPI
Libros Segundo
s Totales
Segund
os por
Libro
10 45” 4,5”
50 72” 1,44”
100 101” 1,01”
150 139” 0,93”
200 183” 0,91”
300 238” 0,79”
400 305” 0,76”
500 355” 0,71”
600 407” 0,68”
700 464” 0,66”
800 498” 0,62”
0
2
4
6
10 100 200 400 600 800 1000
Tiempo(segundos)
Biblioteca de Entrada
Segundos por Libro
31

31. Pruebas de Rendimiento
y Ejemplos de Aplicación
HIPI
Para grandes volúmenes de
datos el funcionamiento del
HDFS es mucho más
eficiente.
Un clúster Hadoop junto
con la programación
MapReduce obtiene mejor
rendimiento cuanto mayor
son los conjuntos de datos
de entrada.
El framework Apache Hadoop está
diseñado para sistemas en los que los datos
se carguen una vez y sobre ellos se realicen
múltiples trabajos.
CONCLUSIONES PRUEBAS DE
RENDIMIENTO
32

32. Pruebas de Rendimiento y
Ejemplos de Aplicación
HIPI
Ejemplo de
Aplicación HIPI
Generación de
contenedor HIB
Ejecución sobre el
contenedor
Descarga de
imágenes de la red
social Flickr
33

33. Pruebas de
Rendimiento y
Ejemplos de
Aplicación HIPI Ejecución Downloader
34

34. Pruebas de Rendimiento y
Ejemplos de Aplicación
HIPI
Ejecución DumpHIB
35

35. Conclusiones
37
OpenStack junto con StackOps proporciona una forma de configurar
sistemas Cloud Computing de manera sencilla.
Apache Hadoop ha demostrado ser un sistema de computación
distribuido adaptable a cualquier tipo de sistema, incluso virtuales.
Queda probado que el entornos Apache Hadoop, el HDFS y la
programación MapReduce alcanzan su mayor rendimiento procesando
grandes conjuntos de datos
La librería Hadoop Image Processing Interface proporciona una API que
permite trabajar directamente sobre imágenes en Apache Hadoop

36. Trabajo Futuro
Crear un programa que
incluya la librería HIPI que
tome imágenes (por
ejemplo de satélite) y
detecte figuras o
patrones incluidos en
ellas.
Crear un clúster para
analizar los datos de una
red social o sistema de
gestión de una
organización pública o
privada
Integrar un Sistema de
Gestión de Bases de
Datos en este entorno.
Optimizar el entorno de
computación Apache
Hadoop implantando
alta disponibilidad y
utilizando al máximo los
recursos del clúster.
39

37. Bibliografía