Máster de Ingeniería Web 2015-2016. Asignatura de Big Data.

1. 1
Amazon Web
Services
Cristian González García v 1.2.2 Noviembre 2015

2. Índice
 Introducción
 Arquitectura
 Elastic MapReduce
 Inscripción
 Key Pair
 EMR: Word Count
 Amazon EC2
 Acceso a Amazon EC2
2

3. Introducción
3

4. Introducción
 Lanzado en el año 2004
 Sólo Simple Queue Service (SQS): envío de datos
 Propiedad de Amazon
 Colección de servicios de computación en la
nube
 Almacenamiento, MVs, servicios web, …
 Microsoft Azure, Google Cloud Platform
 AWS fue el primero
 Ofrece servicios bajo demanda o fijos
 Pagas por lo que utilizas
 Puedes contratar hasta x% de margen
escalabilidad
 Puedes establecer un límite de dinero a gastar
4

5. Nacimiento
 Necesitaban levantar instancias para
desarrollo y/o producción
 Crearon un sistema interno para esto
 Tras ver su potencia, decidieron publicarlo
 EC2, S3, …
 Fueron creando más servicios con el tiempo
 Se convirtió en AWS
6

6. Que ofrece
 Almacenaje
 Procesamiento
 Transferencia
 Servidores
 Monitorización de los servicios
 Seguridad
 Bases de datos
 …
7

7. Es utilizado por … I
 Flipboard
 Revista personal móvil
 Ahorro de millones de dólares
 Viocorp
 Plataforma de video online
 Reducción de un 50% de costes
 Mortar Data
 Despliegue de apps y tratamiento de Big Data
 Ahorro de 4 millones de dólares
 Schumacher Group
 Servicio de salud. Más de 4M de pacientes
 Reducción de costes de 80.000$ (servidor
propio) a 4.000-5.000$ (AWS)
8

8. Es utilizado por … II
 Adobe Systems Incorporated
 Desarrollo de software
 Despliegue de servicios que no podrían realizar
mediante el despliegue tradicional
 Thismoment
 Desarrollo de aplicaciones sociales móviles
 No tener que preocuparse de los servidores
 Reddit
 Sitio web de marcadores sociales
 Escalabilidad de servidores y BBDD
 Obama for America
 Organziación
 Escalabilidad
9

9. Es utilizado por … III
 Ubisoft Entertainment
 Desarrolladora de videojuegos
 Ayuda en la producción
 Ooyala
 Soluciones de video online
 Agilidad y velocidad
 Coursera
 Plataforma educativa virtual (MOOC)
 Velocidad, servicios y agilidad
 Engine Yard
 Despliegue de apps en la nube
 Flexibilidad, escalabilidad y alcance global
10

10. Es utilizado por … IV
 Amazon
 Tienda Online
 Backups en Cinta -> S3: 15h de restablecimiento ->
2,5
 Netflix
 Empresa de video bajo demanda
 Velocidad de despliegue y capacidad de
almacenamiento
 airbnb
 Mercado comunitario de alquileres
 Escalabilidad y análisis (EMR y S3)
 Shazam
 Identificación de música
 Escalabilidad, fiabilidad y herramientas: Super Bowl
11

11. Arquitectura
12

12. Regiones geográficas I
 Se divide en 9 regiones geográficas
13

13. Regiones geográficas II
 EE.UU. Este (Norte de Virginia)
 EE.UU. Oeste (Norte de California)
 EE.UU. Oeste (Oregón)
 Sur América (São Paulo)
 Europa (Irlanda)
 Europa (Frankfurt)
 Asia Pacífico (Singapur)
 Asia Pacífico (Tokio)
 Asia Pacífico (Sydney)
14

14. Regiones geográficas III
 Cada región tiene
 Sus propios precios
 Latencia según nuestra situación y carga de red
 No todas tienen todos los servicios
 https://aws.amazon.com/es/about-aws/global-infrastructure/regional-
product-services/
 Hay dos regiones especiales
 AWS GovCloud (EE.UU.) dedicada al Gobierno de los EEUU
 2014: Región de China en Pekín. Es exclusiva
 Todos los datos están mantenidos siempre en la misma región
 Si se cambia de región, hay que pagar
 Excepto S3 que es global
 Cada región tiene zonas de disponibilidad aisladas
 Evitar propagación de problemas
 Algunos servicios si interoperan entre zonas
 DynamoDB, S3
15

15. Regiones geográficas IV
 Latencia: http://www.cloudping.info/
 Desde Oviedo, Asturias, España
16

16. Regiones geográficas V
Instancia CPU RAM EEUU
(Oregón y
Virginia)
UE
(Irlanda)
UE
(Frankfurt)
EEUU
(Californi
a)
Asia
(Sídney,
Tokio* y
Singapur
*
America
del Sur
(Sao
Paulo**)
t2.micro 1 1 $0.013 $0.014 $0.015 $0.017 $0.02 $0.027
t2.small 1 2 $0.026 $0.028 $0.03 $0.034 $0.04 $0.054
t2.medium 2 4 $0.052 $0.056 $0.06 $0.068 $0.08 $0.108
t2.large 2 8 $0.104 $0.112 $0.12 $0.136 $0.16 $0.216
17
 Precios por hora del EC2: https://aws.amazon.com/es/ec2/pricing/
 *: difieren en el resto pero están ordenadas de menos a más cara
 **: no ofrece todos los tipos de máquinas que las otras

17. Instancias EC2
 http://aws.amazon.com/es/ec2/instance-
types/
 AWS dispone de diferentes tipos de instancia
 Cada tipo es para un servicio en concreto
 Ráfagas (T2), Uso general (M3 y M4),
Optimizadas IT (C3 y C4), Optimizadas en
memoria (R3), Gráficas (G2), Almacenamiento
E/S SSD (I2), Almacenamiento Capacidad HD
(D2)
 Cada tipo tiene diferentes tipos de CPU con
diferente potencia y diferente RAM
18

18. Servicios de AWS I
19

19. Servicios de AWS II
 EC2 (Elastic Compute Cloud)
 Ofrece capacidad escalable en la nube con
máquinas virtuales
 GNU/Linux, Windows
 Instancias, seguridad, despliegue de apps, IPs, …
 http://aws.amazon.com/es/ec2/
 Lambda (Desde 15/11/2014)
 Ejecución de código en base a ciertos eventos
 Autogestión de recursos
 http://aws.amazon.com/es/lambda/
20

20. Servicios de AWS III
 EC2 Container Service (Desde 2015)
 Despliegue en el EC2 utilizando “contenedores”
 Docker
 Despliegue y configuración de software
“automático”
 http://aws.amazon.com/es/ecs/
 Elastic Beanstalk (Desde 2015)
 Despliegue, monitorización y escalado de apps
 Creación de un “contenedor” y su despliegue
 https://aws.amazon.com/es/documentation/elas
tic-beanstalk/
21

21. Servicios de AWS IV
 S3 (Amazon Simple Storage Service)
 Estructura de almacenamiento redundante y
con un escalado “infinito”. Es
 http://aws.amazon.com/es/s3/
 Storage Gateway
 Conector entre dispositivos de software físico
con almacenamiento en la nube
 Los datos de la empresa a una instancia S3
 http://aws.amazon.com/es/storagegateway/
22

22. Servicios de AWS V
 Glacier
 Sistema de almacenamiento barato (0,01
USD/GB), de poco acceso pero seguro
 http://aws.amazon.com/es/glacier/
 CloudFront
 Servicio para distribuir contenido a usuarios finales
 http://aws.amazon.com/es/cloudfront/
 Elastic File System (Beta en 2015)
 Gestor de archivos para el EC2
 Soporta múltiples instancias del EC2
 http://aws.amazon.com/es/efs/
23

23. Servicios de AWS VI
 EMR
 Análisis de datos utilizando Hadoop
 http://aws.amazon.com/es/elasticmapreduce/
 Kinesis
 Recopilamiento y procesamiento de datos en
tiempo real usando SQL
 http://aws.amazon.com/es/kinesis/
 Data Pipeline
 Procesamiento y transferencia de datos entre
sistemas de AWS (S3, EMR, DynamoDB, RDS)
 http://aws.amazon.com/es/datapipeline/
24

24. Servicios de AWS VII
 Elasticsearch Service
 Gestión del buscador de documentos
distribuido Elasticsearch (basado en Lucene)
 https://aws.amazon.com/es/elasticsearch-
service/
 Machine Learning
 Servicio de aprendizaje automático
escalable
 Ofrece patrones de datos
 https://aws.amazon.com/es/machine-
learning/
25

25. Arquitectura respecto la App
26

26. Amazon Elastic
MapReduce
27

27. ¿Qué es?
 Servicio Web de AWS
 http://aws.amazon.com/es/elasticmapreduc
e
 Procesamiento de grandes volúmenes de
datos
 Utiliza Apache Hadoop
 http://hadoop.apache.org/
 Ejecuta una instancia EC2 automáticamente
y la borra después de un tiempo
 Utiliza S3 para leer y guardar los datos
 También se puede utilizar DynamoDB
28

28. ¿Qué ofrece?
 Permite procesar grandes volúmenes de datos
 Análisis, estadísticas, procesamiento, IA, simulaciones,
…
 Interfaz gráfica para configurar el proceso
 Monitorización del estado
 SDK
 http://docs.aws.amazon.com/ElasticMapReduce/lat
est/DeveloperGuide/call-emr-using-sdks.html
 Java, Node, PHP, Python, Ruby y .Net
 Lanzar programáticamente todo el proceso
intregrado en una aplicación
 Integración con otros servicios de AWS
 CloudWatch, EC2, S3, DynamoDB, …
 Pagar sólo por lo computado
29

29. Ciclo de vida
 Ciclo de uso
 Subir los datos a la estancia S3
 Crear y configurar el Clúster Hadoop
 Ver el estado
 Recoger los datos de una estancia S3
30

30. Facturación I
 https://console.aws.amazon.com/billing/ho
me?#
 Comienza con la ejecución del clúster
 No en su configuración
 Tienen un tiempo mínimo de arranque en el
que no cobran (~10 minutos)
 Las fracciones de horas de instancias se
facturarán como horas completas
 Termina cuando se detiene el clúster
 Si falla, no te cobran EMR pero si S3 (logs)
31

31. Facturación II
 Cada instancia tiene un número
normalizado de horas
 Esto depende del hardware de dicha
instancia
32

32. Facturación III
33

33. Facturación IV
34

34. Inscripción
35

35. Incripciones gratuitas
 Hay dos formas
 Cuenta gratuita de un año al registrarse
pro primera vez en Amazon
 Tiene ciertas limitaciones antes de cobrar
 No ofrece ventajas en todos los servicios
 Como alumnos
 Necesita la inscripción previa
36

36. Primer año gratuito
37

37. Ofrece …
 EC2
 750 horas al mes de uso de las instancias t2.micro Linux o Windows
 30 GB de instancias
 S3
 5 GB de almacenamiento
 DynamoDB
 25 GB de almacenamiento
 25 unidades de escritura y lectura
 EBS
 30 GB de almacenamiento
 CloudFront
 50 GB de transferencia
 2.000.000 de solicitudes HTTP o HTTPS
 RDS
 750h de uso de micro-instancias
 20 GB de almacenamiento
 20 GB de copias de seguridad
 Y más… http://aws.amazon.com/es/free/
38

38. Inscripción I
 Entramos en Amazon Web Services
 http://aws.amazon.com/es/
 Creamos una cuenta gratuita
39

39. Inscripción II
 Creáis una cuenta nueva o usáis una que
tengáis
40

40. Inscripción III
 Rellenáis vuestra información de
contacto y bancaria
 Cogéis la llamada y seguís los pasos
 Introducir los números del registro en el
teclado de vuestro teléfono
41

41. Inscripción IV
 Seleccionáis el plan deseado
42

42. Comparativa de planes
43

43. Inscripción como alumno
44

44. Alumnos I
 https://aws.amazon.com/es/education/a
wseducate/
 35$-100$ a gastar en un año
 Renovable al año
 Se puede utilizar todo AWS
 Se necesita crear cuenta de Amazon
primero
45

45. Alumnos II
46

46. Alumnos III
47
 Rellenar y esperar un correo
Se obtiene
en:

47. Alumnos IV - Correo
48
Copiarlo

48. Alumnos V - Código
49
 Ir a AWS
 Perfil -> My Account -> Créditos

49. Alumnos VI - Código
50
 Insertar código promocional recibido en
el correo y canjearlo
Aquí

50. Alumnos V - Código
51
 Os deberá aparecer al final de la página
el crédito de 35$/100$

51. Key Pair
52

52. Key Pair I
 Primero vamos a la consola de recursos
de EC2
 https://console.aws.amazon.com/ec2/
 Crearemos una clave público-privada
(Criptografía asimétrica)
 Utilizada por AWS para el acceso a sus
servicios
 Nos permitirá el acceso a los diferentes
servicios
 Consola, SDK, instancias EC2, servicios, …
53

53. Key Pair II
 Entramos en “Key Pairs”
54

54. Key Pair III
 Creamos la Key Pair
55

55. Key Pair IV
 Seleccionamos un nombre
56
 Guardamos la clave privada
 .pem: contenedor de claves/certificados

56. Key Pair V
 Ya la tenemos creada
57

57. EMR: Word Count
58

58. Introducción
 Realizaremos el ejemplo Word Count
 Map: lógica en Python
 Reduce: función “aggregator” de Hadoop
 Contar la frecuencia de aparición de
palabras en un fichero
 Crear un clúster
 3 instancias de tipo m1.medium
La más barata permitida
59

59. S3
 Entramos en el S3
 Creamos un nuevo Bucket
 Necesitamos uno antes de ejecutar EMR,
sino fallará
 Lo utilizaremos para el resultado del EMR
 Introducimos el nombre
 Seleccionamos la región
60

60. Clúster I
 Entramos en EMR
 Ahora crearemos el Clúster
 https://console.aws.amazon.com/elasticm
apreduce/
61

61. Clúster II
 Vamos a “Go to advanced options”
 Arriba del todo
62

62. Clúster III
 Vamos a “Configure sample application”
63

63. Ejemplo
 Utilizaremos el ejemplo de Hadoop en
Amazon: Word Count
64
Ejemplo deseado
Carpeta con
el resultado
Log del proceso
Modo Debug

64. Ejemplo
 Utilizaremos el ejemplo de Hadoop en
Amazon: Word Count
65
Ejemplo deseado
Nombre del
bucket
Carpeta para
el log
Modo Debug

65. Tags
 Para mejorar búsquedas de máquinas si
tenemos muchas
 No hace falta que pongamos nada
66

66. Software Configuration
 Seleccionamos la versión de Hadoop
 EMR: versión de Hadoop de Amazon
 Amazon 4.1.0
 Hadoop 2.6.0
 Contiene mejoras y optimizaciones para AWS
 MapR: Hadoop original
67

67. Otras aplicaciones I
 Podemos seleccionar otro software a
instalar
68

68. Otras aplicaciones II
 Quitamos Hive y Pig
 No se necesitan en este ejemplo
69

69. Sistema de ficheros
 Permite elegir encriptación en la
conexión
 No necesitaremos nada
70

70. Tipo de instancia I
 Elegimos el Hardware deseado
 El precio depende del HW y la zona
 http://aws.amazon.com/es/elasticmapred
uce/pricing/
71

71. Tipo de instancia II
 Seleccionamos la m1.medium
 No permite utilizar la m1.small
 Podéis seleccionar menos instancias
72
¡Cuidado!

72. Seguridad
 Seleccionamos la clave de acceso
 Con ella accederemos por SSH
 Debe ser creada previamente a este paso
 Ya la creamos
73

73. IAM Roles
 Seleccionamos los roles de acceso
 El por defecto permite que la aplicación
pueda acceder a otros servicios de AWS
 Uno para EMR y otro para el EC2
74

74. Bootstrap Actions
 Nos permite incluir acciones (Scripts) en el
inicio del clúster
 Se ejecutan también en los nodos
 https://docs.aws.amazon.com/es_es/Elastic
MapReduce/latest/ManagementGuide/e
mr-plan-bootstrap.html
75

75. Steps I
 Configuramos los “trabajos” de Hadoop
 Como ejecutamos el ejemplo, ya tenemos
el necesario
76

76. Steps II
 Si lo editamos
77
Nombre
Función Map
o función Hadoop
Función Reduce
o función Hadoop
Datos de entrada
Carpeta de salida
Argumentos
Acción si falla.
¡Importante!

77. Steps III
 Repasamos la configuración
 Lanzamos el clúster
78

78. Monitorización I
 Con esto el clúster se lanzó y se ejecuta
79

79. Monitorización II
 Automáticamente tras crearla la lanza e
inicia
80

80. Monitorización III
 Gráficas de diferentes procesos
monitorizados
 Estado del Hardware y acceso a las
instancias autocreadas
 Estado e información detallada de los
pasos y acceso a los logs
 Visualización de la configuración
 Visualización de las “Bootstrap Actions”
81

81. Monitorización IV
 Empieza a ejecutar los steps hasta
finalizarlos
82

82. Monitorización V
 Steps -> Jobs -> Tasks
83

83. Resultado I
 Podemos ver el resultado desde …
84

84. Resultado II
 Navegando hasta la carpeta adecuada
 Podemos descargarlo
 Tendremos un fichero por cada “reducer
task”
85

85. Resultado III
 Podemos ver los datos accediendo al S3
86

86. Resultado IV
 Y descargarlos
87

87. EMR: Jar
88

88. Introducción
 Los pasos son los mismos que en el anterior ejemplo
 Hay que subir el fichero Jar al S3
 Subimos los datos al S3
 Todo igual menos a partir del paso “Steps”
 Realizaremos un ejemplo de Hipotecas
 MapReduce
 Propio en Java
 https://gist.github.com/gonzalezgarciacristian/721e7dd6e
87557955b2d
 Jar: Campus Virtual
 Contar el número de hipotecas por estado
 https://mega.nz/#!S4ITzL4S!V-
dFdNCW0Q6hLGeDDyk8RBs9XM2Q2Koe52fZuWnpbHA
89

89. Entrada
 312.913 líneas
90

90. Subir datos al S3 I
 Creamos una carpeta
91

91. Subir Jar al S3 II
 Entramos en la carpeta “mortgage”
 Subimos el Jar llamado “Mortgage.jar”
92

92. Subir datos al S3 II
 Estamos en la carpeta “Mortgage”
 Creamos las carpeta “input”
 Entramos en “input”
 Subimos el fichero de datos
“Consumer_Complaints”
93

93. Steps I
 Si se clonó, borrar el Step existente
 Añadir Custom JAR
 Configure and add
94

94. Steps II
95
Localización del
Jar en el S3
Argumentos
Acción a
realizar
si falla

95. Steps III
 Cuidado al poner los nombres de los
directorios
96
Localización del
Jar en el S3
Nombre de
la Clase
Carpeta Input
Carpeta Output
¡No debe existir!
Terminar

96. Salida
97

97. EMR
 Clústers lanzados
 Podemos ver la información de antiguos
lanzamientos
 Nos muestra cuáles fallaron
98

98. Amazon EC2
99

99. Nueva instancia EC2
100
 Lanzamos una instancia

100. Sistema Operativo
 Elegimos el sistema operativo
 GNU/Linux (Ubuntu, Suse, …), Windows
101

101. Tipo de instancia
 Seleccionamos la instancia
102

102. Seguimos …
 Continuamos configurando la instancia
103

103. Configuración I
 Opciones existentes …
104

104. Configuración II
 Permite especificar un límite que estemos
dispuestos a pagar
105

105. Configuración III
 Lo configuramos
106

106. Seguimos …
 Pasamos a configurar el almacenaje
107

107. Espacio y Finalización
 Permite añadir más discos a la instancia
108
30 GB máximo en la gratuita
Cuidado si no queréis perderlos o si almacenáis muchos en la gratis

108. Seguimos …
 Lo configuramos y continuamos
109

109. Tag
 Sirven para asignar metadatos para
ayudar al seguimiento de los diferentes
recursos existentes
 Podéis añadir alguna, si queréis
110

110. Seguimos …
 Continuamos para configurar el grupo de
seguridad
111

111. Puertos
 Configuramos
 Para ahorrarnos problemas, abriremos
todos (¡Pero esto nunca más lo hagáis!)
 Seguimos
112

112. Revisión
 Revisamos la configuración
113

113. Seguimos …
 Lanzamos si esta correcto
114

114. Key Pair
 Seleccionamos o creamos una clave
115

115. Instancia creada
 La instancia fue creada
116

116. Proceso finalizado
 Ya tenemos la instancia creada
117

117. Otros …
 Podemos crear alarmas
 Consultar el tiempo encendida
 Consultar diferentes estadísticas de uso
 Crear tags
 Pararla
 Monitorizarla
 Cambiar la seguridad o la ip
 Cambiarle el nombre
 Crear nuevos volúmenes (HDs)
 …
118

118. Acceso a Amazon EC2
119

119. Windows - PuttyGen
 Para conectarse desde Windows
 Descargamos el Putty y el PuttyGen
 http://www.chiark.greenend.org.uk/~sgtatham/putty/download.ht
ml
 Abrimos el PuttyGen y generamos el PPK
 Fichero de Putty para conexiones realizar conexiones seguras
 Deberéis de poner passphrase para evitar problemas en AWS
120

120. Windows - Putty
 Con la clave privada (PPK) ya generada,
abrimos el Putty
 Introducimos el DNS o la IP Pública
 Cargamos la clave privada
121

121. GNU/Linux y Mac OS X – SSH I
 Para conectarse desde una distro Linux o
Mac OS X
 Ir al EC2 -> Seleccionar Estancia -> Connect
122

122. GNU/Linux y Mac OS X – SSH II
 Obtendréis las instrucciones
 Cambiar permisos del fichero .pem
 Hay que utilizar el comando SSH con el parámetro –i
“fichero.pem” usuario@ip
123

123. Acceso
 Usuario por defecto: ubuntu
 Passphrase: La que pusisteis en el PuttyGen
124

124. Nuestra instancia
 Una vez dentro …
125

125. WinSCP I
 Descargamos WinSCP
 http://winscp.net/eng/download.php
 Permite acceder al sistema de ficheros
del servidor gráficamente
 Permite, desde el escritorio, subir y bajar
ficheros
126

126. WinSCP II
127

127. WinSCP III
 Ingresamos la clave privada
128

128. WinSCP IV
 Escribimos la “passphrase” de la clave
129

129. WinSCP V
130

130. 131
Amazon Web
Services
Cristian González García v 1.2.2 Noviembre 2015