Este documento presenta arquitecturas y mejores prácticas para Big Data en AWS. Explica los desafíos de Big Data y propone una arquitectura de referencia que incluye el desacoplamiento de datos, el uso de herramientas adecuadas para cada fase y un enfoque en servicios serverless y gerenciados. También describe varias herramientas de AWS para la recolección, almacenamiento, procesamiento y análisis de datos a gran escala.
AWS ofrece una amplia variedad de bases de datos personalizadas para sus casos de uso de aplicaciones específicos. Nuestros servicios de bases de datos completamente administrados incluyen bases de datos relacionales para aplicaciones de transacciones, bases de datos no relaciones para aplicaciones de escala de Internet, un data warehouse para análisis, un almacén de datos en memoria para almacenamiento en caché y cargas de trabajo en tiempo real, y una base de datos de gráficos para crear aplicaciones con datos fuertemente conectados. Con AWS Database Migration Service, migrar bases de datos existentes a AWS es fácil y rentable .
https://aws.amazon.com/es/products/databases/
AWS ofrece una gran variedad de servicios de base de datos que se adaptan a los requisitos de su aplicación. Los servicios de bases de datos están totalmente administrados y se pueden implementar en cuestión de minutos con tan solo unos clics.
https://aws.amazon.com/es/products/databases/
El almacenamiento en la nube es un componente crítico de la informática en la nube, que guarda la información que utilizan las aplicaciones. El análisis de big data, los almacenes de datos, el Internet de las cosas, las bases de datos y las aplicaciones de backup y archivado dependen de algún tipo de arquitectura de almacenamiento de datos. El almacenamiento en la nube, por lo general, es más fiable, escalable y seguro que los sistemas de almacenamiento en las instalaciones tradicionales.
AWS ofrece una gama completa de servicios de almacenamiento en la nube para respaldar los requisitos de conformidad de las aplicaciones y el archivado. Seleccione entre servicios de almacenamiento de objetos, archivos y por bloques, así como opciones de migración de datos a la nube para comenzar a diseñar las bases de su entorno de TI en la nube.
https://aws.amazon.com/es/products/storage/
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Las empresas utilizan la nube de AWS para poder realizar una recuperación de desastres más rápida de sus sistemas de TI fundamentales sin incurrir en gastos adicionales de infraestructuras de un segundo sitio físico. La nube de AWS admite numerosas arquitecturas de recuperación de desastres (DR) populares, como entornos de "luz de piloto" que pueden resultar aptos para fallos en centros de datos de cargas de trabajo de clientes pequeñas a entornos en "espera caliente" que permiten una conmutación por error rápida a escala. Gracias a los centros de datos con los que cuenta en regiones de todo el mundo, AWS ofrece una serie de servicios de recuperación de desastres basados en la nube que permiten una rápida recuperación de los datos y de la infraestructura de TI.
Más información: https://aws.amazon.com/es/disaster-recovery/
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Optimización de costos con los diferentes modelos de compra de servicios en l...Amazon Web Services LATAM
Optimización de costos con los diferentes modelos de compra de servicios en la nube - https://aws.amazon.com/es/pricing/
Más informacion: http://aws.amazon.com/es/colombia/
Obtenga las instrucciones necesarias sobre arquitectura para crear sus aplicaciones de big data y aproveche al máximo la infraestructura de nube de AWS.
AWS IoT es una plataforma de nube administrada que permite a los dispositivos conectados interactuar con facilidad y seguridad con las aplicaciones en la nube y otros dispositivos. AWS IoT admite miles de millones de dispositivos y billones de mensajes, y es capaz de procesar y enrutar dichos mensajes a puntos de enlace de AWS y a otros dispositivos de manera fiable y segura.
https://aws.amazon.com/es/iot/
Ejecutar proyectos de Big Data nunca ha sido más sencillo. Con AWS, puede ejecutar Hadoop, Spark, Hive, Flink y marcos similares de forma más rápida y rentable. En este seminario web, aprenderá cómo mejorar el rendimiento del procesamiento de datos y reducir los costos, especialmente en comparación con un entorno local.
Optimización de costos con los diferentes modelos de compra de servicios en l...Amazon Web Services LATAM
AWS le ofrece un sistema de pago por uso en el precio de más de 70 servicios en la nube. Con AWS solo paga por los servicios individuales que necesita durante el tiempo que los necesita, sin contratos a largo plazo ni licencias complejas
https://aws.amazon.com/es/pricing/cost-optimization/
Los datos son la clave de las implementaciones de aplicaciones en la nube con éxito. Su proceso de evaluación y planificación podría identificar las limitaciones físicas de la migración de datos de ubicaciones en las instalaciones a la nube. Amazon ofrece un conjunto de herramientas que le ayudan a transladar datos mediante redes, carreteras y socios tecnológicos.
https://aws.amazon.com/es/cloud-data-migration/
AWS ofrece una amplia variedad de bases de datos personalizadas para sus casos de uso de aplicaciones específicos. Nuestros servicios de bases de datos completamente administrados incluyen bases de datos relacionales para aplicaciones de transacciones, bases de datos no relaciones para aplicaciones de escala de Internet, un data warehouse para análisis, un almacén de datos en memoria para almacenamiento en caché y cargas de trabajo en tiempo real, y una base de datos de gráficos para crear aplicaciones con datos fuertemente conectados. Con AWS Database Migration Service, migrar bases de datos existentes a AWS es fácil y rentable .
https://aws.amazon.com/es/products/databases/
AWS ofrece una gran variedad de servicios de base de datos que se adaptan a los requisitos de su aplicación. Los servicios de bases de datos están totalmente administrados y se pueden implementar en cuestión de minutos con tan solo unos clics.
https://aws.amazon.com/es/products/databases/
El almacenamiento en la nube es un componente crítico de la informática en la nube, que guarda la información que utilizan las aplicaciones. El análisis de big data, los almacenes de datos, el Internet de las cosas, las bases de datos y las aplicaciones de backup y archivado dependen de algún tipo de arquitectura de almacenamiento de datos. El almacenamiento en la nube, por lo general, es más fiable, escalable y seguro que los sistemas de almacenamiento en las instalaciones tradicionales.
AWS ofrece una gama completa de servicios de almacenamiento en la nube para respaldar los requisitos de conformidad de las aplicaciones y el archivado. Seleccione entre servicios de almacenamiento de objetos, archivos y por bloques, así como opciones de migración de datos a la nube para comenzar a diseñar las bases de su entorno de TI en la nube.
https://aws.amazon.com/es/products/storage/
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Las empresas utilizan la nube de AWS para poder realizar una recuperación de desastres más rápida de sus sistemas de TI fundamentales sin incurrir en gastos adicionales de infraestructuras de un segundo sitio físico. La nube de AWS admite numerosas arquitecturas de recuperación de desastres (DR) populares, como entornos de "luz de piloto" que pueden resultar aptos para fallos en centros de datos de cargas de trabajo de clientes pequeñas a entornos en "espera caliente" que permiten una conmutación por error rápida a escala. Gracias a los centros de datos con los que cuenta en regiones de todo el mundo, AWS ofrece una serie de servicios de recuperación de desastres basados en la nube que permiten una rápida recuperación de los datos y de la infraestructura de TI.
Más información: https://aws.amazon.com/es/disaster-recovery/
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Optimización de costos con los diferentes modelos de compra de servicios en l...Amazon Web Services LATAM
Optimización de costos con los diferentes modelos de compra de servicios en la nube - https://aws.amazon.com/es/pricing/
Más informacion: http://aws.amazon.com/es/colombia/
Obtenga las instrucciones necesarias sobre arquitectura para crear sus aplicaciones de big data y aproveche al máximo la infraestructura de nube de AWS.
AWS IoT es una plataforma de nube administrada que permite a los dispositivos conectados interactuar con facilidad y seguridad con las aplicaciones en la nube y otros dispositivos. AWS IoT admite miles de millones de dispositivos y billones de mensajes, y es capaz de procesar y enrutar dichos mensajes a puntos de enlace de AWS y a otros dispositivos de manera fiable y segura.
https://aws.amazon.com/es/iot/
Ejecutar proyectos de Big Data nunca ha sido más sencillo. Con AWS, puede ejecutar Hadoop, Spark, Hive, Flink y marcos similares de forma más rápida y rentable. En este seminario web, aprenderá cómo mejorar el rendimiento del procesamiento de datos y reducir los costos, especialmente en comparación con un entorno local.
Optimización de costos con los diferentes modelos de compra de servicios en l...Amazon Web Services LATAM
AWS le ofrece un sistema de pago por uso en el precio de más de 70 servicios en la nube. Con AWS solo paga por los servicios individuales que necesita durante el tiempo que los necesita, sin contratos a largo plazo ni licencias complejas
https://aws.amazon.com/es/pricing/cost-optimization/
Los datos son la clave de las implementaciones de aplicaciones en la nube con éxito. Su proceso de evaluación y planificación podría identificar las limitaciones físicas de la migración de datos de ubicaciones en las instalaciones a la nube. Amazon ofrece un conjunto de herramientas que le ayudan a transladar datos mediante redes, carreteras y socios tecnológicos.
https://aws.amazon.com/es/cloud-data-migration/
Patrones arquitectónicos y mejores prácticas de "big data" en AWS - MXO203 - ...Amazon Web Services
En esta sesión discutiremos cómo es que los containers se convierten en la base del cómputo en la nube y cómo tu organización puede usarlos para acelerar la innovación.
Los big data se pueden describir en torno a desafíos de administración de datos que, debido al incremento en el volumen, la velocidad y la variedad de los datos, no se puede resolver con las bases de datos tradicionales.
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
En este webinar, aprenderá cómo las empresas pueden aprovechar la nube de AWS para automatizar los pipelines de desarrollo de software. Este enfoque permite que su equipo sea más ágil, mejorando su capacidad para entregar aplicaciones y servicios rápidamente.
Neste webinar, você aprenderá como as empresas podem se valer da nuvem da AWS para automatizar os pipelines de desenvolvimento de software. Essa abordagem permite que sua equipe seja mais ágil, melhorando sua capacidade para entregar aplicações e serviços mais rapidamente.
Las tecnologías como los contenedores y kubernetes pueden hacer que sus procesos de entrega de software sean más fáciles y más rápidos. En este webinar, hablaremos sobre cómo usar el Amazon Kubernetes Service (EKS) para construir aplicaciones modernas con grupos Kubernetes totalmente administrados.
Tecnologias como containers e Kubernetes podem tornar seus processos de entrega de software mais fáceis e rápidos. Neste webinar, falaremos sobre como usar o Amazon Elastic Kubernetes Service (EKS) para criar aplicativos modernos com clusters de Kubernetes totalmente gerenciados.
Ransomware é uma das ameaças de crescimento mais rápido para qualquer organização. Nenhuma empresa, grande ou pequena, está imune a ataques de cibercriminosos. Nesta sessão, mostramos como você pode aproveitar os serviços e recursos da nuvem AWS para proteger seus dados mais valiosos de ataques cibernéticos e acelerar a restauração de operações.
El ransomware es una de las amenazas de más rápido crecimiento para cualquier organización. Ninguna empresa, grande o pequeña, es inmune a los ataques de los ciberdelincuentes. En esta sesión, mostramos cómo puede aprovechar los servicios y las capacidades de la nube AWS para proteger sus datos más valiosos de los ataques cibernéticos y acelerar la restauración de las operaciones.
Ransomware é uma prática maliciosa que tem se popularizado nos últimos anos. Nessa sessão, mostraremos como através da Amazon Web Services nossos clientes podem desenvolver uma estratégia pró-ativa de mitigação a ataques de ransomware, tanto em cenários on-premises como operando na nuvem.
El ransomware es una práctica maliciosa que se ha popularizado en los últimos años. En esta sesión les mostraremos cómo desde Amazon Web Services nuestros clientes pueden desarrollar una estrategia proactiva de mitigación frente a ataques de ransomware, tanto en escenarios on-premises, como operando en la nube.
Al mover datos a la nube, los clientes deben comprender los métodos óptimos para los diferentes casos de uso, los tipos de datos que están moviendo y los recursos disponibles en la red, entre otros. Las soluciones de migración y transferencia de AWS contemplan desde la migración de datos con conectividad limitada, almacenamiento en la nube híbrida, transferencias frecuentes de archivos B2B, hasta transferencias de datos en línea y sin conexión. En esta sesión, le mostramos cómo puede acelerar la migración y transferencia de datos de manera simplificada desde y hacia la nube de AWS.
Ao mover dados para a nuvem, os clientes precisam entender os métodos ideais de movê-los para diferentes casos de uso, os tipos de dados que estão movendo e os recursos de rede disponíveis, entre outras considerações. As soluções de migração e transferência da AWS atendem desde a migração de dados com conectividade limitada, armazenamento em nuvem híbrida, transferências frequentes de arquivos B2B até transferências de dados online e offline. Nessa sessão, mostraremos como você pode simplificar e acelerar sua migração e transferência de dados de e para a nuvem AWS.
El almacenamiento de archivos tiene diversos casos de uso; como directorios de usuarios, datos de aplicaciones, archivos multimedia y almacenamiento compartido para cargas de trabajo de alto rendimiento. La administración del almacenamiento de archivos en instalaciones propias suele ser un trabajo pesado, indiferenciado, con altos costos de adquisición, carga operativa para configurar y administra, lo que conlleva a desafíos de escalabilidad. En esta sesión, le mostramos cómo puede aprovechar las soluciones de archivos totalmente administradas de AWS para dejar de preocuparse por la sobrecarga administrativa de configurar, proteger, mantener y realizar copias de seguridad de su infraestructura de archivos.
La visualización de datos analíticos es un reto al que se enfrentan muchas organizaciones, el poder crear tableros, alertas, agregar predicciones a sus datos y actuar de acuerdo a estas de manera rápida es una necesidad de todos los negocios actuales. Únase a nuestros arquitectos para aprender como Amazon QuickSight le permite agregar inteligencia de negocios a sus aplicaciones y crear predicciones a futuro de sus datos. Amazon QuickSight es un servicio de inteligencia de negocios escalable y serverless creado para la nube, a través del cual podrá explotar sus datos de negocio para convertirlos en insights para hacer decisiones informadas sobre su negocio sin preocuparse de la gestión, escalamiento y la disponibilidad de la infraestructura de cómputo.
A visualização de dados é um desafio que muitas organizações enfrentam hoje. Criar dashboards, alertas, fazer previsões e agir rapidamente de acordo com os insights dos dados é uma necessidade de todas as empresas. Junte-se aos nossos arquitetos para aprender como o Amazon QuickSight o ajudará a adicionar BI aos seus aplicativos. O Amazon Quicksight é um serviço de BI escalável e serverless criado para a nuvem. Com ele, você pode explorar seus dados para obter insights e tomar decisões embasadas em seus negócios, sem se preocupar em gerenciar e dimensionar servidores e manter a disponibilidade de sua infraestrutura.
Executar projetos de Big Data nunca foi tão simples. Com a AWS, você pode executar Hadoop, Spark, Hive, Flink e frameworks semelhantes de maneira mais rápida e econômica. Neste webinar, você aprenderá como melhorar o desempenho do processamento de seus dados e reduzir custos, especialmente quando comparado a um ambiente on-premises.
(PROYECTO) Límites entre el Arte, los Medios de Comunicación y la Informáticavazquezgarciajesusma
En este proyecto de investigación nos adentraremos en el fascinante mundo de la intersección entre el arte y los medios de comunicación en el campo de la informática.
La rápida evolución de la tecnología ha llevado a una fusión cada vez más estrecha entre el arte y los medios digitales, generando nuevas formas de expresión y comunicación.
Continuando con el desarrollo de nuestro proyecto haremos uso del método inductivo porque organizamos nuestra investigación a la particular a lo general. El diseño metodológico del trabajo es no experimental y transversal ya que no existe manipulación deliberada de las variables ni de la situación, si no que se observa los fundamental y como se dan en su contestó natural para después analizarlos.
El diseño es transversal porque los datos se recolectan en un solo momento y su propósito es describir variables y analizar su interrelación, solo se desea saber la incidencia y el valor de uno o más variables, el diseño será descriptivo porque se requiere establecer relación entre dos o más de estás.
Mediante una encuesta recopilamos la información de este proyecto los alumnos tengan conocimiento de la evolución del arte y los medios de comunicación en la información y su importancia para la institución.
Actualmente, y debido al desarrollo tecnológico de campos como la informática y la electrónica, la mayoría de las bases de datos están en formato digital, siendo este un componente electrónico, por tanto se ha desarrollado y se ofrece un amplio rango de soluciones al problema del almacenamiento de datos.
Índice del libro "Big Data: Tecnologías para arquitecturas Data-Centric" de 0...Telefónica
Índice del libro "Big Data: Tecnologías para arquitecturas Data-Centric" de 0xWord escrito por Ibón Reinoso ( https://mypublicinbox.com/IBhone ) con Prólogo de Chema Alonso ( https://mypublicinbox.com/ChemaAlonso ). Puedes comprarlo aquí: https://0xword.com/es/libros/233-big-data-tecnologias-para-arquitecturas-data-centric.html
3Redu: Responsabilidad, Resiliencia y Respetocdraco
¡Hola! Somos 3Redu, conformados por Juan Camilo y Cristian. Entendemos las dificultades que enfrentan muchos estudiantes al tratar de comprender conceptos matemáticos. Nuestro objetivo es brindar una solución inclusiva y accesible para todos.
Inteligencia Artificial y Ciberseguridad.pdfEmilio Casbas
Recopilación de los puntos más interesantes de diversas presentaciones, desde los visionarios conceptos de Alan Turing, pasando por la paradoja de Hans Moravec y la descripcion de Singularidad de Max Tegmark, hasta los innovadores avances de ChatGPT, y de cómo la IA está transformando la seguridad digital y protegiendo nuestras vidas.
5. Desafíos en Big Data
¿Por qué?
¿Cómo?
¿Cuáles herramientas usar?
¿Existe una arquitectura de referencia?
6. 1. Desacoplamiento
• Datos → Almacenamiento → Procesamiento →
Almacenamiento → Análisis → Respuestas
2. Herramienta adecuada para cada fase
• Estructura de datos, desempeño, patrones de acceso
3. Enfoque su esfuerzo en lo que es diferencial
• Use serverless y servicios gerenciados
Principios básicos de arquitectura
7. 4. Almacenamiento completo
• Mantenga la mayor cantidad de datos
5. Control de costos
• Big data ≠ big cost
6. Potencie sus aplicaciones con AI/ML
Principios básicos de arquitectura
10. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
EventosStream de datos
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
Transportededatos
Import/expo
rt
Archivos
Archivos de Log
Archivos de media
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Aplicaciones
Transacciones
Datos estructurados
Registros de BD
Tipos de datos
12. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
EventosStream de datos
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
Transportededatos
Import/expo
rt
Archivos
Archivos de Log
Archivos de media
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Aplicaciones
Transacciones
Datos estructurados
Registros de BD
Tipos de datos ALMACENAMIENTO
NoSQL
In-memory
SQL
Archivos/
Objetos
Stream
storage
13. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
DataTransport&Logging
Import/expo
rt
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Applications
ALMACENAMIENTO
NoSQL
In-memory
SQL
Archivos/
Objetos
Stream
storage
14. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
DataTransport&Logging
Import/expo
rt
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Applications
ALMACENAMIENTO
NoSQL
In-memory
SQL
Archivos/
Objetos
Apache Kafka
• Alto desempeño, distribuida
Amazon Kinesis Streams
• Gerenciado
Amazon Kinesis Firehose
• Adiciona entrega en un
almacenamiento
Stream Storage
Amazon Kinesis
Firehose
Amazon Kinesis
Streams
Apache Kafka
16. ¿ Cuál tipo de storage de filas utilizar?
Hot Warm
Amazon
Kinesis
Streams
Amazon
Kinesis
Firehose
Apache
Kafka (on Amazon
EC2)
Amazon
SQS (Standard)
Amazon SQS
(FIFO)
AWS managed Yes Yes No Yes Yes
Guaranteed ordering Yes No Yes No Yes
Delivery (deduping) At least once At least once At least/At
most/exactly once
At least once Exactly once
Data retention period 7 days N/A Configurable 14 days 14 days
Availability 3 AZ 3 AZ Configurable 3 AZ 3 AZ
Scale /
throughput
No limit /
~ shards
No limit /
automatic
No limit /
~ nodes
No limits /
automatic
300 TPS /
queue
Parallel consumption Yes No Yes No No
Stream MapReduce Yes N/A Yes N/A N/A
Row/object size 1 MB Destination
row/object size
Configurable 256 KB 256 KB
Cost Low Low Low (+admin) Low-medium Low-medium
17. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
DataTransport&Logging
Import/expo
rt
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Applications
ALMACENAMIENTO
NoSQL
In-memory
SQL
Archivos/
Objetos
Amazon Kinesis
Firehose
Amazon Kinesis
Streams
Apache Kafka
18. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
DataTransport&Logging
Import/expo
rt
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Applications
ALMACENAMIENTO
NoSQL
In-memory
SQL
Amazon Kinesis
Firehose
Amazon Kinesis
Streams
Apache Kafka
Amazon S3
Servicio gerenciado de
almacenamiento de objetos;
almacena y recupera cualquier
cantidad de datos
Amazon S3
Stream
Storage de Objetos
19. HDFS y capas de storage
• HDFS como capa de almacenamiento
“hot”
• Amazon S3 Standard para acceso
frecuente
• Amazon S3 Standard – IA acceso
infrecuente
• Amazon Glacier para archivamiento
S3 Analytics: Ayuda a optimizar la
estrategia
S3 Analytics
20. RECOLECCIÓN
Devices
Sensors
IoT platforms
AWS IoT STREAMS
IoT
Migration
Snowball
Logging
Amazon
CloudWatch
AWS
CloudTrail
FILES
DataTransport&Logging
Import/expo
rt
Mobile apps
Web apps
Data centers AWS Direct
Connect
RECORDS
Applications
ALMACENAMIENTO
NoSQL
In-memory
SQL
Amazon Kinesis
Firehose
Amazon Kinesis
Streams
Apache Kafka
Amazon S3
Stream
23. Lo que debemos hacer
SearchIn-memory SQLNoSQLGraphDB
Amazon RDS/AuroraAmazon DynamoDBAmazon ElastiCache Amazon
DynamoDB
Acclerator
SAP HANA
Amazon ES Amazon
CloudSearch
Capa de Base de Datos
24. ¿ Cómo escoger el almacenamiento ?
1. Estructura de datos → Schema fijo, JSON, Key/Value,
2. Patrón de acceso → Almacenar en el formato en que se accederá
3. Características de tiempo → Hot, warm, cold
4. Costo → Optimizar
25. Estructura de datos y Patrones de acceso
Patrones de acceso Piense en:
Put/Get (key, value) In-memory, NoSQL
Relaciones simples → 1:N, M:N NoSQL
Múltiples tablas, “join” complejos, transaccional, SQL SQL
Faceting, Search Search
Grafos GraphDB
Estructura Piense en:
Esquema fijo SQL, NoSQL
No esquema (JSON) NoSQL, Search
Key/Value In-memory, NoSQL
Graph GraphDB
29. Analítica: Tiempo Real
Spark Streaming - Amazon EMR
Amazon Kinesis Analytics
• SQL para Streaming data - Gerenciado
Amazon KCL
• Amazon Kinesis Client Library
AWS Lambda
• Ejecución de código - Serverless
• Diferentes triggers – p.ex: S3 , Kinesis
KCL
Apps
AWS Lambda
Amazon Kinesis
Analytics
Stream
Streaming
Amazon EMR
Procesar / Analizar
30. Analítica: Predictiva
• Servicios de alto nivel
• Amazon Lex
• Amazon Polly
• Amazon Rekognition
• Managed ML Platforms
• Amazon ML
• Amazon SageMaker
• AWS Deep Learning AMI
• Pre-Instalado con MXNet, TensorFlow,
Caffe2 (and Caffe), Theano, Torch,
Microsoft Cognitive Toolkit, Keras
Amazon AI
Procesar / Analizar
Predictive
AmazonAI
Lex PollyAML Rekognition
AWS DL AMIDesarrolladores
Científicos de datos
Expertos en
Deep Learning
31. ¿Qué tipo de Analítica usar?
Batch
Minutos a horas
Ejemplo: Reportes periódicos
Amazon EMR
Interactiva
Segundos
Ejemplo : Dashboards autoservicio
Amazon Redshift, Amazon Athena, Amazon EMR (Presto, Spark)
Stream
Milisegundos a segundos
Ejemplo : Alertas de operación, métricas granulares
Amazon EMR (Spark Streaming), Amazon Kinesis Analytics, KCL,
AWS Lambda, etc.
Predictiva
Milisegundos (tiempo real) a minutos (batch)
Ejemplo : Detección de fraude, Predicción de demanda,
Reconocimiento
Amazon AI (Lex, Polly, ML, Amazon Rekognition), Amazon EMR
(Spark ML), Deep Learning AMI (MXNet, TensorFlow, Theano, Torch, CNTK,
and Caffe)
Streaming
Amazon Kinesis
Analytics
KCL
Apps
AWS Lambda
Stream
Amazon EMR
Fast
Amazon ES
Amazon Redshift
& Spectrum
Presto
Amazon
EMR
Amazon Athena
BatchInteractive
FastSlow
Predictive
AmazonAI
Lex PollyAML Rekognition
AWS DL AMI
Procesar / Analizar
44. 1. Desacople
2. Use la herramienta adecuada
3. Use servicios gerenciados
4. Almacene todos los datos relevantes
5. Controle los costos
6. Potencie sus aplicaciones con AI/ML
Resumen