1. Se colectan datos en Amazon Kinesis usando Log4J. 2. Los datos se procesan en Amazon EMR con Spark y Hive. 3. Los datos se analizan en Amazon Redshift usando SQL.
El documento describe los pasos para escalar una aplicación desde un solo usuario hasta más de 500,000 usuarios en AWS. Comienza con una sola instancia EC2 y luego separa componentes, agrega redundancia y escala horizontalmente utilizando servicios administrados como RDS, ElastiCache, DynamoDB y Cloudfront. También recomienda el uso de auto escalamiento y arquitectura orientada a servicios para lograr mayor flexibilidad y agilidad a gran escala.
Este documento describe cómo crear una aplicación de big data completa en AWS desde la recolección de datos hasta el análisis. La aplicación recopila registros de acceso web usando Amazon Kinesis y Log4J, procesa los datos con Amazon EMR y Spark, almacena resultados en Amazon S3, y analiza los datos cargados en Amazon Redshift usando SQL. El documento guía al lector a través de cada paso del proceso con instrucciones detalladas.
Este documento presenta una sesión sobre cómo construir APIs seguras y escalables utilizando Amazon API Gateway y AWS Lambda. Explica cómo declarar una API con API Gateway, crear la lógica de aplicación con Lambda, autorizar el acceso con IAM y consumir el microservicio, sin necesidad de administrar infraestructura. También incluye una demostración práctica de cómo crear una calculadora simple que almacena datos en DynamoDB y es escalable sin límites de usuarios.
Este documento presenta una clase magistral sobre Amazon EC2. Explica los conceptos fundamentales de EC2 como regiones, zonas de disponibilidad e instancias. También cubre temas como almacenamiento con EBS, redes VPC, balanceo de carga con ELB, monitoreo con CloudWatch, y seguridad y control de acceso con IAM. La presentación concluye con una demostración de cómo configurar el auto escalado con Auto Scaling.
Este documento describe cómo escalar una aplicación desde un solo usuario hasta más de 10 millones de usuarios en AWS. Comienza con una sola instancia EC2 y luego separa componentes, agrega redundancia y escala horizontalmente utilizando servicios como ELB, RDS, DynamoDB, S3 y Lambda. También cubre técnicas como auto escalamiento, arquitectura SOA y optimización de rendimiento.
Este documento describe cómo las instancias Amazon EC2 Spot pueden ayudar a ahorrar hasta un 90% en los costos de procesamiento por lotes ejecutando trabajos en instancias disponibles a precios más bajos. Se explica cómo las aplicaciones de procesamiento por lotes pueden aprovechar las instancias Spot para simulaciones, modelado molecular, procesamiento de video y más, al tiempo que se mantiene la confiabilidad mediante el uso de colas SQS y almacenamiento S3.
1. Se colectan datos en Amazon Kinesis usando Log4J. 2. Los datos se procesan en Amazon EMR con Spark y Hive. 3. Los datos se analizan en Amazon Redshift usando SQL.
El documento describe los pasos para escalar una aplicación desde un solo usuario hasta más de 500,000 usuarios en AWS. Comienza con una sola instancia EC2 y luego separa componentes, agrega redundancia y escala horizontalmente utilizando servicios administrados como RDS, ElastiCache, DynamoDB y Cloudfront. También recomienda el uso de auto escalamiento y arquitectura orientada a servicios para lograr mayor flexibilidad y agilidad a gran escala.
Este documento describe cómo crear una aplicación de big data completa en AWS desde la recolección de datos hasta el análisis. La aplicación recopila registros de acceso web usando Amazon Kinesis y Log4J, procesa los datos con Amazon EMR y Spark, almacena resultados en Amazon S3, y analiza los datos cargados en Amazon Redshift usando SQL. El documento guía al lector a través de cada paso del proceso con instrucciones detalladas.
Este documento presenta una sesión sobre cómo construir APIs seguras y escalables utilizando Amazon API Gateway y AWS Lambda. Explica cómo declarar una API con API Gateway, crear la lógica de aplicación con Lambda, autorizar el acceso con IAM y consumir el microservicio, sin necesidad de administrar infraestructura. También incluye una demostración práctica de cómo crear una calculadora simple que almacena datos en DynamoDB y es escalable sin límites de usuarios.
Este documento presenta una clase magistral sobre Amazon EC2. Explica los conceptos fundamentales de EC2 como regiones, zonas de disponibilidad e instancias. También cubre temas como almacenamiento con EBS, redes VPC, balanceo de carga con ELB, monitoreo con CloudWatch, y seguridad y control de acceso con IAM. La presentación concluye con una demostración de cómo configurar el auto escalado con Auto Scaling.
Este documento describe cómo escalar una aplicación desde un solo usuario hasta más de 10 millones de usuarios en AWS. Comienza con una sola instancia EC2 y luego separa componentes, agrega redundancia y escala horizontalmente utilizando servicios como ELB, RDS, DynamoDB, S3 y Lambda. También cubre técnicas como auto escalamiento, arquitectura SOA y optimización de rendimiento.
Este documento describe cómo las instancias Amazon EC2 Spot pueden ayudar a ahorrar hasta un 90% en los costos de procesamiento por lotes ejecutando trabajos en instancias disponibles a precios más bajos. Se explica cómo las aplicaciones de procesamiento por lotes pueden aprovechar las instancias Spot para simulaciones, modelado molecular, procesamiento de video y más, al tiempo que se mantiene la confiabilidad mediante el uso de colas SQS y almacenamiento S3.
Este documento presenta varios servicios de bases de datos administradas de AWS, incluyendo Amazon DynamoDB (una base de datos NoSQL), Amazon RDS (una base de datos relacional administrada), Amazon ElastiCache (un cache en memoria administrado), y Amazon Redshift (una data warehouse administrada). Explica las ventajas de usar bases de datos administradas en AWS en lugar de administrar bases de datos localmente, como la eliminación de la necesidad de administrar hardware, software y actualizaciones.
Este documento proporciona una descripción general de los servicios de AWS. Actualmente AWS ofrece más de 70 servicios en áreas como computación, almacenamiento, bases de datos, redes, análisis, aplicaciones móviles y desarrollo. AWS ha lanzado más de 2,200 nuevas características y servicios desde su creación en 2006.
Este documento presenta las opciones de almacenamiento en AWS, incluyendo S3 para almacenamiento de objetos, EBS para almacenamiento de bloques, EFS para almacenamiento de archivos, Glacier para almacenamiento de archivos, y Storage Gateway para integrar el almacenamiento local y en la nube. Cada servicio se diseñó para casos de uso específicos y ofrece características como escalabilidad, disponibilidad, rendimiento y costo efectivo. AWS continúa innovando en sus servicios de almacenamiento para satisfacer las necesidades camb
AWS proporciona una plataforma sólida y escalable con más del doble de familias de instancias de computación y certificados de cumplimiento que cualquier otro proveedor de servicios en la nube, así como la mayor presencia global, para ayudar a innovar de manera ágil a organizaciones de todos los sectores y tamaños.
https://aws.amazon.com/es/products/compute/
AWS ofrece una variedad de opciones de almacenamiento para diferentes casos de uso, incluyendo S3 para almacenamiento de objetos, EBS para almacenamiento de bloques, EFS para almacenamiento de archivos, y Glacier para archivado de bajo costo a largo plazo. Estas opciones se integran con otros servicios de AWS y ofrecen escalabilidad, disponibilidad y seguridad.
Comenzar a usar los servicios de AWS puede parecer un desafío, pero no necesita ser asi. Participe de este Webinar y aprenda los conceptos básicos para empezar a utilizar la plataforma de servicios de Cloud de AWS. Después de un breve resumen, presentaremos los servicios básicos como Amazon EC2 y Amazon S3 y además tendremos demostraciones prácticas de cómo configurar y utilizar estos ambientes.
Este documento describe los servicios de bases de datos administradas de Amazon Web Services (AWS), incluyendo Amazon Relational Database Service (RDS). RDS proporciona una forma sencilla de implementar, operar y escalar bases de datos relacionales en la nube de AWS, manejando tareas administrativas como respaldos, parches y replicación. El documento también discute opciones de almacenamiento, seguridad, monitoreo y costos efectivos de RDS.
Este documento presenta una introducción a AWS y EC2. Explica cómo EC2 ofrece servidores virtuales en la nube con escalabilidad rápida y flexibilidad de pago. Se describen los diferentes tipos de instancias EC2 y sus características de rendimiento para diferentes cargas de trabajo. También analiza factores como la virtualización, el rendimiento de CPU e I/O, y proporciona consejos para optimizar el desempeño en EC2.
AWS ofrece una gran variedad de métodos para migrar sus datos hacia la nube. Usted tal vez quiera comenzar realizando respaldos de forma regular, recolectar streams de información de dispositivos, migrar un almacenamiento de datos de gran tamaño, o simplemente tener conectividad dedicada para descubrir que desea hacer después. ¿Cómo sabrá qué opción funciona mejor con su arquitectura?
Este Webinar le brindará una introducción de 6 herramientas que ofrecemos para migración de datos, incluyendo las fortalezas y debilidades de cada una, así como las oportunidades para complementarlas.
Objetivo del webinar:
- Introducción a la migración de datos a la nube.
- Aprenda los principios básicos de seis herramientas de transferencia (Direct Connect, Storage Gateway, Snowball, Disk transfer, Firehose, 3rd party partners).
- Entienda las fortalezas y debilidades de cada servicio, así como las oportunidades de acoplarlos.
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Este documento presenta una introducción a Docker y Amazon ECS. Explica los beneficios de los contenedores y microservicios y cómo ECS permite la administración y programación de contenedores a gran escala a través de clústeres de EC2. También describe cómo ECS permite ejecutar servicios de larga duración mediante el balanceo de carga y la actualización automática de contenedores.
Este documento presenta una introducción a las arquitecturas sin servidores utilizando AWS Lambda. Explica cómo las arquitecturas serverless son la evolución natural de los modelos monolíticos, SOA y de microservicios. Describe los componentes clave de AWS Lambda como las funciones, eventos y el servicio administrado. También incluye ejemplos de patrones arquitectónicos serverless y mejores prácticas para AWS Lambda y Amazon API Gateway.
Amazon EC2 Container Service (ECS) es un servicio de administración de contenedores de alto desempeño y escalabilidad, compatible con los contenedores de Docker y que le permite ejecutar fácilmente aplicaciones distribuidas en un clúster administrado de instancias de Amazon EC2. Amazon ECS elimina la necesidad de instalar, operar y escalar su propia infraestructura de administración de clústeres.
https://aws.amazon.com/es/ecs/
AWS Summit Bogotá 2015 Keynote "La Nube se ha convertido en estándar" Raul Fr...Amazon Web Services
Este documento resume el progreso de AWS y destaca tres puntos principales: 1) AWS ha experimentado un fuerte crecimiento en los últimos años con más de un millón de clientes activos y un incremento significativo en el uso de servicios como S3 y EC2; 2) AWS ofrece una amplia gama de servicios, incluidos computo, almacenamiento, bases de datos y machine learning, que permiten a las empresas innovar y transformarse digitalmente de manera más rápida; 3) Con AWS, las empresas pueden aprovechar grandes cantidades de datos para realizar anális
Este documento describe los servicios principales de AWS IoT, incluyendo Thing Registry, Thing Shadow, IoT Rules Engine y cómo se pueden usar junto con otros servicios de AWS como Kinesis, DynamoDB, Lambda, SNS y Greengrass para construir aplicaciones de Internet de las Cosas escalables. También presenta ejemplos de cómo estos servicios podrían usarse para un escenario de monitoreo de pacientes en un hospital.
El documento presenta una introducción a conceptos de big data y data science. Explica las tres V del big data (volumen, variedad y velocidad), así como las herramientas y técnicas utilizadas en el análisis de datos a gran escala, incluyendo arquitecturas, lectura y tratamiento de datos, modelización, visualización e informes.
Este documento presenta 10 casos de éxito de empresas que han utilizado Zyncro, una red social corporativa, para mejorar la colaboración, compartir conocimiento y aumentar la productividad. Los casos incluyen empresas de diferentes tamaños y sectores como agencias de diseño, partidos políticos, empresas de recursos humanos, farmacéuticas, hoteleras y bancos. Zyncro les ha permitido reducir el uso de correo electrónico, gestionar mejor la documentación y mejorar la comunicación interna y externa.
Este documento presenta los resultados de un examen de orina realizado como parte de una práctica de laboratorio para una asignatura de bioquímica. El examen incluyó pruebas físicas y químicas de la orina para detectar posibles problemas de salud. Los resultados mostraron PH ácido, leucocitos, proteínas y glucosa presentes, indicando infección, daño renal o diabetes. El documento también explica los significados médicos de los diferentes resultados y proporciona recomendaciones para futuras pruebas de laboratorio.
Este documento presenta varios servicios de bases de datos administradas de AWS, incluyendo Amazon DynamoDB (una base de datos NoSQL), Amazon RDS (una base de datos relacional administrada), Amazon ElastiCache (un cache en memoria administrado), y Amazon Redshift (una data warehouse administrada). Explica las ventajas de usar bases de datos administradas en AWS en lugar de administrar bases de datos localmente, como la eliminación de la necesidad de administrar hardware, software y actualizaciones.
Este documento proporciona una descripción general de los servicios de AWS. Actualmente AWS ofrece más de 70 servicios en áreas como computación, almacenamiento, bases de datos, redes, análisis, aplicaciones móviles y desarrollo. AWS ha lanzado más de 2,200 nuevas características y servicios desde su creación en 2006.
Este documento presenta las opciones de almacenamiento en AWS, incluyendo S3 para almacenamiento de objetos, EBS para almacenamiento de bloques, EFS para almacenamiento de archivos, Glacier para almacenamiento de archivos, y Storage Gateway para integrar el almacenamiento local y en la nube. Cada servicio se diseñó para casos de uso específicos y ofrece características como escalabilidad, disponibilidad, rendimiento y costo efectivo. AWS continúa innovando en sus servicios de almacenamiento para satisfacer las necesidades camb
AWS proporciona una plataforma sólida y escalable con más del doble de familias de instancias de computación y certificados de cumplimiento que cualquier otro proveedor de servicios en la nube, así como la mayor presencia global, para ayudar a innovar de manera ágil a organizaciones de todos los sectores y tamaños.
https://aws.amazon.com/es/products/compute/
AWS ofrece una variedad de opciones de almacenamiento para diferentes casos de uso, incluyendo S3 para almacenamiento de objetos, EBS para almacenamiento de bloques, EFS para almacenamiento de archivos, y Glacier para archivado de bajo costo a largo plazo. Estas opciones se integran con otros servicios de AWS y ofrecen escalabilidad, disponibilidad y seguridad.
Comenzar a usar los servicios de AWS puede parecer un desafío, pero no necesita ser asi. Participe de este Webinar y aprenda los conceptos básicos para empezar a utilizar la plataforma de servicios de Cloud de AWS. Después de un breve resumen, presentaremos los servicios básicos como Amazon EC2 y Amazon S3 y además tendremos demostraciones prácticas de cómo configurar y utilizar estos ambientes.
Este documento describe los servicios de bases de datos administradas de Amazon Web Services (AWS), incluyendo Amazon Relational Database Service (RDS). RDS proporciona una forma sencilla de implementar, operar y escalar bases de datos relacionales en la nube de AWS, manejando tareas administrativas como respaldos, parches y replicación. El documento también discute opciones de almacenamiento, seguridad, monitoreo y costos efectivos de RDS.
Este documento presenta una introducción a AWS y EC2. Explica cómo EC2 ofrece servidores virtuales en la nube con escalabilidad rápida y flexibilidad de pago. Se describen los diferentes tipos de instancias EC2 y sus características de rendimiento para diferentes cargas de trabajo. También analiza factores como la virtualización, el rendimiento de CPU e I/O, y proporciona consejos para optimizar el desempeño en EC2.
AWS ofrece una gran variedad de métodos para migrar sus datos hacia la nube. Usted tal vez quiera comenzar realizando respaldos de forma regular, recolectar streams de información de dispositivos, migrar un almacenamiento de datos de gran tamaño, o simplemente tener conectividad dedicada para descubrir que desea hacer después. ¿Cómo sabrá qué opción funciona mejor con su arquitectura?
Este Webinar le brindará una introducción de 6 herramientas que ofrecemos para migración de datos, incluyendo las fortalezas y debilidades de cada una, así como las oportunidades para complementarlas.
Objetivo del webinar:
- Introducción a la migración de datos a la nube.
- Aprenda los principios básicos de seis herramientas de transferencia (Direct Connect, Storage Gateway, Snowball, Disk transfer, Firehose, 3rd party partners).
- Entienda las fortalezas y debilidades de cada servicio, así como las oportunidades de acoplarlos.
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Este documento presenta una introducción a Docker y Amazon ECS. Explica los beneficios de los contenedores y microservicios y cómo ECS permite la administración y programación de contenedores a gran escala a través de clústeres de EC2. También describe cómo ECS permite ejecutar servicios de larga duración mediante el balanceo de carga y la actualización automática de contenedores.
Este documento presenta una introducción a las arquitecturas sin servidores utilizando AWS Lambda. Explica cómo las arquitecturas serverless son la evolución natural de los modelos monolíticos, SOA y de microservicios. Describe los componentes clave de AWS Lambda como las funciones, eventos y el servicio administrado. También incluye ejemplos de patrones arquitectónicos serverless y mejores prácticas para AWS Lambda y Amazon API Gateway.
Amazon EC2 Container Service (ECS) es un servicio de administración de contenedores de alto desempeño y escalabilidad, compatible con los contenedores de Docker y que le permite ejecutar fácilmente aplicaciones distribuidas en un clúster administrado de instancias de Amazon EC2. Amazon ECS elimina la necesidad de instalar, operar y escalar su propia infraestructura de administración de clústeres.
https://aws.amazon.com/es/ecs/
AWS Summit Bogotá 2015 Keynote "La Nube se ha convertido en estándar" Raul Fr...Amazon Web Services
Este documento resume el progreso de AWS y destaca tres puntos principales: 1) AWS ha experimentado un fuerte crecimiento en los últimos años con más de un millón de clientes activos y un incremento significativo en el uso de servicios como S3 y EC2; 2) AWS ofrece una amplia gama de servicios, incluidos computo, almacenamiento, bases de datos y machine learning, que permiten a las empresas innovar y transformarse digitalmente de manera más rápida; 3) Con AWS, las empresas pueden aprovechar grandes cantidades de datos para realizar anális
Este documento describe los servicios principales de AWS IoT, incluyendo Thing Registry, Thing Shadow, IoT Rules Engine y cómo se pueden usar junto con otros servicios de AWS como Kinesis, DynamoDB, Lambda, SNS y Greengrass para construir aplicaciones de Internet de las Cosas escalables. También presenta ejemplos de cómo estos servicios podrían usarse para un escenario de monitoreo de pacientes en un hospital.
El documento presenta una introducción a conceptos de big data y data science. Explica las tres V del big data (volumen, variedad y velocidad), así como las herramientas y técnicas utilizadas en el análisis de datos a gran escala, incluyendo arquitecturas, lectura y tratamiento de datos, modelización, visualización e informes.
Este documento presenta 10 casos de éxito de empresas que han utilizado Zyncro, una red social corporativa, para mejorar la colaboración, compartir conocimiento y aumentar la productividad. Los casos incluyen empresas de diferentes tamaños y sectores como agencias de diseño, partidos políticos, empresas de recursos humanos, farmacéuticas, hoteleras y bancos. Zyncro les ha permitido reducir el uso de correo electrónico, gestionar mejor la documentación y mejorar la comunicación interna y externa.
Este documento presenta los resultados de un examen de orina realizado como parte de una práctica de laboratorio para una asignatura de bioquímica. El examen incluyó pruebas físicas y químicas de la orina para detectar posibles problemas de salud. Los resultados mostraron PH ácido, leucocitos, proteínas y glucosa presentes, indicando infección, daño renal o diabetes. El documento también explica los significados médicos de los diferentes resultados y proporciona recomendaciones para futuras pruebas de laboratorio.
El documento presenta la técnica del "tetraedro del conocimiento" para identificar si una persona es de los elementos de tierra, aire, agua o fuego. Esto permite el autoconocimiento y conocer a los demás. Se proporciona un cuestionario de cuatro filas con características opuestas para asignar valores del 4 al 1 y determinar el elemento dominante. Cada elemento se describe en términos de cómo son, cómo resuelven problemas y cómo se comportan ante el estrés. El objetivo es complementar los diferentes elementos en el ámbito laboral.
DER SPANISCHE ADEL UND SOS-KINDERDORF: FRAU IM SPIEGEL ÜBER NILS PETER SIEGERNils Peter Sieger
FRAU IM SPIEGEL berichtet über eine Spendenaktion, die Nils Peter Sieger gemeinsam mit dem spanischen Adel für SOS-Kinderdorf-Organisation durchführt. Im Mittelpunkt steht die mit einem Aufwand von 2 Millionen Mark nachgebaute Galeone “Everi”, die im Hafen von Marbella anlegte. Unter den Teilnehmern sind unter anderem Gräfin Sandra von Bismarck, Don Jaime de Mora y Aragon und Frau Margit sowie Graf Rudolf von Schönburg und seine Frau Prinzessin Marie Luise von Preußen.
The document defines and describes different types of gamers: casual gamers who play games casually, mid-core gamers who play a wider range of games enthusiastically but not as intensely as hardcore gamers, hardcore gamers who make gaming a central part of their lifestyle, pro-gamers who play competitively for money or as a career, and other types like newbies, retro gamers, gamer girls, and gaymers. It provides short descriptions of each type of gamer.
The document provides guidelines for emergency response and rescue vessels (ERRVs) operating in the UK offshore oil and gas sector. It outlines the roles and responsibilities of ERRVs, as well as procedures for routine operations like close standby, emergency response, and environmental emergencies. Key points covered include requirements for crew certification, training and watchkeeping standards, communications protocols, validation of rescue equipment, and coordination with offshore installations and helicopters during emergencies.
Este documento describe los componentes principales del sistema cardiovascular, incluyendo el corazón, las arterias, venas y capilares. Describe la estructura de cada tipo de vaso sanguíneo y cómo se regulan factores como la presión arterial. También explica los diferentes tipos de capilares y las estructuras sensoriales especializadas en las arterias que ayudan a controlar la circulación.
Introducción a Apache Spark a través de un caso de uso cotidianoSocialmetrix
El documento describe cómo una compañía usa Apache Spark para procesar grandes volúmenes de datos de Twitter de manera escalable y distribuida. Explica la evolución de su solución desde Hadoop MapReduce y Hive a Spark, destacando las ventajas de Spark como su programación en lenguajes conocidos, facilidad de testing y mantenimiento del código. Luego detalla cómo resuelven el problema de contar las menciones de cuentas junto con hashtags usando Spark.
El Parque Gasset de Ciudad Real comenzó como un vertedero propiedad de RENFE, pero fue convertido en un parque en 1915 por los esfuerzos del alcalde José Cruz Prado y Rafael Gasset y Chinchilla. Desde entonces, el parque ha sido ampliado y remodelado varias veces y ahora cuenta con numerosos monumentos, fuentes, vegetación y áreas para diferentes usos como juegos infantiles y deportes.
Introduction to streaming and messaging flume,kafka,SQS,kinesis Omid Vahdaty
Big data makes you a bit Confused ? messaging? batch processing? data streaming? in flight analytics? Cloud? open source? Flume? kafka? flafka (both)? SQS? kinesis? firehose?
O documento apresenta uma introdução ao sistema de controle de versão Git, abordando seus conceitos básicos, como funciona, vantagens, instalação e configuração, criação de repositórios, fluxo de trabalho básico e remoto, branches e tópicos avançados.
Este documento describe las expresiones DAX en SQL Server 2012. Explica que DAX se utiliza en PowerPivot y Analysis Services para crear medidas y columnas calculadas. También describe las mejoras de DAX en SQL Server 2012 como funciones adicionales y soporte para modelos de datos más complejos. El documento concluye explicando cómo los profesionales de TI pueden usar DAX en SQL Server Data Tools y SQL Server Management Studio.
Este documento resume los objetivos y metodología del sexto estudio de IAB Spain sobre el uso de redes sociales. El estudio analiza la evolución del uso de redes sociales en España, los dispositivos de acceso, las actividades realizadas, y la relación entre usuarios, marcas y comercio electrónico. Algunos hallazgos clave son que un 82% de internautas usan redes sociales, Facebook sigue siendo la red más popular pero Instagram gana usuarios, y las marcas tienen buena percepción entre usuarios a pesar de que pocos
The document discusses the benefits of exercise for mental health. Regular physical activity can help reduce anxiety and depression and improve mood and cognitive function. Exercise causes chemical changes in the brain that may help protect against mental illness and improve symptoms.
Presentación dada en la Universidad Itesus Mazatlan, Esta la primer parte, se explico teoría, normatividad.
En las siguientes presentaciones son casos prácticos en donde mi compañía aplico lo mencionado.
Obtenga las instrucciones necesarias sobre arquitectura para crear sus aplicaciones de big data y aproveche al máximo la infraestructura de nube de AWS.
Este documento presenta arquitecturas y mejores prácticas para Big Data en AWS. Explica los desafíos de Big Data y propone una arquitectura de referencia que incluye el desacoplamiento de datos, el uso de herramientas adecuadas para cada fase y un enfoque en servicios serverless y gerenciados. También describe varias herramientas de AWS para la recolección, almacenamiento, procesamiento y análisis de datos a gran escala.
Este documento presenta arquitecturas y mejores prácticas para Big Data en AWS. Describe los desafíos de Big Data como volumen, velocidad y variedad de datos, y presenta una variedad de herramientas AWS para la recolección, almacenamiento, procesamiento y análisis de datos a gran escala. También discute principios básicos de arquitectura como el desacoplamiento de capas y el uso de la herramienta adecuada para cada fase.
El documento describe las mejores prácticas y arquitecturas de Big Data en AWS. Explica que AWS ofrece una amplia gama de herramientas para recolectar, almacenar, procesar y analizar grandes volúmenes y variedades de datos. También presenta principios básicos de arquitectura como el desacoplamiento de datos, el uso de la herramienta adecuada para cada fase y el enfoque en servicios serverless y gerenciados. Finalmente, revisa las diferentes opciones para cada fase del proceso de Big Data.
Patrones arquitectónicos y mejores prácticas de "big data" en AWS - MXO203 - ...Amazon Web Services
El documento presenta una sesión sobre patrones arquitectónicos y mejores prácticas para procesar grandes cantidades de datos (Big Data) en AWS. Se discuten los retos de Big Data, principios de arquitectura como construir sistemas desacoplados y usar la herramienta correcta para cada tarea, y cómo simplificar el procesamiento de Big Data. También se presentan varios servicios y tecnologías de AWS para recolectar, almacenar, procesar y analizar datos.
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
https://aws.amazon.com/es/big-data/
Este documento describe cómo construir una aplicación de Big Data completa en AWS. Explica cómo usar varios servicios de AWS como Amazon Redshift para almacenamiento y análisis de datos estructurados, Amazon QuickSight para visualización de datos, Amazon EMR para procesamiento de datos no estructurados, y Amazon Kinesis para procesamiento de datos en tiempo real. También cubre cómo migrar datos a AWS, agregar encripción y segmentación de redes para cumplir con regulaciones, y ejecutar código personalizado en la nube de AWS.
Amazon Web Services proporciona una amplia gama de servicios que le ayudarán a crear e implementar aplicaciones de análisis de big data de forma rápida y sencilla. AWS ofrece un acceso rápido a recursos de TI económicos y flexibles, algo que permitirá escalar prácticamente cualquier aplicación de big data con rapidez, incluidos almacenamiento de datos, análisis de clics, detección de elementos fraudulentos, motores de recomendación, proceso ETL impulsado por eventos, informática sin servidor y procesamiento del Internet de las cosas.
El documento presenta una agenda para una capacitación sobre Big Data y Data Lakes. Incluye temas como la arquitectura de Data Lake, la creación de metadatos y análisis de información, y la transformación y procesamiento de datos. También incluye casos de uso de compañías como FINRA, Netflix y Yelp que utilizan servicios de AWS como S3, Redshift, EMR y Athena para almacenar y analizar grandes volúmenes de datos de manera rentable.
AWS ofrece una gran variedad de servicios de base de datos que se adaptan a los requisitos de su aplicación. Los servicios de bases de datos están totalmente administrados y se pueden implementar en cuestión de minutos con tan solo unos clics.
https://aws.amazon.com/es/products/databases/
AnalyticZ … De la A a la Z con Amazon Web ServicSoftware Guru
Construir una aplicación de Big Data frecuentemente requiere integrar un conjunto de tecnologías para almacenar, procesar y analizar la creciente variedad, velocidad y volumen de datos dentro de las organizaciones. En esta sesión, se mostrará cómo se puede construir una aplicación de Big Data a lo largo de todo el pipeline utilizando los servicios que Amazon Web Services ofrece como parte de su portafolio.
Daremos un viaje paso a paso, a través de la construcción y seguridad de una aplicación de Big Data y compartiremos mejores prácticas y casos de uso muy comunes que sirvan como guía para elegir la mejor solución que se adapte a las necesidades específicas de cada ambiente.
Por Alejandro Flores de Amazon web Services
Generación de lagos de datos y analítica sobre AWS - MXO204 - Mexico City SummitAmazon Web Services
Este documento presenta sobre la construcción de data lakes y análisis en AWS. Explica conceptos clave como data lakes, big data y diferentes servicios de AWS para almacenamiento, procesamiento y análisis de grandes cantidades de datos de forma económica y escalable. También describe casos de uso reales de clientes que implementaron soluciones de data lakes en AWS.
Este documento presenta varios servicios de bases de datos administradas de AWS, incluyendo Amazon DynamoDB, Amazon RDS, Amazon ElastiCache y Amazon Redshift. Explica las ventajas de usar bases de datos administradas en AWS en lugar de administrar bases de datos localmente, como la eliminación de la necesidad de administrar hardware, software y actualizaciones. También proporciona ejemplos de casos de uso comunes para cada servicio de base de datos.
La Unión Europea ha acordado un paquete de sanciones contra Rusia por su invasión de Ucrania. Las sanciones incluyen restricciones a las transacciones con bancos rusos clave y la prohibición de la venta de aviones y equipos a Rusia. Los líderes de la UE esperan que las sanciones aumenten la presión económica sobre Rusia y la disuadan de continuar su agresión contra Ucrania.
Este documento presenta una sesión sobre los servicios de bases de datos de AWS. Explica que ofrece una variedad de servicios de bases de datos relacionales, NoSQL y de Big Data, cada uno optimizado para diferentes casos de uso. También describe los servicios principales como Amazon RDS, DynamoDB y Redshift, y cómo clientes importantes los usan para solucionar sus desafíos de datos y análisis.
Este documento proporciona recomendaciones para migrar bases de datos a AWS de manera óptima. Explica que Amazon RDS ofrece una plataforma de bases de datos administrada que soporta múltiples motores y procesos automatizados. También describe que AWS DMS y AWS SCT facilitan migraciones homogéneas y heterogéneas minimizando tiempo de inactividad y automatizando la conversión de esquemas. Finalmente, ofrece consejos sobre entender el ambiente, factores que afectan la velocidad y consideraciones generales para una migra
Este documento proporciona recomendaciones para migrar bases de datos a AWS de manera óptima. Amazon RDS ofrece una plataforma de bases de datos administrada que simplifica operaciones y permite escalar fácilmente. La migración a RDS elimina la necesidad de administrar hardware, sistemas operativos y parches, permitiendo enfocarse en la optimización de aplicaciones. Se recomienda evaluar migraciones homogéneas usando herramientas de importación/exportación de cada motor de base de datos, y migraciones heterogéneas
Este documento proporciona una introducción a los servicios de bases de datos administradas de AWS, incluyendo Amazon DynamoDB (una base de datos NoSQL), Amazon RDS (bases de datos relacionales administradas), Amazon ElastiCache (un caché en memoria administrado) y Amazon Redshift (una base de datos data warehouse administrada). Explica los beneficios de usar bases de datos administradas en AWS en lugar de administrarlas localmente, como la escalabilidad, disponibilidad y bajos costos. También incluye demostraciones de estos servicios.
Similar a AWS Summit Bogotá Track Avanzado: Arquitecturas y mejores practicas de big data en AWS (20)
Come costruire servizi di Forecasting sfruttando algoritmi di ML e deep learn...Amazon Web Services
Il Forecasting è un processo importante per tantissime aziende e viene utilizzato in vari ambiti per cercare di prevedere in modo accurato la crescita e distribuzione di un prodotto, l’utilizzo delle risorse necessarie nelle linee produttive, presentazioni finanziarie e tanto altro. Amazon utilizza delle tecniche avanzate di forecasting, in parte questi servizi sono stati messi a disposizione di tutti i clienti AWS.
In questa sessione illustreremo come pre-processare i dati che contengono una componente temporale e successivamente utilizzare un algoritmo che a partire dal tipo di dato analizzato produce un forecasting accurato.
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...Amazon Web Services
La varietà e la quantità di dati che si crea ogni giorno accelera sempre più velocemente e rappresenta una opportunità irripetibile per innovare e creare nuove startup.
Tuttavia gestire grandi quantità di dati può apparire complesso: creare cluster Big Data su larga scala sembra essere un investimento accessibile solo ad aziende consolidate. Ma l’elasticità del Cloud e, in particolare, i servizi Serverless ci permettono di rompere questi limiti.
Vediamo quindi come è possibile sviluppare applicazioni Big Data rapidamente, senza preoccuparci dell’infrastruttura, ma dedicando tutte le risorse allo sviluppo delle nostre le nostre idee per creare prodotti innovativi.
Ora puoi utilizzare Amazon Elastic Kubernetes Service (EKS) per eseguire pod Kubernetes su AWS Fargate, il motore di elaborazione serverless creato per container su AWS. Questo rende più semplice che mai costruire ed eseguire le tue applicazioni Kubernetes nel cloud AWS.In questa sessione presenteremo le caratteristiche principali del servizio e come distribuire la tua applicazione in pochi passaggi
Vent'anni fa Amazon ha attraversato una trasformazione radicale con l'obiettivo di aumentare il ritmo dell'innovazione. In questo periodo abbiamo imparato come cambiare il nostro approccio allo sviluppo delle applicazioni ci ha permesso di aumentare notevolmente l'agilità, la velocità di rilascio e, in definitiva, ci ha consentito di creare applicazioni più affidabili e scalabili. In questa sessione illustreremo come definiamo le applicazioni moderne e come la creazione di app moderne influisce non solo sull'architettura dell'applicazione, ma sulla struttura organizzativa, sulle pipeline di rilascio dello sviluppo e persino sul modello operativo. Descriveremo anche approcci comuni alla modernizzazione, compreso l'approccio utilizzato dalla stessa Amazon.com.
Come spendere fino al 90% in meno con i container e le istanze spot Amazon Web Services
L’utilizzo dei container è in continua crescita.
Se correttamente disegnate, le applicazioni basate su Container sono molto spesso stateless e flessibili.
I servizi AWS ECS, EKS e Kubernetes su EC2 possono sfruttare le istanze Spot, portando ad un risparmio medio del 70% rispetto alle istanze On Demand. In questa sessione scopriremo insieme quali sono le caratteristiche delle istanze Spot e come possono essere utilizzate facilmente su AWS. Impareremo inoltre come Spreaker sfrutta le istanze spot per eseguire applicazioni di diverso tipo, in produzione, ad una frazione del costo on-demand!
In recent months, many customers have been asking us the question – how to monetise Open APIs, simplify Fintech integrations and accelerate adoption of various Open Banking business models. Therefore, AWS and FinConecta would like to invite you to Open Finance marketplace presentation on October 20th.
Event Agenda :
Open banking so far (short recap)
• PSD2, OB UK, OB Australia, OB LATAM, OB Israel
Intro to Open Finance marketplace
• Scope
• Features
• Tech overview and Demo
The role of the Cloud
The Future of APIs
• Complying with regulation
• Monetizing data / APIs
• Business models
• Time to market
One platform for all: a Strategic approach
Q&A
Rendi unica l’offerta della tua startup sul mercato con i servizi Machine Lea...Amazon Web Services
Per creare valore e costruire una propria offerta differenziante e riconoscibile, le startup di successo sanno come combinare tecnologie consolidate con componenti innovativi creati ad hoc.
AWS fornisce servizi pronti all'utilizzo e, allo stesso tempo, permette di personalizzare e creare gli elementi differenzianti della propria offerta.
Concentrandoci sulle tecnologie di Machine Learning, vedremo come selezionare i servizi di intelligenza artificiale offerti da AWS e, anche attraverso una demo, come costruire modelli di Machine Learning personalizzati utilizzando SageMaker Studio.
OpsWorks Configuration Management: automatizza la gestione e i deployment del...Amazon Web Services
Con l'approccio tradizionale al mondo IT per molti anni è stato difficile implementare tecniche di DevOps, che finora spesso hanno previsto attività manuali portando di tanto in tanto a dei downtime degli applicativi interrompendo l'operatività dell'utente. Con l'avvento del cloud, le tecniche di DevOps sono ormai a portata di tutti a basso costo per qualsiasi genere di workload, garantendo maggiore affidabilità del sistema e risultando in dei significativi miglioramenti della business continuity.
AWS mette a disposizione AWS OpsWork come strumento di Configuration Management che mira ad automatizzare e semplificare la gestione e i deployment delle istanze EC2 per mezzo di workload Chef e Puppet.
Scopri come sfruttare AWS OpsWork a garanzia e affidabilità del tuo applicativo installato su Instanze EC2.
Microsoft Active Directory su AWS per supportare i tuoi Windows WorkloadsAmazon Web Services
Vuoi conoscere le opzioni per eseguire Microsoft Active Directory su AWS? Quando si spostano carichi di lavoro Microsoft in AWS, è importante considerare come distribuire Microsoft Active Directory per supportare la gestione, l'autenticazione e l'autorizzazione dei criteri di gruppo. In questa sessione, discuteremo le opzioni per la distribuzione di Microsoft Active Directory su AWS, incluso AWS Directory Service per Microsoft Active Directory e la distribuzione di Active Directory su Windows su Amazon Elastic Compute Cloud (Amazon EC2). Trattiamo argomenti quali l'integrazione del tuo ambiente Microsoft Active Directory locale nel cloud e l'utilizzo di applicazioni SaaS, come Office 365, con AWS Single Sign-On.
Dal riconoscimento facciale al riconoscimento di frodi o difetti di fabbricazione, l'analisi di immagini e video che sfruttano tecniche di intelligenza artificiale, si stanno evolvendo e raffinando a ritmi elevati. In questo webinar esploreremo le possibilità messe a disposizione dai servizi AWS per applicare lo stato dell'arte delle tecniche di computer vision a scenari reali.
Amazon Web Services e VMware organizzano un evento virtuale gratuito il prossimo mercoledì 14 Ottobre dalle 12:00 alle 13:00 dedicato a VMware Cloud ™ on AWS, il servizio on demand che consente di eseguire applicazioni in ambienti cloud basati su VMware vSphere® e di accedere ad una vasta gamma di servizi AWS, sfruttando a pieno le potenzialità del cloud AWS e tutelando gli investimenti VMware esistenti.
Molte organizzazioni sfruttano i vantaggi del cloud migrando i propri carichi di lavoro Oracle e assicurandosi notevoli vantaggi in termini di agilità ed efficienza dei costi.
La migrazione di questi carichi di lavoro, può creare complessità durante la modernizzazione e il refactoring delle applicazioni e a questo si possono aggiungere rischi di prestazione che possono essere introdotti quando si spostano le applicazioni dai data center locali.
Crea la tua prima serverless ledger-based app con QLDB e NodeJSAmazon Web Services
Molte aziende oggi, costruiscono applicazioni con funzionalità di tipo ledger ad esempio per verificare lo storico di accrediti o addebiti nelle transazioni bancarie o ancora per tenere traccia del flusso supply chain dei propri prodotti.
Alla base di queste soluzioni ci sono i database ledger che permettono di avere un log delle transazioni trasparente, immutabile e crittograficamente verificabile, ma sono strumenti complessi e onerosi da gestire.
Amazon QLDB elimina la necessità di costruire sistemi personalizzati e complessi fornendo un database ledger serverless completamente gestito.
In questa sessione scopriremo come realizzare un'applicazione serverless completa che utilizzi le funzionalità di QLDB.
Con l’ascesa delle architetture di microservizi e delle ricche applicazioni mobili e Web, le API sono più importanti che mai per offrire agli utenti finali una user experience eccezionale. In questa sessione impareremo come affrontare le moderne sfide di progettazione delle API con GraphQL, un linguaggio di query API open source utilizzato da Facebook, Amazon e altro e come utilizzare AWS AppSync, un servizio GraphQL serverless gestito su AWS. Approfondiremo diversi scenari, comprendendo come AppSync può aiutare a risolvere questi casi d’uso creando API moderne con funzionalità di aggiornamento dati in tempo reale e offline.
Inoltre, impareremo come Sky Italia utilizza AWS AppSync per fornire aggiornamenti sportivi in tempo reale agli utenti del proprio portale web.
Database Oracle e VMware Cloud™ on AWS: i miti da sfatareAmazon Web Services
Molte organizzazioni sfruttano i vantaggi del cloud migrando i propri carichi di lavoro Oracle e assicurandosi notevoli vantaggi in termini di agilità ed efficienza dei costi.
La migrazione di questi carichi di lavoro, può creare complessità durante la modernizzazione e il refactoring delle applicazioni e a questo si possono aggiungere rischi di prestazione che possono essere introdotti quando si spostano le applicazioni dai data center locali.
In queste slide, gli esperti AWS e VMware presentano semplici e pratici accorgimenti per facilitare e semplificare la migrazione dei carichi di lavoro Oracle accelerando la trasformazione verso il cloud, approfondiranno l’architettura e dimostreranno come sfruttare a pieno le potenzialità di VMware Cloud ™ on AWS.
1) The document discusses building a minimum viable product (MVP) using Amazon Web Services (AWS).
2) It provides an example of an MVP for an omni-channel messenger platform that was built from 2017 to connect ecommerce stores to customers via web chat, Facebook Messenger, WhatsApp, and other channels.
3) The founder discusses how they started with an MVP in 2017 with 200 ecommerce stores in Hong Kong and Taiwan, and have since expanded to over 5000 clients across Southeast Asia using AWS for scaling.
This document discusses pitch decks and fundraising materials. It explains that venture capitalists will typically spend only 3 minutes and 44 seconds reviewing a pitch deck. Therefore, the deck needs to tell a compelling story to grab their attention. It also provides tips on tailoring different types of decks for different purposes, such as creating a concise 1-2 page teaser, a presentation deck for pitching in-person, and a more detailed read-only or fundraising deck. The document stresses the importance of including key information like the problem, solution, product, traction, market size, plans, team, and ask.
This document discusses building serverless web applications using AWS services like API Gateway, Lambda, DynamoDB, S3 and Amplify. It provides an overview of each service and how they can work together to create a scalable, secure and cost-effective serverless application stack without having to manage servers or infrastructure. Key services covered include API Gateway for hosting APIs, Lambda for backend logic, DynamoDB for database needs, S3 for static content, and Amplify for frontend hosting and continuous deployment.
This document provides tips for fundraising from startup founders Roland Yau and Sze Lok Chan. It discusses generating competition to create urgency for investors, fundraising in parallel rather than sequentially, having a clear fundraising narrative focused on what you do and why it's compelling, and prioritizing relationships with people over firms. It also notes how the pandemic has changed fundraising, with examples of deals done virtually during this time. The tips emphasize being fully prepared before fundraising and cultivating connections with investors in advance.
AWS_HK_StartupDay_Building Interactive websites while automating for efficien...Amazon Web Services
This document discusses Amazon's machine learning services for building conversational interfaces and extracting insights from unstructured text and audio. It describes Amazon Lex for creating chatbots, Amazon Comprehend for natural language processing tasks like entity extraction and sentiment analysis, and how they can be used together for applications like intelligent call centers and content analysis. Pre-trained APIs simplify adding machine learning to apps without requiring ML expertise.
Amazon Elastic Container Service (Amazon ECS) è un servizio di gestione dei container altamente scalabile, che semplifica la gestione dei contenitori Docker attraverso un layer di orchestrazione per il controllo del deployment e del relativo lifecycle. In questa sessione presenteremo le principali caratteristiche del servizio, le architetture di riferimento per i differenti carichi di lavoro e i semplici passi necessari per poter velocemente migrare uno o più dei tuo container.
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...AMADO SALVADOR
Descarga el Catálogo General de Tarifas 2024 de Vaillant, líder en tecnología para calefacción, ventilación y energía solar térmica y fotovoltaica. En Amado Salvador, como distribuidor oficial de Vaillant, te ofrecemos una amplia gama de productos de alta calidad y diseño innovador para tus proyectos de climatización y energía.
Descubre nuestra selección de productos Vaillant, incluyendo bombas de calor altamente eficientes, fancoils de última generación, sistemas de ventilación de alto rendimiento y soluciones de energía solar fotovoltaica y térmica para un rendimiento óptimo y sostenible. El catálogo de Vaillant 2024 presenta una variedad de opciones en calderas de condensación que garantizan eficiencia energética y durabilidad.
Con Vaillant, obtienes más que productos de climatización: control avanzado y conectividad para una gestión inteligente del sistema, acumuladores de agua caliente de gran capacidad y sistemas de aire acondicionado para un confort total. Confía en la fiabilidad de Amado Salvador como distribuidor oficial de Vaillant, y en la resistencia de los productos Vaillant, respaldados por años de experiencia e innovación en el sector.
En Amado Salvador, distribuidor oficial de Vaillant en Valencia, no solo proporcionamos productos de calidad, sino también servicios especializados para profesionales, asegurando que tus proyectos cuenten con el mejor soporte técnico y asesoramiento. Descarga nuestro catálogo y descubre por qué Vaillant es la elección preferida para proyectos de climatización y energía en Amado Salvador.
La inteligencia artificial sigue evolucionando rápidamente, prometiendo transformar múltiples aspectos de la sociedad mientras plantea importantes cuestiones que requieren una cuidadosa consideración y regulación.
para programadores y desarrolladores de inteligencia artificial y machine learning, como se automatiza una cadena de valor o cadena de valor gracias a la teoría por Manuel Diaz @manuelmakemoney
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)codesiret
Los protocolos son conjuntos de
normas para formatos de mensaje y
procedimientos que permiten a las
máquinas y los programas de aplicación
intercambiar información.
2. Big Data en AWS
Damian Traverso - Solutions Architect
18/06/2015 | Bogotá
3. Agenda
• Desafíos de un proyecto de Big Data
• Visión simplificada del procesamiento Big Data
• ¿Cuáles tecnologías debo utilizar?
• Arquitectura de Referencia
• Patrones de Diseño
15. ¿Por qué un Stream Storage?
• Convierte múltiples
streams en unos pocos,
persistentes y ordenados
secuencialmente
• Desconecta productores y
consumidores de datos
• Actúa como un buffer o
una cola
• Streams en secuencia son
más faciles de procesar
• Preserva el orden para los
consumidores
• Streaming MapReduce
• El consumidor puede
realizar un replay y
reprocesar
16. ¿Cuál Stream Store debo utilizar?
• Amazon Kinesis y Apache Kafka tienen muchas
similitudes
– Múltiples consumidores
– Orden de los registros
– MapReduce de Streaming
– Baja latencia
– Alta durabilidad, disponibilidad y escalabilidad
• Diferencias
– Un registro dura 24 horas en Kinesis, en Kafka es configurable
– Tamaño de 50 Kb en Kinesis, en Kafka es configurable
– Kinesis es un servicio totalmente gestionado – fácil de provisionar,
monitorear y escalar.
Kafka exige un trabajo de administración de disponibilidad y escalamiento
como un proceso on-premise
19. Database y Storage en la nube - Las herramientas correctas
App/Web Tier
Client Tier
Data Tier
Database & Storage Tier
Search
Hadoop/HDFS
Cache
Blob Store
SQL NoSQL
20. App/Web Tier
Client Tier
Data Tier
Database & Storage Tier
Amazon RDSAmazon
DynamoDB
Amazon
ElastiCache
Amazon S3
Amazon
Glacier
Amazon
CloudSearch
HDFS on Amazon EMR
Database y Storage en la nube - Las herramientas correctas
21. ¿Que Storage debo utilizar?
• Nivel de estructuración de los datos
• Complejidad de las consultas
22. Grado de estructuración / complejidad de las queries
VS.
Storage
Structured – Simple Query
NoSQL
Amazon DynamoDB
Cache
Amazon ElastiCache
Structured – Complex Query
SQL
Amazon RDS
Search
Amazon CloudSearch
Unstructured – No Query
Cloud Storage
Amazon S3
Amazon Glacier
Unstructured – Custom Query
Hadoop/HDFS
Elastic MapReduce
Gradodeestructuración
Grado de complejidad de las queries
24. Temperatura de los datos: Calientes, Tibios o Fríos
Caliente Tibio Frío
Volumen MB–GB GB–TB PB
Tamaño del registro B–KB KB–MB KB–TB
Latencia ms ms, seg min, horas
Durabilidad Baja - Alta Alta Muy Alta
Frecuencia de
requests Muy Alta Alta Baja
Costo/GB $$-$ $-¢¢ ¢
25. Amazon
RDS
Frecuencia de Requests
alta baja
Costo/GB
alta baja
Latencia
baja alta
Volumen
baja alta
Amazon
Glacier
Amazon
CloudSearch
Estructuración
baja
alta
Amazon
DynamoDB
Amazon
ElastiCache
27. Procesamiento
• Análisis Descriptivo: BI, OLAP, SQL/data warehouse
• Análisis Predictivo: sistemas de recomendación,
previsión de page-views, subasta de anuncios on-line
• Clasificación: análisis de sentimiento, fraude, anti
spam, clustering de clientes para crear perfiles de
consumo
• Correlación: comparar lo que se sabe sobre el negocio
(BI) con las oscilaciones del mercado, tiempo y
temperatura, reputación en las redes sociales
28. Frameworks de procesamiento
Normalmente existen dos tipos:
• Batch
– Procesamiento regular (ex: ETL)
– Análisis exploratorio (ex:data science)
• Stream
– IoT, click-stream, social monitoring,
crawlers, etc
29. Procesamiento Batch
• Accede a un gran volumen de datos fríos
para interactuar en búsqueda de
correlaciones
• Generalmente necesita minutos o horas para
obtener una respuesta
Por ejemplo: Generar reportes por horas, días o
meses
30. Caso de uso: Procesamiento Batch para ETL
Amazon
EMR
Amazon
S3
Amazon
Glacier
Amazon
Redshift
31. Procesamiento de Stream
• Analisa datos en pequeños grupos
– CEP – Complex Event Processor (if/then/else)
– Machine Learning (fraude, recomendaciones, etc.)
• Responde en corto lapso de tiempo
– Real-time o Near Real-time dependiendo de cada
aplicación
Por ejemplo: análisis de 1min de
operaciones
34. ¿Cuál herramienta de procesamiento batch debo usar?
Redshift Impala Presto Spark Hive
Latencia de
las queries
Baja Baja Baja Baja - Media Media - Alta
Durabilidad Alta Alta Alta Alta Alta
volumen 1.6PB Max ~Nodos ~Nodos ~Nodos ~Nodos
Managed Si EMR
bootstrap
EMR
bootstrap
EMR
bootstrap
Si (EMR)
Storage Nativo HDFS HDFS/S3 HDFS/S3 HDFS/S3
# of BI Tools Alta Media Alta Baja Alta
Latencia
de las
queries
Baja Alta
35. Spark Streaming Apache Storm
+ Trident
Kinesis Client
Library
Escalabilidad/Thro
ughput
~ Nodos ~ Nodos ~ Nodos
volumen ~ Nodos ~ Nodos ~ Nodos
Administración Si (EMR bootstrap) Hágalo usted
mismo
EC2 + Auto Scaling
Tolerencia a fallas Built-in Built-in KCL Check pointing
Lenguages de
programación / API
Java, Python, Scala Java, Scala,
Clojure
Java, Python
¿Cuál herramienta de procesamiento de Stream debo usar?
39. Aplicaciones de Procesamiento (o conectores)
pueden escribir en múltiples Data Stores
Amazon
Kinesis
Amazon
Kinesis
Connectors
Amazon
S3
Datos Amazon
DynamoDB
Lambda Architecture
Análisis
Real Time
Análisis
Exploratório
40. Frameworks de Procesamiento (Storm, Hive,
Spark, etc) pueden leer de múltiples Data Stores
Amazon
Kinesis
Amazon
Kinesis
Connectors
Amazon
S3
Datos Amazon
DynamoDB
Hive Spark
Respuestas
Storm
Respuestas
47. Resumen
• Etapas de procesamiento Big Data: ingestión,
almacenamiento, procesamiento y visualización
• Usar las herramientas correctas de acuerdo con
el trabajo a ser realizado
– Ingestión: Dados transaccionales, archivos, stream
– Almacenamiento: nivel de estructuración, complejidad de las
queries, datos calientes VS fríos, etc.
– Procesamiento: Latencia de las queries
• Arquitectura de referencia en Big Data y patrones
de diseño
a alguns desafios de projetos Big Data
Estabelcer uma visão Simplificada a concepção de um projeto de big data
Identificar as tecnologias para cada caso de uso
Apresentar uma arquitetura de referência
Falar de alguns design patterns
Melhores práticas
Desafios que nossos clientens enfrentam
Volume do universo de dados deve crescer vertiginosamente nos próximos anos
Alguns estudos apontam que o volume de dados em 2020 será 10x maior que 2013
A convergencia de muitas tecnologias como cloud, mobile, social, avanços na área de genoma, IoT, pesquisa espacial pressionam o crescimento
Due to the convergence of many technologies of cloud, mobile, social, and advancements in many field such as genomics, life sciences, space, the size of the digital universe is growing at an ever increasing rate.
Customers have also found tremendous value in being able to mine this data to make better medicine, tailored purchasing recommendations, detect fraudulent financial transactions in real time, provide on-demand digital content such as movies and songs, predict weather forecasts, the list goes on and on.
E que descobrimos ?
Que quanto mais rápido criamos dados, mais rápido queremos respostas.
As data creation is becoming more real-time and continuous
so is the need to manage it
Vamos começar elaborando uma visão simplificada do processamento de Big Data
Um jeito de pensar em big data é ter em mente os ciclos do processo ou um pipeline onde os dados entram de um lado
geram respostas do outro.
Tudo isso dentro de um tempo aproprioado milisegundos para real time, minutos ou horas para outros tipos de necessidade.
Tempo muda e baseado nele mudam também os tipos de componentes que v. deve usar no pipeline.
Vamos começar alinhando alguns desses compontentes dentro das categorias
Vamos fazer um map sem reduce
Sei que há poucas empresas aqui mas o ecosistema de parceiros é bem maior. Isso não significa que o suporte da Aws se restija somente a essas empresas
Vamos falar um pouco sobre a primeira fase, : a Ingestão
Vamos receber dados de sistemas transacionais baseados em bancos relacionais
Vamos receber arquivos de logs com formatação variada
Vamos receber textos livre, imagens
Vamos receber sinais de dispositivos de IoT
Vamos receber streams de dados das redes sociais
A próxima questão é que tipo de storage a gente tem que usar
Dados formatados e relacionais podem ser gravados em Databases SQL e NoSQL
Logs e textos pouco ou semi formatados podem ser gravados em Storage
Streaming de dados precisa ser retidos em uma fila ou storage intermediario para que sejam analisados o mais rápido possivel (Kinesis, Kafa)
Vamos falar um pouco mais sobre o tratamento de streaming de dados
Converte múltiplos streams em poucos e persistentes ordenados sequencialmente Streams em sequencia são mais fáceis de processar
Desconecta produtores e consumidores de dados (essa desconexão é importante para escalar horizontamente)
Atua como um buffer ou uma fila
Preserva para o cliente a ordenação
Você pode fazer um timpo de mapreduce para selecionar dados importantes e separar sinal de ruído -- Streaming “MapReduce”
Consumidor pode dar um replay e reprocessar
Leia o Slide
Muitos dos clientes já familiarizados com o kafka não querem a complexidade de gestão, criar, escalar, monitorar e manter. O kinesis é bem fácil e não tem essa complexidade.
http://blog.cloudera.com/blog/2014/09/apache-kafka-for-beginners/
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
https://blogs.apache.org/flume/entry/flume_ng_architecture
https://blogs.apache.org/flume/
https://blogs.apache.org/flume/
Use considerations
Take all the undifferentiated heavy lifting
Focus less on muck
We want to offer choice
Maintain update
Keep in mind even thought Kafka is open source,
Put a lot more efforts into kafka
Lot of effort and smart engineering
Passado o Streaming vamos falar dos outros formatos de storage
Aqui o que não fazer
Bancos de daods RELACIONAIS orientados a transações (OLTP) são ótimos para muitas coias
mas encontram sérias restrições para escalar.
Temos muitos casos de clientes que entenderam após a implementação que o RDBMS não atende necessidades e precisam migrar para NoSQL.
5.000 writes or reads/second em um dynamo v. só configura quantos righs/second v. quer em um OLTP isso vai dar muito trabalho exigir muita configuração e gestão.
Banco relacional pode (e deve) ser substituido por outro banco ou storage no formato adequado a demanda e uso
OLTP
OLAP
NoSQL
As soluções
AWS para cada caso de uso.
Como eu escolho um deles?Vamos nos ater em algumas dimensões
2 x 2 Matrix
Structured
Level of query (from none to complex)
Draw down the slide
Agora vamos adicionar a dimensão tempo
Temos aqui o EMR dando suporte a PRESTO IMPALA SPARK HIVE PIG
MPP - Procesamento Paralelo Massivo em Redshift, Presto e Impala
Hadoop – com MapReduce, Tez, Spark,
Vamos falar sobre a dimensão da latência da query e como ela se contextualiza
O Redshift é ótimo para agregar dados dada a sua arquitetura colunar e processamento MPP
Outro aspecto importante dessa dimensão é a quantidade de ferramentas BI (ultima linha) com que o software se conecta
Se v. usa um storage hdfs ou s3, pode processar com varias ferramentas usando clusters separados e transientes.
Query Speed
Redshift – Extremely fast SQL queries
Spark, Impala – Extremely Fast to Fast Hive QL
Hive, Tez – Moderately Fast to Slow Hive QL
Data Volume?
UDFs?
Manageability?
http://yahoodevelopers.tumblr.com/post/85930551108/yahoo-betting-on-apache-hive-tez-and-yarn
https://amplab.cs.berkeley.edu/benchmark/
Essas soluções são meio equivalentes
O SPARK é interessante porque tem o seu ecosistema com o MLIB, Spark-SQL,
Similar to multi-tier web-app-data architectures
Concept of a “data bus” or “data pipeline”
This is a summary of all six design patterns together. This summarizes all of the solutions available in the context of the temperature of the data and the data processing latency requirements.
Hive – 1 year worth of click stream data
Spark – 1 year of click stream data – what people are buying frequently together
Redshift – reem
ting, enterprise reporting tool – SQL Heavy
Impala – same as redshift
Preseto same league as Impala presto – Interactive SQL analytics – have a Hadoop installed base….
NoSQL – Analytics on NoSQL
This is a summary of all six design patterns together. This summarizes all of the solutions available in the context of the temperature of the data and the data processing latency requirements.
Hive – 1 year worth of click stream data
Spark – 1 year of click stream data – what people are buying frequently together
Redshift – reporting, enterprise reporting tool – SQL Heavy
Impala – same as redshift
Preseto same league as Impala presto – Interactive SQL analytics – have a Hadoop installed base….
NoSQL – Analytics on NoSQL
This is a summary of all six design patterns together. This summarizes all of the solutions available in the context of the temperature of the data and the data processing latency requirements.
Hive – 1 year worth of click stream data
Spark – 1 year of click stream data – what people are buying frequently together
Redshift – reporting, enterprise reporting tool – SQL Heavy
Impala – same as redshift
Preseto same league as Impala presto – Interactive SQL analytics – have a Hadoop installed base….
NoSQL – Analytics on NoSQL
This is a summary of all six design patterns together. This summarizes all of the solutions available in the context of the temperature of the data and the data processing latency requirements.
Hive – 1 year worth of click stream data
Spark – 1 year of click stream data – what people are buying frequently together
Redshift – reporting, enterprise reporting tool – SQL Heavy
Impala – same as redshift
Preseto same league as Impala presto – Interactive SQL analytics – have a Hadoop installed base….
NoSQL – Analytics on NoSQL
The world is producing an ever increasing volume, velocity, and variety of big data. Consumers and businesses are demanding up-to-the-second (or even millisecond) analytics on their fast-moving data, in addition to classic batch processing. AWS delivers many technologies for solving big data problems. But what services should you use, why, when, and how? In this session, we simplify big data processing as a data bus comprising various stages: ingest, store, process, and visualize. Next, we discuss how to choose the right technology in each stage based on criteria such as data structure, query latency, cost, request rate, item size, data volume, durability, and so on. Finally, we provide reference architecture, design patterns, and best practices for assembling these technologies to solve your big data problems at the right cost.