Big Data e Computação em Nuvem na AWS facilitam a coleta e armazenamento de grandes volumes de dados de forma elástica e econômica na nuvem, bem como o processamento desses dados através de ferramentas como Hadoop e DynamoDB de forma flexível e sem necessidade de administração de hardware. A nuvem também permite buscas e machine learning em grande escala e a visualização dos resultados através de relatórios e dashboards.

1. Big Data e Computação em
Nuvem na AWS
José Papo
AWS Tech Evangelist
@josepapo

3. Onde se vê Big Data
Mídia/
Propaganda
Anuncios
Dirigidos
Processa-
mento de
vídeos e
imagens
Óleo e Gás
Análise
Sismica
Varejo
Recomen-
dações
Análise de
Transações
Telecom
Cobrança
Log de
Ligações
Uso dos
Produtos
Instituições
Financeiras
Simulações
de Monte
Carlo
Análise de
Riscos
Segurança
Anti-virus
Detecção
de Fraudes
Reconheci-
mento de
Imagens
Marketing e
Jogos
(sobretudo
social)
Analise
Comporta-
mental
Análise de
Uso
Métricas
“In-game”

4. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

5. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

7. Relacional NoSQL

9. Como Cloud facilita
Coleta e Storage?

10. Q4 2007 Q4 2008 Q4 2009 Q4 2010 Q4 2011 Q2 2012
14 Bilhões 40 Bilhões
102 Bilhões
262 Bilhões
762 Bilhões
Storage Elástico no Amazon S3
1
Trilhão

11. 288 servidores com Cassandra
1.100.000 transações / segundo
Benchmarking Cassandra Scalability on AWS - Over a million writes per second
41 dólares / hora
(Instâncias Reservadas)

12. DynamoDB é um Banco de
Dados NoSQL “as a service”
sem complexidades
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração

17. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

18. "Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce

21. Como Cloud facilita
Processamento e ETL?

22. Elasticidade
Aumenta
para 25
instancias
Data Warehouse
(Estável)
Data Warehouse
(Processo Batch)
Diminui
para
9
instancias
Data Warehouse
(Estável)

23. Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/

24. +

33. Elastic MapReduce, DynamoDB e Hive
http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EMRforDynamoDB.html

35. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

38. Como Cloud facilita
Buscas e Machine
Learning?

42. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

46. Como Cloud facilita
Visualização e
Relatórios?

49. Casos de utilização de
Big Data na Nuvem

55. 3 Horas
por $4828,85/hora

57. OFERTA GRATUITA!
aws.amazon.com/pt/free
awshub.com.br

59. OBRIGADO!
aws.typepad.com/brasil
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo