- O documento discute os desafios e soluções de arquitetura para projetos de Big Data, incluindo ingestão, armazenamento, processamento e visualização de dados. - É apresentada uma visão simplificada do fluxo de processamento de Big Data e quais tecnologias usar de acordo com o tipo e temperatura dos dados. - São discutidos padrões de arquitetura e design patterns para integrar as diferentes ferramentas de forma desconectada e escalável.

1. São Paulo
Maio/2015

2. Padrões de Arquitetura para
Big Data
Hélio Silva
Sr. Big Data Analytics Consultant
Professional Services
AWS Summit São Paulo – Maio/2015
Henrique Souza
Especialista de Cloud e Big Data

3. Agenda
• Desafios de um projeto de Big Data
• Visão simplificada do processamento Big Data
• Qual tecnologia usar?
• Arquitetura de referência
• Design patterns

4. Desafios de um projeto de Big Data

5. Big Data: Volume cresce continuamente
De PB para ZB
GB
TB
PB
ZB
EB
1990 2000 2010 2020

6. Big Data tem que responder mais rápido
Big Data Real-time Big Data

7. Um monte de soluções e componentes
Glacier
S3 DynamoDB
RDS
EMR
Redshift
Data Pipeline
Kinesis
Cassandra CloudSearch
AML

8. O que devo usar ?

9. Simplificando o processamento
do Big Data

10. Simplificando o processamento do Big Data
Ingestão
Persistência /
Storage Processamento Visualização
Dados
Respostas
Tempo

11. Glacier
S3
DynamoDB
RDS
Kinesis
Spark
Streaming
EMR
Ingestão Persistência Processo/Análise Visualização
Data Pipeline
Storm
Kafka
Redshift
Cassandra
CloudSearch
Kinesis
Connector
Kinesis
enabled app
App Server
Web Server
Devices
AML

12. Ingestão
de
dados

13. Tipos de dados para ingestão
• Transacional
– SGBD leitura/escrita
• Arquivos
– Click-stream logs
– Texto livre
• Stream
– IoT devices
– Tweets
Database
Cloud
Storage
Stream
Storage

14. Stream
Storage
Database
Cloud
Storage
✔

15. Por que um Stream Storage?
• Converte múltiplos
streams em poucos e
persistentes ordenados
sequencialmente
• Desconecta produtores e
consumidores de dados
• Atua como um buffer ou
uma fila
• Streams em sequência
são mais fáceis de
processar
• Preserva a ordenação
para os consumidores
• Streaming “MapReduce”
• Consumidor pode dar um
replay e reprocessar

16. Qual Stream Store devo usar?
• Amazon Kinesis e Kafka têm muitas semelhanças
– Múltiplos consumidores
– Ordenação dos registros
– “MapReduce” do Streaming
– Baixa Latência
– Alta durabilidade, disponibilidade e escalabilidade
• Diferenças
– Um registro dura 24 horas no Kinesis, no Kafka é configurável
– Tamanho de 50 Kb no Kinesis, no Kafka é configurável
– Kinesis é um serviço totalmente gerenciável – fácil de provisionar, monitorar
e escalar.
Kafka exige um trabalho de gestão de disponibilidade e escala como um
processo ‘on-premisses’

17. Cloud Database &
Storage
✔
✔

18. Cloud Database and Storage Tier Anti-pattern
App/Web Tier
Client Tier
Database & Storage Tier

19. Database e Storage na nuvem — As ferramentas corretas
App/Web Tier
Client Tier
Data Tier
Database & Storage Tier
Search
Hadoop/HDFS
Cache
Blob Store
SQL NoSQL

20. Database e Storage na nuvem — As ferramentas corretas
App/Web Tier
Client Tier
Data Tier
Database & Storage Tier
Amazon RDSAmazon
DynamoDB
Amazon
ElastiCache
Amazon S3
Amazon
Glacier
Amazon
CloudSearch
HDFS on Amazon EMR

21. Qual Storage devo usar?
• Nível de estruturação dos dados
• Complexidade das suas queries

22. Grau de estruturação e complexidade de query
X
Storage
Structured – Simple Query
NoSQL
Amazon DynamoDB
Cache
Amazon ElastiCache
Structured – Complex Query
SQL
Amazon RDS
Search
Amazon CloudSearch
Unstructured – No Query
Cloud Storage
Amazon S3
Amazon Glacier
Unstructured – Custom Query
Hadoop/HDFS
Elastic MapReduce
Graudeestruturação
Grau de complexidade das queries

23. Qual a temperatura dos seus dados?

24. Características dos dados: Quente, Morno, Frio
Quente Morno Frio
Volume MB–GB GB–TB PB
Tamanho de registro B–KB KB–MB KB–TB
Latência ms ms, seg min, horas
Durabilidade Baixa–Alta Alta Muito Alto
Freq. de requisições Muito Alta Alto Baixo
Custo/GB $$-$ $-¢¢ ¢

25. Amazon
RDS
Frequência de Requisições
alta baixa
Custo/GB
alta baixa
Latência
baixa alta
Data Volume
baixa alta
Amazon
Glacier
Amazon
CloudSearch
Estruturação
baixa
alta
Amazon
DynamoDB
Amazon
ElastiCache

26. Process
✔ ✔
AML

27. Processamento
• Análise Descritiva: BI, OLAP, SQL/data warehouse
• Análise Preditiva: sistemas de recomendação,
previsão de page-views, leilão de anúncios on-line
• Classificação: análise de sentimento, fraude, anti
spam, clustering de clientes para formação de perfis
de consumo
• Correlação: comparar o que se sabe sobre negócio
(BI) com oscilações de mercado, tempo e
temperatura, reputação nas redes sociais

28. Frameworks de processamento
Normalmente em dois tipos:
• Batch
– Processamento regular (ex: ETL)
– Análise exploratória (ex:data science)
• Stream
– IoT, click-stream, social monitoring,
crawlers, etc

29. Processamento Batch
• Acessar um grande volume de dados frios
e interagir buscando correlações
• Pesquisar uma faixa restrita de tempo
Exemplo: Gerar relatórios por hora, dia, mês ou
semana

30. Caso de uso: Processamento Batch para ETL
Amazon
EMR
Amazon
S3
Amazon
Glacier
Amazon
Redshift

31. Processamento de Stream
• Analisa dados em pequenos grupos
– CEP – Complex Event Processor (if/then/else)
– Machine Learning (fraude, recomendação, etc.)
• Responde em um espaço curto de tempo
– Real time ou near realtime dependendo da aplicação
Exemplo: Análise de 1min de operação

33. Ferramentas
• Batch processing/analytic
– Amazon Redshift
– Amazon EMR
• Hive, Pig, Spark, Impala, Presto, …
• Stream processing
– Apache Spark streaming
– Apache Storm (+ Trident)
– Amazon Kinesis client and
connector library
AML

34. Qual ferramenta de processamento batch devo usar?
Redshift Impala Presto Spark Hive
Latência de
query
Baixa Baixa Baixa Baixa - Média Média - Alta
Durabilidade Alta Alta Alta Alta Alta
Volume 1.6PB Max ~Nós ~Nós ~Nós ~Nós
Gerenciado Sim EMR
bootstrap
EMR
bootstrap
EMR
bootstrap
Sim (EMR)
Storage Nativo HDFS HDFS/S3 HDFS/S3 HDFS/S3
# of BI Tools Alta Média Alta Baixa Alta
Latência
de query
Baixa Alta

35. Qual processamento de Stream devo usar?
Spark Streaming Apache Storm
+ Trident
Kinesis Client
Library
Escalabilidade/Thr
oughput
~ Nós ~ Nós ~ Nós
Volume ~ Nós ~ Nós ~ Nós
Gerenciamento Sim (EMR
bootstrap)
Faça você
mesmo
EC2 + Auto Scaling
Tolerância a falhas Built-in Built-in KCL Check pointing
Linguagens de
programação / API
Java, Python, Scala Java, Scala,
Clojure
Java, Python

36. ✔ ✔ ✔
AML

37. Juntando tudo

38. Arquitetura desconectada
• Múltiplos estágios
• Storage desconectado do processamento
Process Store Process StoreData Answers

39. Aplicações de processamento (ou conectores)
podem gravar em Múltiplos Data Stores
Amazon
Kinesis
Amazon
Kinesis
Connectors
Amazon
S3
Data Amazon
DynamoDB
Lambda Architecture
Análise
Real Time
Análise
Exploratória

40. Frameworks de processamento lendo múltiplos
Data Stores
Amazon
Kinesis
Amazon
Kinesis
Connectors
Amazon
S3
Data Amazon
DynamoDB
Hive Spark
Answers
Storm
Answers

41. Design Patterns

42. Spark
Streaming,
Apache
Storm
Amazon
Redshift Spark,
Impala,
Presto
Hive
Amazon
Redshift
Hive
Spark,
Presto
Amazon
Kinesis/
Kafka
Amazon
DynamoDB
Amazon S3Dados
Quente FrioTemperatura dos dados
Latênciadequery
Baixa
Alta
Respostas
HDFS
Hive
Native
Client
Temperatura dos dados X Latência da query

43. Spark
Streaming
Amazon Kinesis / KafkaDados
Apache Storm Native Client
Processamento Real-time
Amazon
DynamoDB
Native
Client
Respostas

44. Amazon
Redshift
Hive
Spark,
Presto
Amazon
Kinesis/
Kafka
Amazon S3Dados
Respostas
Processamento em Batch

45. Spark,
Impala,
Presto
Redshift
Spark,
Presto
Kinesis/
Kafka
S3Dados HDFS
Análises interativas
Respostas

46. AML

47. Sumário
• Estágios de processamento Big data: ingestão,
storage, processamento e visualização
• Usar as ferramentas corretas de acordo com o
trabalho a ser feito
– Ingestão: Dados transacionais, arquivos, stream
– Storage: nível de estruturação, padrões de query, quente X frio,
etc.
– Processamento: Latência de query
• Arquitetura de referência em Big Data e design
patterns

48. Big Data no Setor Financeiro
Henrique Souza
Especialista de Cloud e Big Data

49. Contexto e Desafio powered by
Cliente CI&T:
Consultoria Financeira
focada Asset Mngmt. e
Insurance.
Desenvolvendo um Produto
SaaS de Big Data para os
seus clientes finais.
Curto tempo para entrada
em produção. Construindo
uma infraestrutura do zero.

50. Solução powered by
Web Infrastructure
&
Security Layer
Report Rendering
(Tableau Server &
Custom Dashboards)
Storage and
Querying
"ETL" layer

51. AWS permitiu a
construção de um novo
Produto Digital para
BigData em
pouquíssimo tempo e
com excelentes
resultados.
Produto em produção com
excelentes feedbacks.
Resultados powered by
Tabelas com bilhões de registros
(aumentando todo mês).
Empresa foi recentemente
comprada por um outro grupo
financeiro (USD 4 bi market cap).

52. Obrigado !!!
Hélio Silva
Sr. Big Data Analytics Consultant
Professional Services
Henrique Souza
Especialista de Cloud e Big Data
henriques@ciand.com
@htssouza