What’s new in Amazon Aurora - ADB204 - São Paulo AWS Summit

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
O que há de novo no Amazon Aurora
A D B 2 0 4
Renato Da Paz
Business Development Manager
AWS
Bruno Paiuca
Site Reliability Engineer
MaxMilhas

Amazon Relational Database Service (Amazon RDS)
Escolha Valor Inovação

Amazon RDS
Escolha de bancos de dados open source e comerciais
Plataforma RDS
Ferramentas Open Source Ferramentas Commerciais
Monitoramento avançado
Manutenção de rotina
Escalabilidade com alguns cliques
Failover Automático
Backup e recuperação
Replicação para outra região
Isolamento e segurança
Conformidade com a indústria
Patching automatizado
Ferramenta nativa da nuvem

Amazon Aurora…
Banco de dados corporativo com preço de open source
Oferecido como um serviço gerenciado
Amazon Aurora
Velocidade e disponibilidade de bancos de dados comerciais de alto nível
Simplicidade e economia de bancos de dados open source
Compatibilidade com MySQL e PostgreSQL
Modelo de pagamento conforme o uso

Arquitetura escalável e distribuída
Sistema de armazenamento distribuído
estruturado em logs, criado para bancos
de dados
O volume de armazenamento é composto
de centenas de nós de armazenamento
distribuídos ao longo de três diferentes
zonas de disponibilidade (Availability
Zones)
Seis cópias de dados, duas cópias em cada
zona de disponibilidade para proteger
contra falhas em 1 ou mais Availability
Zones

Throughput de leitura e escrita
Aurora MySQL é 5x mais rápido que o MySQL
0
50,000
100,000
150,000
200,000
250,000
MySQL 5.6 MySQL 5.7 MySQL 8.0
Aurora 5.6 Aurora 5.7
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
800,000
MySQL 5.6 MySQL 5.7 MySQL 8.0
Aurora 5.6 Aurora 5.7
Throughput de escrita Throughput de leitura
Usando Sysbench com 250 tabelas e 200.000 linhas por tabela no tipo de instância R4.16XL

Desempenho de carga de ‘Bulk Load’
Aurora MySQL carrega dados 2.5x mais rápido que o MySQL
Carga de dados
Carga de dados
Construção de índice
Construção de índice
0 100 200 300 400 500 600 700 800
MySQL
Amazon
Aurora
Tempo de execução (seg.)
10 tabelas no Sysbench, com 10 milhões de linhas cada

Workload apenas de escrita no Sysbench com 250 tabelas e 200.000 linhas iniciais por tabela
0
500
1,000
1,500
2,000
2,500
0 100 200 300 400 500 600
Tempo a partir do início da execução (seg.)
Tempo de resposta de escrita (ms.) Amazon Aurora MySQL
Variação de desempenho conforme a carga
Aurora MySQL possui tempo de carga ~25x mais consistente que o MySQL

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
0
50
100
150
200
250
2015 2016 2017 2018
Throughput máximo de escrita – até
100%
0
100
200
300
400
500
600
700
800
2015 2016 2017 2018
Throughput máximo de leitura – até
42%
Lançada com R3.8xl
32 cores, 256 GB de memória
Agora suporta R4.16xl
R5.24xl em breve
Além de muitas otimizações de desempenho,
nós também estamos aprimorando a plataforma de HW
Melhoria de desempenho ao longo do tempo
Aurora MySQL – 2015–2018

Como conseguimos isso?
Faça menos trabalho
• Faça menos I/Os
• Minimiza pacotes de rede
• Cache de resultados anteriores
• Offload da ferramenta de bancos
de dados
Seja mais eficiente
• Processos assíncronos
• Reduz o caminho de latência
• Use estruturas de dados lock-free
• Operações em batch juntas
• Para bancos de dados, operações I/O são essenciais
• Para armazenamento conectado à rede, pacotes / segundo são essenciais
• Para processamento de alto throughput, trocas de contexto são essenciais

Perfil de I/O do Aurora
MySQL com Réplica Amazon Aurora
EBS mirrorEBS mirror
AZ 1 AZ 2
EBS
Amazon Elastic
Block Store (EBS)
Instância
Primária
Instância de
Réplica
1
2
3
4
5
Amazon
S3
Perfil de I/O do MySQL por 30 min de execução no SysBench
780.000 transações
7.388.000 I/Os por milhão de logs de transações (exclui mirroring, standby)
Média de 7,4 I/Os por transação
AZ 1 AZ 3
Instância
Primária
AZ 2
Instância
de Réplica
ASYNC 4/6 QUORUM
Escritas distribuídas
Instância
de Réplica
Amazon
S3
Perfil de I/O do Aurora por 30 min de execução no SysBench
27.378.000 transações – 35x mais
0,95 I/Os por transação (amplificação de 6x) – 7,7x menos
Binlog Dados Escrita duplaLog De arquivos

Parallel Query para o Aurora
O armazenamento do Aurora possui
milhares de CPUs
• Oportunidade de reduzir e paralelizar o
processamento de consultas
• Mover o processamento próximo aos dados reduz o
tráfego de rede e a latência
Porém, existem desafios significativos
• Dados não são particionados por intervalo –
requerem full scans
• Dados podem estar em trânsito
• Visualizações de leitura podem não permitir a
visualização dos dados mais recentes
• Nem todas as funções podem ser reduzidas
Nó do banco de dados
Nós de armazenamento
Reduzir
predicados
Resultados
agregados

Benchmark de sistemas de suporte a decisão
0x
20x
40x
60x
80x
100x
120x
Redução do tempo de resposta da consulta
 Pico de speedup ~120x
 >10x speedup: 8 de 22 consultas
“Conseguimos testar o recurso de consultas paralelas do Aurora e os ganhos de desempenho foram muito bons. Para
sermos específicos, conseguimos reduzir o tipo de instância de r3.8xlarge para r3.2xlarge. Para este caso de uso, as
consultas paralelas foram um sucesso para nós.”
Jyoti Shandil, Arquiteto de dados em nuvem
Resultados de desempenho

Armazenamento
replicado
• Seis cópias em três zonas de
disponibilidade
• Quórum de gravação de 4 de 6;
quórum de leitura de 3 de 6
• Replicação peer-to-peer
para reparos
• Volume distribuído em centenas
de nós de armazenamento
SQL
Transação
AZ 1 AZ 2 AZ 3
Caching
SQL
Transação
AZ 1 AZ 2 AZ 3
Caching

Recuperação instantânea de falhas
Banco de dados tradicional
Deve reaplicar registros desde o último
checkpoint
Normalmente, 5 minutos entre os checkpoints
Single-threaded no MySQL; requer um grande
número de acessos ao disco
Aurora
Repartições de armazenamento subjacentes
refazem registros sob demanda como parte
de uma leitura de disco
Paralelo, distribuído, assíncrono
Sem repetição para inicialização
Dados em Checkpoint Redo Log
Falha em T0 requer uma
reaplicação do SQL no
redo log desde o último
checkpoint
T0 T0
Falha em T0 irá resultar em redo logs sendo
aplicados a cada segmento sob demanda, em
paralelo, de forma assíncrona

Réplica de leitura e endpoint personalizado
Mestre
Réplica
de leitura
Volume de armazenamento distribuído compartilhado
Endpoint de leitura #1 Endpoint de leitura #2
Até 15 réplicas de leitura promovíveis em diversas zonas de disponibilidade
Replicação baseada em redo logs leva a um lag de réplica baixo – tipicamente < 10 ms
Endpoint de leitura personalizado com ordem de failover configurável
Réplica
de leitura
Réplica
de leitura

Disponibilidade contínua com multi-master
Mestre Mestre Mestre Mestre
Volume de armazenamento distribuído compartilhado
Aplicação #1 Applicação #2

Amazon Aurora Multi-Master: Escalabilidade e
disponibilidade
0
10000
20000
30000
40000
50000
60000
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
51
53
55
57
59
61
63
65
67
69
71
73
75
77
79
81
83
85
87
89
91
93
95
97
99
101
103
105
107
109
111
113
115
117
119
121
123
125
ThroughputAgregado
Tempo em minutos
Workload no Sysbench em 4 nós R4.XL
Adicionando um nó Adicionando um nó Nó falhando Nó se recuperando

Amazon Aurora Serverless
Inicia sob demanda, desliga quando
não está em uso
Escala para cima / para baixo
automaticamente
Sem impactos à aplicação enquanto
escala
Pague por segundo, mínimo de 1
minuto
POOL QUENTE
DE INSTÂNCIAS
APLICAÇÃO
ARMAZENAMENTO DO
BANCO DE DADOS
CAPACIDADE ESCALÁVEL DO BD
ROTEADORES DE REQUISIÇÃO

Escale para cima e para baixo conforme a carga
1
2
4
8
16
32
64
128
0
500
1000
1500
2000
2500
3000
1
12
23
34
45
56
67
78
89
100
111
122
133
144
155
166
177
188
199
210
221
232
243
254
265
276
287
298
309
320
331
342
353
364
375
386
397
408
419
430
441
452
463
474
485
496
507
518
529
540
551
562
573
584
595
606
617
628
639
650
661
672
683
694
705
716
727
TPS ACU

Casos de uso do Aurora Serverless
Aplicações pouco utilizadas
(por exemplo, blog de baixo volume)
Aplicações com carga variável - picos
de atividade que são difíceis de
prever (por exemplo, site de notícias)
Bancos de dados de desenvolvimento
ou testes que não são necessários
durante a noite ou fins de semana
Frotas consolidadas de aplicações
SaaS multi-tenant

API de dados do Amazon RDS para aplicações serverless
Milhões de
dispositivos
IoT/mobile
Frota de API de dados
API
End-point
Aurora
Serverless
Acesse por meio de interface web simples
• Endpoint público endereçável de qualquer lugar
• Nenhuma configuração de cliente exigida
• Nenhuma conexão persistente necessária
Ideal para aplicações serverless (AWS Lambda)
Ideal para applicações leves (IoT)

Replicação global: Lógica
Recuperação de desastres mais rápida e localidade melhorada dos dados
 Promova a réplica de leitura a
mestre para recuperação mais
rápida no evento de um
desastre
 Coloque os dados perto das
aplicações de seus clientes em
diferentes regiões
 Promova a um mestre para fácil
migração

Alto throughput: Até 150.000 escritas/seg – impacto mínimo no desempenho
Lag de réplica baixo: Lag de réplica entre países sob alta carga de trabalho < 1 seg
Recuperação rápida: < 1 min para aceitar workloads completos de leitura e escrita após falha de região
Replicação global: Física
MR R
REGIÃO 1
AZ 1 AZ 2 AZ 3
ARMAZENAMENTO COMPARTILHADO
R
REGIÃO 2
AZ 1 AZ 2 AZ 3
ARMAZENAMENTO COMPARTILHADO
FROTA DE
REPLICAÇÃO
FROTA DE
REPLICAÇÃO

Performance da replicação global
Replicação lógica vs. física
Replicação lógica Replicação física
0
100
200
300
400
500
600
0
50,000
100,000
150,000
200,000
250,000
segundos
QPS
QPS
Lag
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
5.00
0
50,000
100,000
150,000
200,000
250,000
segundos
QPS
QPS
Lag

Backtrack do banco de dados
t0 t1 t2
t0 t1
t2
t3 t4
t3
t4
Restaure para t1
Restaure para t3
Invisible Invisible
O backtrack traz o banco de dados para um ponto no tempo sem exigir restauração a partir de
backups
• Backtracking de uma operação DML or DDL não intencional
• O backtrack não é destrutivo. Você pode realizar várias vezes o backtrack para encontrar o ponto certo no tempo
• Também útil para QA (restaure seu BD entre execuções de teste)

Insights de performance
Painel mostrando a carga do banco de
dados
 Fácil – por ex., arraste e solte
 Poderoso – detalhe utilizando zoom-in
Identifica a fonte de gargalos
 Ordene por top SQL
 Divida por host, usuário, eventos de espera
Tempo ajustável
 Hora, dia, semana, mês
 Até 2 anos de dados; 7 dias grátis
vCPU Máx
Gargalo de CPU
SQL w/ high CPU

Consumidor
CloudWatch
Monitoramento de atividade do banco de dados
Busca: Procure por eventos específicos nos arquivos de logs
Métricas: Meça a atividade no seu cluster de banco de dados Aurora
• Monitore continuamente a atividade em seus clusters de banco de dados enviando esses logs de auditoria para o
Amazon CloudWatch Logs
• Exporte para o Amazon S3 para arquivamento a longo prazo; analise logs usando o Amazon Athena; visualize
logs com o Amazon QuickSight
Visualizações: Crie dashboards de atividades
Alarmes: Seja notificado ou realize ações
Amazon
Aurora
Amazon
CloudWatch
Consumidores
terceiros
Amazon
Kinesis

Gerenciamento de segurança
Criptografia para proteger dados em
repouso usando chaves gerenciadas pelo
cliente
• AES-256; acelerada por hardware
• Todos os blocos em disco e no Amazon S3 são
criptografados
• Gerenciamento de chaves via AWS KMS
Replicação criptografada entre regiões,
cópia de snapshot — SSL para proteger
dados em trânsito
Auditoria e logging avançados sem qualquer
impacto à performance
Monitoramento de atividade do banco de
dados
Ferramenta de
banco de dados
*NOVO*
Chave(s) mestre do cliente
Chave de dados 1
Nó de
armazenamento
Chave de dados 1 Chave de dados 1 Chave de dados 1
Nó de
armazenamento
Nó de
armazenamento
Nó de
armazenamento

Certificações da indústria
Aurora fornece a cada instância de
banco de dados proteção de firewall
de IP
Aurora oferece criptografia
transparente em repouso e proteção
SSL para dados em trânsito
Amazon VPC permite que você isole e
controle configurações de rede e
conecte de forma segura à sua
infraestrutura de TI
AWS Identity and Access Management
fornece controles de permissão a nível
de recurso
*Novo* *Novo* *Novo*

Adoção do Aurora pelos clientes
Serviço que cresce mais rápido na história da AWS
Aurora é utilizado por ¾ dos 100 maiores clientes da AWS

Quem está mudando para o Aurora e por que?
Clientes com banco de dados
open source
• Maior desempenho – até 5x
• Maior disponibilidade e durabilidade
• Reduz custos – até 60%
• Fácil migração; sem mudanças na
aplicação
Clientes com banco de dados
comerciais
• Um décimo do custo; sem licenças
• Integração com o ecossistema da nuvem
• Desempenho e disponibilidade
comparáveis
• Ferramentas e serviços de migração

Opções de migração para o Aurora
Banco de dados de origem De onde Opção recomendada
RDS
EC2, on premises
Amazon EC2, on premises,
Amazon RDS
Ingestão automatizada de
snapshots baseada em
console e captura via
replicação de binlog.
Ingestão de snapshots
binários por meio do
Amazon S3 e captura via
replicação de binlog.
Conversão de esquemas
utilizando o AWS SCT e
migração de dados via
AWS DMS.

O que há de novo no AWS DMS e AWS SCT?
Qualificação de Workload
Permite que clientes estimem e gerenciem os esforços necessários para migrar os workloads
do Oracle e do SQL Server para o Aurora
Manual de Migração
Instruções passo a passo sobre como migrar do Oracle e do SQL Server para o Aurora
Conversão de esquemas
Automação do Oracle e do SQL Server para o Aurora acima de 90%
Ponto inicial nativo
Clientes podem usar utilitários nativos da ferramenta para copiar dados, como o PG dump
and restore, e replicar as alterações usando o DMS

S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon RDS
Aurora Migration
Bruno Paiuca
Site Reliability Engineer
MaxMilhas

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
A MaxMilhas é uma plataforma de busca e compra de
passagens aéreas mais baratas. Aqui, as pessoas encontram as
melhores combinações de tarifas, com até 50% de desconto. E
isso é possível porque fazemos a emissão de passagens com as
milhas de quem quer vender.

Melhor agência de viagens online
do Reclame Aqui

+2 milhões de passagens
emitidas

Mais de 1,5 milhão de clientes
cadastrados

Líder no segmento de venda de
passagens aéreas emitidas com
milhas de terceiros

Inovação no setor de viagens do
Brasil

Um dos maiores cases de
bootstrapping do país

Crescimento de 3 dígitos por ano

Vencedora do Prêmio
Ecommerce Brasil 2018

5ª melhor empresa para se
trabalhar em MG, segundo o
GPTW

Ranking do LinkedIn Top
Startups

Finalista do Prêmio
ReclameAqui 2018

S U M M I TS U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Desafio

Entregar uma plataforma capaz de suportar alto
volume de acessos para eventos de grande porte
como BlackFriday e o Dia Mundial das Milhas
nosso dia 😍😍😍 6/Jan, vender e emitir passagens
com a maior eficiência e velocidade possível.

Pré Aurora

Pré Aurora
- Imaturos Quanto ao uso de cloud
- Já usuários de Amazon RDS MySQL
- Baixa visibilidade sobre performance de querys
- Necessidade de audioria de transações efetuadas no Schema
- Incidentes relacionados a performance de querys
- Incidentes relacionados a latência de replicação de dados entre os Nodes em diferentes
Availability Zones
- Standby Node sem utilização em produção

Motivações

Features and performance

Advanced auditing

Advanced auditing
Integrar as informações do LOG de Auditing em uma solução para Auditing Trail.

Performance insights

Performance insights
- Ganho de visibilidade embarcado, sobre uso da aplicações no schema
- Solução de apoio para processos de troubleshooting
- Ganho de eficiência operacional
- Suporta decisões de arquitetura sobra a evolução dos serviços acoplados no Cluster

High throughput capacity

High throughput capacity
- Motor para execução de queries SQL mais performática
- Não há replicação na camada de database
- Leitura preferêncialmente no Storage Pool mais próximo
- Hot Read Replicas
- Write Cluster Endpoint
- Read-Only Cluster Endpoint
- Read Replicas podem assumir Master, sem a necessidade de uma instância em Standby

Desenho Solução com Aurora

Volumetria

Números
- Pico >2k consultas/segundo
- ˜1.2M leituras IOPS/hora
- Latência entre Availability
Zones < 10 ms

Desenho Atual

ProxySQL
- Roteador de consultas usando
os endpoints de leitura e escrita
- Pool de conexões
- Reduz overhead com
autenticação
- Cache de Consulta
- Firewall para SQL

Amazon RDS
Aurora Auto Scale
- Flexibilidade adaptiva ao
Workload
- Baixo tempo de reação no
processo de adição de um node
- Controle de Custo

What is coming?

Multi Region and multi-master
Aurora Serverless for DevStack

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I TS U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
“Por favor, responda a pesquisa ao final
da sessão no app. Ao finalizar a
pesquisa, passe no Help Desk e retire
seu brinde!”

What’s new in Amazon Aurora - ADB204 - São Paulo AWS Summit

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a What’s new in Amazon Aurora - ADB204 - São Paulo AWS Summit

Similar a What’s new in Amazon Aurora - ADB204 - São Paulo AWS Summit (20)

Más de Amazon Web Services

Más de Amazon Web Services (20)

What’s new in Amazon Aurora - ADB204 - São Paulo AWS Summit