O documento fornece um guia sobre como realizar testes A/B de forma efetiva para maximizar os resultados. Ele discute o que são testes A/B, como funcionam, como formular hipóteses, métricas a serem observadas e lições aprendidas com casos reais de uma empresa. O autor fornece dicas valiosas sobre a importância de usar dados para tomar decisões e não apenas opiniões, além de documentar os testes para permitir aprendizados futuros.
2. MARCELL ALMEIDA
Mini Currículo:
Graduado em Ciência da Computação e Product Manager
com foco em startups de rápido crescimento. Já fundou sua
própria startup fintech e agora lidera o Product Lab da
Catho/Seek, um laboratório de inovação.
Life Achievements:
● Vendeu um site quando tinha 14 anos
● Gosta de fazer Kitesurfing
● Já perdeu um carro na bolsa de valores em 2013
https://br.linkedin.com/in/almeidamarcell
Empresas por onde passei:
Outros projetos:
9. Muitas empresas passam anos tentando empurrar goela
abaixo o que eles pensam ser um produto que todo mundo
quer. Mas na verdade eles deviam se perguntar por que
alguém precisa desse produto.
Entã
O que é
Test?
10. ● Um método científico adaptado do marketing
● Comparar duas ou mais versões para tirar conclusões
● Permite usar dados e estatística para determinar qual
versão é melhor
A/B tests são bons para
17. 1. Speedindex (quando o primeiro
scroll está visualmente completo)
2. Time to interactive (indica quando
o usuário consegue interagir com o
site)
9.5s
12.5s
14s
7s
5.5s
4s
5s
10s
6s
2.5s
Mudança de ferramenta no VivaReal
22.
Geral
Taxa de
Conversão
CTR da busca
para o anúncio
Controle-1 (C1) 1.23 51.96
Controle-1 (C2) 1.22 51.59
C1 Vs. C2 -0.75% -0.71%
Pouca diferença
Faça testes A/A
23. Sempre olhe as segmentações!
Efeitos contrários
podem se anular e
mascarar o
resultado final
24. 1. Defina o problema
2. Defina cenários
3. Defina as métricas que você quer impactar
4. Faça rascunhos com o time de UX
5. Design
6. Desenvolvimento
Como preparar um bom teste A/B?
25. Dados qualitativos dão uma ideia
do que deveria ser testado
Quantitativos
Dados quantitativos falam para
você onde testar
Qualitativos
Use dados quantitativos e qualitativos
26. Dados qualitativos dão uma ideia
do que deveria ser testado
Quantitativos
Dados quantitativos falam para
você onde testar
Qualitativos
1. Testes com usuário
2. Mapa de calor
3. Hotjar
4. Comentários nas lojas de app
5. Feedbacks recebidos pelo
suporte ou time de vendas
1. Tráfego web
2. Email marketing
3. Tickets (chamados)
abertos
Use dados quantitativos e qualitativos
28. ● O elemento que vai ser
modificado
● Isole uma variável para o
A/B test
● Pense no Call to action,
visual ou formulário
"Se [variável], então [resultado], porque [racional]."
Formule uma hipótese
29. ● Preveja o resultado
● Use dados para determinar
o efeito dele
● Mais e-mails? Mais
signups? Mais CTA? Mais
conversão?
"Se [variável], então [resultado], porque [racional]."
Formule uma hipótese
30. ● Demonstre o quanto você
conhece os seus usuários
● O que vai estar provado
ser incorreto caso o
experimento seja igual ou
inferior ao atual?
"Se [variável], então [resultado], porque [racional]."
Formule uma hipótese
31. "Se as imagens chamarem mais atenção, então a
taxa de clique vai aumentar, porque sabemos que
as imagens são um dos fatores mais importantes
para quem busca um imóvel."
Formule uma hipótese
32. Hipótese forte
Se o funil de compra tiver menos
páginas, vamos aumentar a
conversão de compra da loja
Se a navegação for removida das
páginas de checkout, a taxa de
conversão em cada passo vai
aumentar porque o analytics do site
mostra que uma porção desses
usuários está deixando a página
antes de clicar no link dessas
páginas
Hipótese fraca
Hipóteses não devem ser genéricas
33. 1. Maior transparência na empresa
2. O aprendizado fica disponível para todos na empresa
3. Facilita olhar o histórico e pensar em hipóteses baseado no aprendizado
Documente os testes
34. Visão
Qualitativa
Métrica Objetivo
● Conversão / Sessão
Métricas Restritivas
● Taxa de Saída
● Taxa de Retorno
Métricas Explicativas
● CTR da Busca
● Scroll no Listing
● Tempo Médio de Sessão
Defina valores aceitáveis
para estas métricas antes do
teste!
+
Desenho do teste e métricas secundárias
38. ● Rode o teste por pelo menos 2 semanas
● Tenha um backlog de hipóteses
● Desenvolva novos testes enquanto outros estão rodando
● Não deixe de olhar as segmentações! Efeitos contrários podem se anular e
mascarar o resultado final
● Para ter 100% de certeza o teste precisa ter dado significância estatística
Regras básicas
44. A receita total aumentou em um
24,7% e a Receita Por Visita
(RPV) em 17,1%.
Vencedor!
Para refletir...
45. 1) Caixas de código promocional estavam fazendo com que os clientes saíssem do site na
hora de confirmar o pedido! Quando o usuário vê a opção de "Vale Presente" ou
"Cupom de desconto" antes da página de pagamento é como se você tivesse pedindo
para ele procurar algo que fosse dar um desconto. E isso faz com o que ele vá, de fato,
buscar.
Para refletir...
46. Por que deu certo?
"Sempre que você deixar a porta aberta para que um usuário
deixe o funil de conversão - mesmo que pareça que eles
voltariam - você corre o risco de perder vendas".
Para refletir...
48. Forneça os códigos de desconto disponíveis aos visitantes antecipadamente (nas páginas do próprio
produto) pode ser uma alternativa para o problema. É assim que a Myntra, uma loja de comércio eletrônico
de moda indiana, faz isso com estilo:
Para refletir...
53. A B
Case 1: Aumentar a taxa de conversão no mobile
54. "De acordo com a
pesquisa, os usuários
resistem ao contato com
o anunciante,
especialmente por e-mail,
porque temem que o
agente nunca atenda.
Talvez ao expor
diferentes o telefone no
mobile site possamos
aumentar a taxa de
conversão"
- Taxa de conversão de
leads total
- Taxa de conversão de
leads de telefone
- Taxa de conversão de
leads por e-mail
Hipótese Métrica principal Métricas secundárias
Case 1: Aumentar a taxa de conversão no mobile
55. A B
Vencedor!
17% + leads
Confiança: Alta
Range: 10%-24%
Case 1: Aumentar a taxa de conversão no mobile
57. Hipótese Métrica principal Métricas secundárias
"Os usuários resistem ao
contato com o
anunciante,
especialmente por e-mail,
porque temem que o
agente nunca atenda.
Colocando que o
anunciante está ou esteve
online a pouco tempo
pode aumentar a
confiança e, por
consequência, aumentar
a conversão
- Taxa de conversão de
leads total
- Taxa de conversão de
leads de telefone
- Taxa de conversão de
leads por e-mail
Case 2: Aumentar a taxa de conversão no desktop
e mobile
58. A B
Case 2: Aumentar a taxa de conversão no desktop
e mobile
59. A B
Vencedor!
4.6% + leads
Confiança: Alta
Range: 1.4%-7.7%
Case 2: Aumentar a taxa de conversão no desktop
e mobile
61. A B
Case 3: Aumentar a taxa de conversão no desktop
e mobile
62. A B
Hipótese Métrica principal Métricas secundárias
"Os usuários resistem ao
contato com o
anunciante,
especialmente por e-mail,
porque temem que o
agente nunca atenda.
Colocando que o
anunciante é qualificado
pode aumentar a
confiança e, por
consequência, aumentar
a conversão
- Taxa de conversão de
leads total
- Taxa de conversão de
leads de telefone
- Taxa de conversão de
leads por e-mail
Case 3: Aumentar a taxa de conversão no desktop
e mobile
63. A B
Case 3: Aumentar a taxa de conversão no desktop
e mobile
64. A B
Possível vencedor!
2.3% + leads
Confiança: Média
Range: - 0.79% a 5.4%
Case 3: Aumentar a taxa de conversão no desktop
e mobile
66. "Se os usuários filtrarem
mais, então a taxa de
conversão vai aumentar,
porque usuários que
filtram mais convertem
mais já que ele encontra
com mais facilidade o
imóvel relevante para
ele."
- Taxa de conversão de
leads
- CTR Busca > Imóvel
- Uso dos filtros
- Paginação
Hipótese Métrica principal Métricas secundárias
Case 4: Destaque para os filtros mais importantes
71. "Se as imagens
chamarem mais atenção,
então a taxa de clique vai
aumentar, porque
sabemos que as imagens
são um dos fatores mais
importantes para quem
busca um imóvel."
- Taxa de conversão de
leads
- CTR Busca > Imóvel
- Bounce Rate
Hipótese Métrica principal Métricas secundárias
Case 5: Mudança nos cards da RP