O que aprendemos sobre Testes A/B em um ano de experimentação - João Cunha & Fernanda Monsó - Nubank

1. PRODUCT CAMP 2020
O que aprendemos
sobre Testes A/B em um
ano de experimentação
no Nubank
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Fernanda Monsó
Business Analyst
@nubank
João Cunha
Product Manager
@nubank
Happy Dance GIF By Kochstrasse™

2. Rode o experimento por,
pelo menos, 7 dias
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANKPRODUCT CAMP 2020

3. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANKPRODUCT CAMP 2020

4. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANKPRODUCT CAMP 2020

5. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

6. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

7. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
+12.5%
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

8. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
+12.5%
+0.8%
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

9. conversionrate
days
0 1 2 3 4 5 6
"Estamos com o teste no
ar e os resultados até o
momento são incríveis:
+10% em CR"
Comunicação para
stakeholders
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

10. conversionrate
days
0 1 2 3 4 5 6
"Estamos com o teste no
ar e os resultados até o
momento são incríveis:
+10% em CR"
"Finalizamos o
experimento e não há
diferença significativa
entre as duas variantes"
Comunicação para
stakeholders
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

11. Acompanhe os resultados
do seu teste diariamente
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

12. Variante Visitantes Conversões CR ∆ CR
0 129,532 12,912 9.97% -
1 129,478 13,548 10.46% +4.95%
Controle diário
do teste
Distribuição de
tráfego entre as
variantes
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

13. Variante Visitantes Conversões CR ∆ CR
0 129,532 12,912 9.97% -
1 129,478 13,548 10.46% +4.95%
Controle diário
do teste
Distribuição de
tráfego entre as
variantes
Acompanhamento
de CR's e diferença
entre elas
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

14. Variante Visitantes Conversões CR ∆ CR
0 129,532 12,912 9.97% -
1 129,478 10,816 8.35% -16.25%
Controle diário
do teste
Disparo de alarmes
e, eventualmente,
pausar o teste
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

15. Uma forma de análise que permite parar o experimento antes de atingir o sample size
mínimo, caso um vencedor claro seja identificado.
1. Escolha um sample size N (50% de N veem o controle, os outros 50% veem o teste)
2. Acompanhe o número de sucessos (conversões) do grupo de controle e chame de A.
3. Acompanhe o número de sucessos (conversões) do grupo de teste e chame de B
Se B-A atingir 2√N, pare o teste e declare B como vencedor
Se B+A atingir N, pare o teste e Declare que não há vencedor
Simple sequential
testing
https://www.evanmiller.org/sequential-ab-testing.html
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

16. Esforço tende a ser mais
importante que impacto
na priorização de
experimentos
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

17. Impacto
Esforço
1 2
3 4
Quick wins Big bets
Nice to have HALP!
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

18. Esforço
A
D
B
C
E
Impacto
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

19. Esforço
A
D
B
C
E
1 2
3 4
v
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
0 Quick Wins
Big Bets > Nice to Have
Impacto

20. Esforço
Impacto
80%
20%
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Com experimentação,
considerar:

21. Esforço
A
D
B
C
E
1 2
3 4
Impacto
v
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

22. ➔ Em experimentos, é muito mais fácil
de medir esforço que impacto
➔ Experimentos têm alto grau de
imprevisibilidade
➔ Facilita a construção de cadência
➔ Mais hipóteses testadas = mais
conhecimento
Razões para priorizar com base em esforço:
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

23. 1 2
3 4
Antes
1 3
2 4
Depois
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

24. Esforço
A
D
B
C
E
1 2
3 4
1 3
2 4
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Impacto

25. Impacto
Esforço
A DB C E
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

26. Reach × Impact × Confidence
Effort
= RICE SCORE
PRODUCT CAMP 2020 30.11.2020
➔ Impacto é difícil
➔ Confiança é sempre baixa
➔ Esforço logarítmico
O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

27. Procure engajar o time no
trabalho de CRO
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

28. bit.ly/cro-brainstorm
Planilha de brainstorm para CRO
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

29. Q1 Q2 Q3 Q4
CRO – Experimentation Lane
Bet 1 Bet 2
Roadmap 2021
Bet 4Bet 3
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

30. Experimentação nem
sempre remove a fricção,
mas a empurra para frente
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

31. Conversão
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Fluxo

32. CONVERSÃO
Ativação
CONVERSÃO
Aquisição CONVERSÃO
Retenção
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

33. CONVERSÃO
Ativação
CONVERSÃO
Aquisição CONVERSÃO
Retenção
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

34. Calculadoras online são
muitas vezes suficientes
para a análise de resultados
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

35. Google
Optimize
Acompanhamento
diário do teste
Análise dos
resultados
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

36. Google
Optimize
Acompanhamento
diário do teste
Análise dos
resultados
Análise de
"sessões" (e não
de usuários)
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

37. Calculadoras
online
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

38. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

39. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

40. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

41. Baseie seus experimentos
em hipóteses
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK

42. ➔ Teste o que acredita, e não tudo
➔ Sem hipótese é fácil fugir do foco do
experimento
➔ Se é óbvio, não é um experimento
(vício em experimentação)
➔ Tenha um documento de testes
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Baseie seus experimentos em
hipóteses

43. Hypothesis
What should be tested and why? Include images if it helps explain your point.
Evidence
Is there any evidence that this experiment could improve anything? Cite articles, studies, etc.
Placement
At which URLs/screens should this experiment run?
Target user segments
Any specific user segments that need to be targeted?
Methodology
How should it be tested?
Target metrics
Which metrics are expected to be moved by this experiment?
Sample size
How many people should this experiment impact?
Duration
For how long should this experiment be live? This may be coupled with the sample size.
Success criteria
What does success for this experiment look like?
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Potential risks
Restrictive metrics, cancellations, customer service, etc. Add a mitigation plan if relevant.
Results
What was the outcome of the experiment?
Learnings
What did you learn from this experiment?
Recommendation
Based on the experiment results, what is the suggested course of action?
bit.ly/cro-experiment-template

44. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Experimentos nunca falham;
ou você ganha ou você
aprende

45. PRODUCT CAMP 2020
Muchas
gracias!
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Fernanda Monsó João Cunha
Happy Dance GIF By Kochstrasse™
joao@joaocunha.net
IN joaocunha86
fernanda.monso@outlook.com
IN fernandamonso