Abordagem Ágil para trabalhar com projetos de Analytics

1. AGILE DATA INSIGHTS
Decisões de Negócios Guiadas por Dados
A n d r e s s a S i v o l e l l a

2. AGILE DATA INSIGHTS
Decisões de Negócios Guiadas por Dados
A n d r e s s a S i v o l e l l a

3. 3

4. 4
+
$ 59 $ 125 $ 125

5. 5
+
$ 59 $ 125 $ 125
16%
84%
0%

6. 6
+
$ 59 $ 125 $ 125
16%
84%
0%
$ 59
+
$ 125
???

7. 7
+
$ 59 $ 125 $ 125
16%
84%
0%
$ 59
+
$ 125
64% 32%

8. 8
+
$ 59 $ 125 $ 125
A -B B
Escolha Relativa
(Decoy)

9. PSICOLOGIA COGNITIVA
9
Psicologia
Cognitiva
Comportamento Tomada de Decisão

10. 10
Mas, Andressa, o que
isso tem a ver com
Data Insights?

11. 11
Amazon Patents “Anticipatory” Shipping

12. 12
Entendi! Só que, pessoas
mudam de opinião
constantemente, né?
Como faz?

13. 13
Read D & Van Leeuwen - Harvard University
Frutas
ou
Chocolate?
Escolher
Hoje
Comer
Semana que vem

14. 14
Read D & Van Leeuwen - Harvard University
Frutas
ou
Chocolate?
Escolher
Hoje
Comer
Semana que vem
14
74%
26%

15. 15
Frutas
ou
Chocolate?
Escolher
e comer agora
70%
30%

16. 16
https://www.washingtonpost.com/news/storyline/wp/2014/12/04/people-around-you-control-your-mind-the-latest-evidence/
People around you control your mind

17. 17

18. 18

19. 19

20. 20
1,996
vôos
257,000
passageiros
65,000
transações

21. 21
Dados
Experimentos
Pequenos
30%
Data Insights

22. 22

23. 23
Data Insights

24. PROCESSO
24
Lots of ideasWORKSHOP
Business priority+
ideation
LIGHTWEIGHT
TESTING
Few best ideas
BEST
IDEAS
MADE
BETTER
DESIGN TEST
BUILD
REFINE
DAYS DAYS WEEKS
Ideação com base nas
prioridades do negócio
Muitas Ideias Melhores Ideias
Validação
de Hipóteses
Melhores Ideias
Aprimoradas
DIAS DIAS SEMANAS
CRIAR
REFINAR
TESTARPROJETAR

25. ABORDAGENS
25
Testar
$ investimento
inicial
Aprender
Investir
Operacionalizar
Insight
Acionável
Testar
$$$ investimento
inicial
Aprender
Investir
Operacionalizar
Insight
Acionável
ThoughtWorks Métodos TradicionaisVS

26. NÍVEIS DE MATURIDADE EM DATA
26
Valor
Complexidade
Paridade
Diferenciação
O que aconteceu?
Análise
Descritiva
Por que aconteceu?
Análise
Diagnóstica
O que vai acontecer?
Análise
Preditiva
O que fazer quando
acontecer?
Análise
Prescritiva

27. NÍVEIS DE MATURIDADE EM DATA
27
Valor
Complexidade
Paridade
Diferenciação
O que aconteceu?
Análise
Descritiva
Por que aconteceu?
Análise
Diagnóstica
O que vai acontecer?
Análise
Preditiva
O que fazer quando
acontecer?
Análise
Prescritiva
27
BI
Tradicional
Analytics
Avançado

28. CENÁRIO ATUAL
28
✴ Volume, Velocidade e Variedade Analytics Avançado

29. CENÁRIO ATUAL
29
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação

30. CENÁRIO ATUAL
30
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise

31. CENÁRIO ATUAL
31
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
✴ BI Tradicional não lida com desafios

32. CENÁRIO ATUAL
32
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
✴ BI Tradicional não lida com desafios
✴ Ferramentas proprietárias
• Dificuldade para integração contínua

33. É, NÃO É, FAZ, NÃO FAZ
33
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)

34. É, NÃO É, FAZ, NÃO FAZ
34
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais

35. É, NÃO É, FAZ, NÃO FAZ
35
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse

36. É, NÃO É, FAZ, NÃO FAZ
36
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards

37. É, NÃO É, FAZ, NÃO FAZ
37
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP

38. É, NÃO É, FAZ, NÃO FAZ
38
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas
proprietárias)
Ferramentas proprietárias (poucas
Open Source)

39. É, NÃO É, FAZ, NÃO FAZ
39
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas
proprietárias)
Ferramentas proprietárias (poucas
Open Source)
Suporta à ausência de dados Requer dados completos

40. É, NÃO É, FAZ, NÃO FAZ
40
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas
proprietárias)
Ferramentas proprietárias (poucas
Open Source)
Suporta à ausência de dados Requer dados completos
Dados (des)estruturados Dados estruturados

41. 41
E onde está o Agile
no termo
“Agile Data Insights"?

42. ESTA É A MARÍLIA…
42Gerente de Projetos

43. OUTUBRO DE 2015…
43

44. JANEIRO DE 2016
44

45. JULHO DE 2016
45

46. MARÍLIA E A ARQUITETURA ATUAL
46
Você está demitido!

47. NOVA ABORDAGEM
47
VS

48. NA PRÁTICA…
48
Por onde eu começo?

49. ALINHAMENTO VIA INCEPTION
49

50. ALINHAMENTO VIA INCEPTION
50
Riscos Valor de Negócio

51. FAZ PARTE DE DATA INSIGHTS…
51
ARQUITETURA E ENGENHARIA
DE DADOS
Definição de estruturas e
modelos de dados, escolha e
implementação das tecnologias
adequadas
VISUALIZAÇÃO DE DADOS
Design colaborativo,
prototipação, testes e avaliação
de feedbacks para visualização
efetiva dos dados
CIÊNCIA DE DADOS
Criação de modelos que
permitam dar o passo de uma
abordagem descritiva para uma
preditiva.

52. ARQUITETURA EMERGENTE
52
Sistemas operacionais se comunicam
uns com os outros através de serviços,
ignorando o lago de dados
Sistemas operacionais
alimentam o lado com
dados utilizando seus
próprios esquemas
Cientistas de dados
investigam o lago em
busca de insights em
potencial
Os "lakeshore marts”
são responsáveis pela
curadoria e
organização dos dados
para fins de análise

53. ESTRUTURA
53
Data Insights
(Ciência de Dados)
Estrutura
(Eng. de Dados)
Aplicação
(Visualização)

54. NA PRÁTICA…
54
Árvore de Decisão

55. NA PRÁTICA…
55
Árvore de Decisão
Regressão Linear

56. NA PRÁTICA…
56
Árvore de Decisão
Regressão Linear
Rede Neural

57. NA PRÁTICA…
57
Árvore de Decisão
Regressão Linear
Rede Neural
Modelo Ensemble

58. AGILE DATA INSIGHTS
58
Engenharia
De Dados
Aprendizado
Lean
Ferramentas e
técnicas para
melhor manipular
os dados de acordo
com os seus
objetivos
específicos, prazo e
arquitetura.
Meça o valor e
utilize os
resultados para
melhorar o
processo ou
mudar o curso em
uma direção mais
vantajosa.
CONHECIMENTO
ACIONÁVEL E
INSIGHT
Técnicas analíticas
avançadas para
solucionar
problemas
complexos.
Entrega
Ágil
Ciência
De Dados
Entregar valor de
negócio antecipada e
frequentemente.
Construa sua
plataforma ao longo
do tempo e não tudo
de uma vez só. Suas perguntas
=
Resultados rápidos
Insights
Acionáveis

59. 59
TECNOLOGIAS

60. 60
METODOLOGIAS

61. CANVAS
61

62. ESTÓRIAS DE USUÁRIOS
62
Como um <papel>
Eu quero <objetivo>
Para então <valor>

63. PAREAMENTO
63

64. TIMES AUTO-GERENCIÁVEIS
64

65. OUTRAS PRÁTICAS
65
✴ Stand-ups
✴ Showcases
✴ Atividades de Team Building
✴ Retrospectivas Semanais

66. RADAR TÉCNICO
66

67. @asivolella
asivolella@thoughtworks.com
Andressa Sivolella