Novo termo para uma prática já consolidada? O que há de realmente diferente e inovador em big data? Os dados das mídias sociais podem ser minerados e cruzados com bancos de dados para enriquecer a informação das empresas. Velocidade, Volume e Variedade de dados já são abundantes nas mídias sociais: mas como gerar informação com Veracidade e Valor em tempos de automatização? Por Gustavo Arjones - Socialmetrix

1. Big Data: em busca da veracidade e valor
Social Analytics Summit
Gustavo Arjones
gustavo@socialmetrix.com | @arjones
23 Novembro 2013

2. Big Data: em busca da veracidade e valor
Gustavo Arjones
•
NERD
•
Data Lover, Curioso
•
Ciências da Computação
•
MBA em Marketing
•
CTO & Co-founder da Socialmetrix (2008)
•
Brasil, Argentina e México
Caixinha de sugestões: @arjones
@socialmetrix | @arjones

3. Big Data: em busca da veracidade e valor
Big Data é …
… como sexo na adolescência:
• Todo mundo fala sobre isso;
• Ninguém entende realmente como fazer;
• Todo mundo pensa que os demais estão fazendo;
• Então todos dizem que também estão fazendo!
http://smx.io/bigteen
@socialmetrix | @arjones

4. Big Data: em busca da veracidade e valor
Big Data em nosso contexto
Conjunto de técnicas e ferramentas para
capturar, filtrar, consolidar e visualizar informação
que permita a ação.
Big Data  ~(Analytics | BI | Data warehouse | OLAP)
@socialmetrix | @arjones

5. Big Data: em busca da veracidade e valor
Os 5 V’s de Big Data:
• Volume
• Veracidade
• Variedade
• Valor
• Velocidade
@socialmetrix | @arjones

6. Big Data: em busca da veracidade e valor
Volume
•
•
•
•
5Kb por atividade
100.000 usuarios
10 atividades por dia
30 dias
~ 150 Gb / mês ( ~ 1.8 Tb / ano )
Os sistemas tradicionais não acumulavam tanta
informação, e o volume só tende a crescer #IoT
http://smx.io/iot
@socialmetrix | @arjones

7. Big Data: em busca da veracidade e valor
Variedade
•
•
•
•
•
•
•
Quantitativos
Demograficos
Localização (celulares)
Atividades (behavior)
Conversas
Dispositivos (Waze)
etc ….
@socialmetrix | @arjones

8. Big Data: em busca da veracidade e valor
Velocidade
• Quando tudo é Rápido e Fugaz, quem define o que é
relevante?
Computadores e Algoritmos
@socialmetrix | @arjones

9. Big Data: em busca da veracidade e valor
Velocidade
TED: Kevin Slavin: How algorithms shape our world
@socialmetrix | @arjones
http://smx.io/teddata

10. Big Data: em busca da veracidade e valor
Veracidade
• Fonte de Informação (dataset)
– Sujo (dirty)  relações de alto-nivel
– Limpando com hipóteses e informação de contexto
– Vigencia  ex: localização pode ser fugaz
• Interpretação (análise)
– A história que contamos com essa informação
@socialmetrix | @arjones

11. Big Data: em busca da veracidade e valor
Veracidade  Fontes de Informação
• Falsos Reviews & Bombardeio de comentários
– Percepção é realidade!
– Nossos clientes podem diferenciar?
O impacto em nossa marca será
negativo, portanto tem que ser analizado como
verdadeiros.
@socialmetrix | @arjones

12. Big Data: em busca da veracidade e valor
Veracidade  Correlação e Causalidade
• Pessoas que comem nozes e castanhas vivem mais e
são mais magras http://smx.io/nozes
– Fatores Socio-economicos
– Acesso a Esportes e Lazer
• A causa do aquecimento global é a diminuição da
população de piratas!
@socialmetrix | @arjones

13. Big Data: em busca da veracidade e valor
Dois eventos podem acontecer no mesmo
período e não serem causa um do outro

14. Big Data: em busca da veracidade e valor
Veracidade  Zoom (Big picture vs. Detalhe)
• É imperativo aproveitar o potencial de sumarização
• Entender o todo e se enfocar no que é importante, chama
a atenção
@socialmetrix | @arjones

15. Big Data: em busca da veracidade e valor
Veracidade  Zoom (Big picture vs. Detalhe)
@socialmetrix | @arjones
http://smx.io/folha

17. Big Data: em busca da veracidade e valor

18. Big Data: em busca da veracidade e valor

19. Big Data: em busca da veracidade e valor
Veracidade  Margens de Erro
• Aproximações são aceitáveis e bem-vindas!
GA: "A amostragem (sampling) é muito utilizada … a análise de um
subconjunto de dados fornece resultados semelhantes … [e] …
acelera o processamento dos relatórios” http://smx.io/gas
• Facebook faz isso o tempo todo
Custo de manter os contadores atualizados é muito grande devido a
intensa atividade, se aproximam os números e se calcula o valor
exato quando (e se) realmente necessário
@socialmetrix | @arjones

20. Big Data: em busca da veracidade e valor
Veracidade  Margens de Erro
• Porque se usa com tanta frequencia?
– Porque vale a pena!
Com 3% de erro, reduzo o consumo de memória
em 20.000+ vezes
@socialmetrix | @arjones

21. Big Data: em busca da veracidade e valor
Valor
• Influenciadores (Followers, Klout, etc)
• Análise de sentimento, temáticas e extração
automática de tópicos
• Secret cases
@socialmetrix | @arjones

22. Big Data: em busca da veracidade e valor
Valor  Análise de sentimento
• Depende de contexto externo (cultura)
• Trade-off velocidade vs precisão
Análise
Resposta
Precisão
Custos
Automático
< 1 seg
~ 68%
$
Manual
~ 4 horas
95%
$$$
Melhores resultados: Usar ambos métodos!
@socialmetrix | @arjones

23. Big Data: em busca da veracidade e valor
Valor  Temáticas
• Tracking continuado de temáticas importantes permite
entender tendências e realizar rápida ação
@socialmetrix | @arjones

24. Big Data: em busca da veracidade e valor
Valor  Temáticas
@socialmetrix | @arjones

25. Big Data: em busca da veracidade e valor
Valor  Extração Automática de Tópicos
• Veloz (< 2 segundos)
• Menor dependência de contextos externos, maior
precisão
• Ajudam a entender como a conversa está
variando, podem mostrar assuntos que não estavam no
radar.
@socialmetrix | @arjones

26. Big Data: em busca da veracidade e valor
Valor  Extração Automática de Tópicos
@socialmetrix | @arjones

27. Valor  Extração Automática de Tópicos

28. Big Data: em busca da veracidade e valor
Valor  Secret Cases (sorry!)
Valor está em encontrar como métricas de negócio
são afetadas pela atividade social/online.
• Montadora = nossos dados + Emplacamento
• Operadora Celular = nossos dados + WebAnalytics+
Compras de Plano
@socialmetrix | @arjones

29. Big Data: em busca da veracidade e valor
Oportunidade
@socialmetrix | @arjones

30. Big Data: em busca da veracidade e valor
Oportunidade
• Integração / Convergência
• Reduzir a Obsessão por likes, followers
• Algumas questões NÃO serão resolvidas e afetam valor
percebido. Ex: “Fila no Banco”
• Predictive Analytics ?
@socialmetrix | @arjones

31. Big Data: em busca da veracidade e valor
Desafio
• Silo de dados
Tenho acesso aos dados que preciso?
–
–
–
–
–
Vendas
Anuncios
Promoções
Compras
Custos
@socialmetrix | @arjones

32. Big Data: em busca da veracidade e valor
Futurologia ...
• Grafos Sociais
• Sistemas de Recomendação
• Influenciadores
“Mapear as relações”
@socialmetrix | @arjones

33. Muito Obrigado!
Gustavo Arjones | @arjones
CTO & Co-Founder
facebook.com/socialmetrix
www.socialmetrix.com