João Castellani | Gerente de Arquitetura Tecnologia @ TV Globo

1. Meetup
Big Data 2018

2. Estratégia de Dados
Comportamento
Comercial
Conteúdo
Monetização

3. Princípios
Cloud First
Serveless
Codificação Mínima
Open Source

4. Visualização
Data Studio PowerBi Tableau
Analytics Engines
BigQuery AWS Athena ElasticSearch
Data Streaming
AWS Kinesis Apache Spark Streaming
Data Lake Storage
HDFS Google Cloud Storage AWS S3
Inteligência e Aprendizado de Máquina
Spark ML AWS Stack Google Cloud AI
Processamento Batch
Spark
Preparação de Dados
Google DataPrep Apache Nifi
Blocos Estratégicos de Arquitetura

5. Macro Processos
aquisição
estocagem
Data Lake
limpeza
otimização
agregação
transformação consumo
Reservatório
Engenheiro de Dados
Cientista de Dados
Analista de Negócio
Curadoria
predição

6. Arquitetura Conceitual – Data Lake
Dados Brutos
Globo.com
Dados Preparados
Sandbox
Data Engineer
Data Scientist
Citzen Data Scientist
Business Analyst
DW Corporativo
Sandbox Sandbox
Fontes Externas

7. Fora do
Ponto

8. 7 Milhões
sinais
coletados
Fora do
Ponto
700 Mil
Sinais
Válidos

9. Fora do
Ponto

10. users API Gateway
Amazon Kinesis
Stream
Amazon Kinesis
Analytics
Amazon Kinesis
Stream
Amazon Lambda
Amazon SNS
Amazon S3
AWS QuickSight
AWS Athena
Batch Processing
Streaming Processing
Ingestion Processing and Analytics Visualization
RawData
Amazon S3
Prepared /Optimized Data
Raw Data
Elastic
Kibana

11. 11
Comportamento
Campanhas
Publicitárias
Engajamento

12. 12
150 MM
Eventos/dia
13 MM
Eventos
Votação/dia
+ 3 MM
Votantes
Únicos
+ 120 MM
Votantes
Únicos

13. Dados de navegação
Horizon
Ferramenta GA
+ GA API
Google Big Query
Globo.com
Google Analytics
Dados Brutos
Dados Brutos
Google Cloud
Storage
TVG
Réplica
Athena
TVG
Fluxo de dados
Consolidados
Google Big Query
TVG