QConSP 2014 SambaTech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala
•
6 recomendaciones•1,412 vistas
Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala. Para suportar um grande volume de requisições, a solução foi desenvolvida sobre uma infraestrutura elástica, com provisionamento automático de recursos. A utilização de uma nuvem híbrida permitiu a aplicação obter alto desempenho e disponibilidade.
Recomendados
Recomendados
Más contenido relacionado
Destacado
Destacado (16)
Similar a QConSP 2014 SambaTech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala
Similar a QConSP 2014 SambaTech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala (20)
QConSP 2014 SambaTech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala
- 2. Agenda • Intro • Migrando de relatório para uma solução de BI • Under the Hood • Operação e Lições aprendidas
- 9. No Início - Report Fornecerinformaçõesdeuso Estatísticasedadosgerais
- 10. • Número de Visualizações • Número de Visualizações Completas • Retenção por quartil • Tráfego • Número de Uploads, etc… No Início - Report
- 11. No Início - Report +Dados
- 12. ! • Problema: Custo Elevado • Apresentava bom desempenho • Problema: Instabilidade, interações entre aplicações • Aplicações com perfis muito diferentes convivendo num mesmo cluster. • Crescimento expressivo no volume de dados e requisições • Problema: crescimento acelerado da base, administração do banco. No Início - Então decidimos coletar mais dados - Java, Python e Mysql T1
- 15. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write down the problem. Murray Gell-Mann “ “http://drtomcrick.com/2011/04/26/feynman-problem-solving-algorithm/
- 16. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write down the problem. 2. Think very hard. Murray Gell-Mann “ “
- 17. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write down the problem. 2. Think very hard. 3. Write down the answer Murray Gell-Mann “ “
- 20. O problema - BI Dados Vivos Informação
- 21. O problema - BI Dados Vivos Informação
- 23. +Perguntasacadadia Ecrescendo…. Qual minha retenção média? Qual é o perfil da minha audiência? De onde é minha audiência? Qual o melhor horário para publicar um vídeo? Qual parte do meu vídeo recebeu mais seeks? Qual é a conversão? Quais dispositivos estão sendo usados? Vídeo mais assistido?
- 25. Manter foco na Inovação Flexível SLA Alto Escalável Pagar de acordo com o uso Baixo custo de administração de infra Objetivos
- 26. A visualização dos dados deve ser clara e objetiva. Objetivos Design agrega valor!
- 28. Analytics detalhes de consumo da media VI DEO
- 29. Em alta EM ALTA
- 31. Samba facts Dados de volume do analytics
- 32. Small Sharp Tools Filosofia Unix
- 33. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline - STTM SambatechTrackingModel COLETOR APIPROCESSADOR
- 34. STTM - Solução DynamoAmazon SQS S3 Data and Logs Glacier COLETOR API PROCESSADOR AGREGADOR SUMARIZADOR HTTPIN HTTPOUT EMR Data Processing
- 35. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline - STTM INFORMAR COLETOR
- 36. Coleta de dados - STTM GET sttm.gif http://sttm.sambatech.com.br/collector/ __sttm.gif? sttms=12de2304-74f2-80f0-8b8b-909ec4 c4f158&sttmu=123a232saa111kkkk3&stt mm=p07,r07,p08,r08,p09,r09,p10,r10&stt mw=pid:310/cat:5219/ mid:b1e9b34ce8f6d8e73d5793a8038796 7d&sttmk=ae810ebc7f0654c4fadc50935 adcf5ec&&sttmsg=org:www.mydomain.co m.br&sttmm=play COLETOR Response 35 Bytes
- 37. COLETOR - Objetivos • Rápido • Escalável • Simples • Confiável • Consistente • Flexível
- 38. COLETOR
- 41. COLETOR COLETOR HTTPIN Logger MsgBuilder Amazon SQS S3 Data and Logs Glacier
- 42. COLETOR Amazon SQS S3 Data and Logs Glacier COLETOR HTTPIN Logger MsgBuilder GIF
- 43. COLETOR
- 44. Comunicação Amazon SQS • Assincronia e Controle de fluxo • Sem perdas de mensagens • Log de mensagens não processadas. • Escalável sob demanda • Alto SLA • Gerenciado • Custo relativamente Baixo • Não suporta AMQP
- 45. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline INFORMARPROCESSARCOLETAR PROCESSADOR
- 48. Porque Dynamo • Baixa Latência • Alta performance • Gerenciado • Escalável • Alto SLA • Multi A/Z • Hot Keys Problem Dynamo
- 50. Agregador Amazon SQS AGREGADOR Builder MsgAgreg Auto scaling Group Instances APP Srv Agregation
- 51. Hot Keys Problem Dynamo AGREGADOR Builder MsgAgreg Registro Writes 0 27.5 55 82.5 110 Time 1 2 3 4 5 6 WriteCapacity
- 53. Hot Keys Problem Writes 0 27.5 55 82.5 110 Time 1 2 3 4 5 6 WriteCapacity Dynamo AGREGADOR Builder MsgAgreg SplitKeys
- 57. ! • Escalável • Controle de Custos • Managed • Hadoop como serviço • Map Reduce Engine • Bom gerenciamento de capacidade • Integração com S3 e Dynamo EMR Data Processing Porque EMR
- 61. 1. Run job 2. Find Bottoleneck 3. Optimize Sumarizador Dynamo EMR Data Processing Sumarizador 4x/diaNetwork
- 63. Sumarização hierárquica Cliente Projeto Projeto MediaCategoria Media Media • Modelos de Árvore • Child References Guarda a referência dos filhos Exemplo: Visualizações de todos os filhos do projeto (categorias): pid:2/*
- 64. •Não exige operação em sub-arvores •Eficiente para pais com múltiplos filhos
- 65. Conhecer bem o problema e os dados é essencial. Otimizações locais são eficientes!
- 66. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline INFORMARINFORMARCOLETAR API
- 68. Permanente Ciclo de vida dos dados ! Minuto, hora ,dias, meses Dynamo APIMYSQLCluster
- 70. RECAP DynamoAmazon SQS S3 Data and Logs Glacier COLETOR API PROCESSADOR AGREGADOR SUMARIZADOR HTTPIN HTTPOUT EMR Data Processing
- 71. Lições aprendidas As aplicações são focadas, pequenas e conectadas por uma fila ou datastore. O output de uma é input para a outra.
- 72. Manter foco na Inovação Flexível SLA Alto Escalável Pagar de acordo com o uso Baixo custo de administração de infra Objetivos
- 73. Lei de Little L=λW L = média de requisições no sistema λ = média de chegada de requisições W = Tempo para processar uma requisição (latência)
- 74. Custo 0 0.25 0.5 0.75 1 Latência (H) 0 1 3 6 12 24 100% 57% 46% 40% 38% 37% Latência vs Custo Custo estimado Por Requisição LatênciavsCusto
- 75. Custo 0 0.25 0.5 0.75 1 Latência(H) 0 1 3 6 12 24 100% 57% 46% 40% 38% 37% Latência vs Custo Custo estimado Por Requisição LatênciavsCusto
- 76. Como manter tudo UP? ComoMantertudonoar?
- 77. Como manter tudo UP and Running? Automatizartudo! Metric Driven + 2000
- 78. Como manter tudo UP and Running? Automatizartudo! Metric Driven Monitoramentos + 400 + 2000
- 79. Como manter tudo UP and Running? Automatizartudo! Metric Driven + 2000 Monitoramentos + 400 Notificações de falha
- 80. Monitoramento e alertas Métricas MonitoramentoeAlerta
- 82. FAILFAST Falheeserecupererapidamente! +Proativo-Reativo ! • Provisionamento automático de Infraestutura • Deploy e Configuração - CloudFormation / Ansible • FailOver -Erros
- 83. FAILFAST CryBabies Alarmes críticos alertam o time e escalam automaticamente.
- 84. • Soluções gerenciadas ajudam a manter o foco no problema, mas podem trazer limitações inesperadas. • Arquitetura flexíveis ajudam a responder rapidamente a limitações. ! ! ! COn clu são
- 85. Evoluções ! • Realtime • Elastic Search • Aumentar o uso do S3 para RAW Data • DW Solution.(RedShift) • +Análises