Modelos e Sistemas para Processamento Distribuído
•
0 recomendaciones•528 vistas
Modelos e Sistemas para Computação Distribuída no Hadoop discute os desafios da computação distribuída e como diferentes modelos como MapReduce, BSP, Pregel e Spark abordam esses desafios. O documento também descreve sistemas como Hadoop, Giraph, Impala e Dremel que implementam esses modelos para processamento em batch, grafos e em tempo real.
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (10)
Similar a Modelos e Sistemas para Processamento Distribuído
Similar a Modelos e Sistemas para Processamento Distribuído (20)
Modelos e Sistemas para Processamento Distribuído
- 1. Modelos e Sistemas para Computação Distribuída no Hadoop Thiago Cardoso | @tncardoso | zahpee.com São Paulo, BRA
- 2. Desafios da Computação Distribuída Particionamento dos Dados Escalonamento da Execução Falhas de Hardware Comunicação entre Máquinas
- 3. A implementação do modelo ‘esconde’ estes desafios Lógica para processamento dos dados
- 4. Por que entender os modelos?
- 9. NodeManager HiveMetastore DataNode Secondary NameNode CatalogServer NameNode JobHistoryServer Impalad ResourceManager HiveServerStateStore
- 11. O modelo utilizado deve ser escolhido de acordo com o problema
- 12. MapReduce
- 13. MapReduce ● Publicado em 2004 pelo Google ● Usuário define duas funções: map e reduce (k1, v1) lista(k2, v2) (k2, lista(v2)) lista(v2) Map: Reduce:
- 16. MapReduce - Contando palavras palavra1 palavra2 palavra3 palavra1 palavra3 (“palavra1”, 1) (“palavra1”, 1) (“palavra2”, 1) (“palavra3”, 1) (“palavra3”, 1) (“palavra1”, 2) (“palavra2”, 1) (“palavra3”, 2) + + + Map Reduce
- 17. MapReduce Crunch
- 19. Jobs iterativos no MapReduce Leitura dos dados em disco
- 20. Jobs iterativos no MapReduce Leitura dos dados em disco Mapper emite valores intermediários Dados ordenados em disco
- 21. Jobs iterativos no MapReduce Leitura dos dados em disco Mapper emite valores intermediários Dados ordenados em disco Dados enviados para reducers
- 22. Jobs iterativos no MapReduce Leitura dos dados em disco Mapper emite valores intermediários Dados ordenados em disco Dados enviados para reducers Resultado escrito em disco
- 23. Jobs iterativos no MapReduce Leitura dos dados em disco Mapper emite valores intermediários Dados ordenados em disco Dados enviados para reducers Resultado escrito em disco Novo job é criado
- 24. Bulk Synchronous Parallel ● Publicado em 1990 por Leslie G. Valiant ● Algoritmo BSP -> Sequência de supersteps ● Cada superstep tem três fases
- 25. Bulk Synchronous Parallel P1 P2 P3 P4 P5 P6 Computação local Comunicação global Barreira de sincronização
- 26. BSP - Estimando PI Método de Monte Carlo para calcular PI Agregador de resultados parciais
- 27. Bulk Synchronous Parallel ● Apache Hama ● BSP compatível com o Hadoop YARN ● Módulo para processamento de grafos ● Módulo para Machine Learning
- 29. Pregel ● Publicado em 2010 pelo Google ● Inspirado no BSP com foco em Grafos ● Um processo para cada vértice ● Vértices e arestas ficam armazenados localmente
- 30. Pregel superstep 0A : 3 B : 6 C : 2 D : 1
- 31. Pregel superstep 0 superstep 1 A : 3 B : 6 C : 2 D : 1 A : 6 B : 6 D : 6C : 2
- 32. Pregel superstep 0 superstep 1 superstep 2 A : 3 B : 6 C : 2 D : 1 A : 6 A : 6 B : 6 B : 6 D : 6 D : 6 C : 2 C : 6
- 33. Pregel superstep 0 superstep 1 superstep 2 superstep 3 A : 3 B : 6 C : 2 D : 1 A : 6 A : 6 A : 6 B : 6 B : 6 B : 6 D : 6 D : 6 D : 6 C : 2 C : 6 C : 6
- 34. Pregel Apache Giraph Apache Hama
- 36. Dremel ● Publicado em 2010 pelo Google ● Engine para execução de consultas ● Dados armazenados em formato orientado a colunas ● Queries executadas de forma nativa (não utiliza MapReduce)
- 37. Dremel Camada de armazenamento (ex. GFS, HDFS) SELECT A, COUNT(B) FROM T GROUP BY A SELECT A, SUM(c) FROM (R1 UNION ALL ...Rn) GROUP BY A Ri = SELECT A, COUNT(B) AS c FROM Ti GROUP BY A servidor raíz servidores intermediários servidores folha
- 38. Dremel
- 39. Spark
- 40. Processamento em Batch Sistemas Especializados
- 41. Spark ● Desenvolvido inicialmente em Berkeley ● 80 operadores para escrita de software paralelo ● Resilient Distributed Datasets (RDDs)
- 42. Spark: Resilient Distributed Datasets ● Coleção de dados particionada somente-leitura ● Criados por operações determinísticas (transformações) em outro RDD ou arquivo ● Usuário define particionamento (otimizações de localidade) e armazenamento (RAM, disco)
- 43. Spark: Contando palavras file = spark.textFile("hdfs://...") file.flatMap(lambda line: line.split()) .map(lambda word: (word, 1)) .reduceByKey(lambda a, b: a+b)
- 44. Spark: Contando palavras A B C D flatMap map reduceByKey
- 45. Spark: Resilient Distributed Datasets
- 46. Spark: Resilient Distributed Datasets
- 47. Spark: Resilient Distributed Datasets
- 48. Spark ● Comunidade crescente ● Sub-projetos: ○ GraphX - Processamento de Grafos ○ Shark - Execução de SQL ○ Spark Streaming ○ MLlib - Machine Learning
- 49. TL;DR
- 50. Hadoop MapReduce Hama Giraph Impala/Drill Spark Modelo MapReduce BSP/Pregel Pregel Dremel RDD Algoritmos iterativos x x x Grafos x x x Tolerancia a falhas x x x - x Real-time x x
- 51. Thiago Cardoso | @tncardoso | zahpee.com São Paulo, BRA
- 52. Imagens ● Ungroup designed by Steve Swedler from the Noun Project ● Broken Machine by Anton Håkanson from The Noun Project ● Plug designed by Nick Abrams from the Noun Project ● Hour Glass designed by Benni from the Noun Project ● "Microsoft Bing Maps' datacenter" by Robert Scoble ● "DSCN9980" by mtneer_man ● Computer designed by Claudine Rodriguez from the Noun Project
- 53. Referências ● http://parquet.io/ ● A bridging model for parallel computation ● https://www.usenix.org/system/files/conference/nsdi12/nsdi12-final138.pdf ● http://research.google.com/archive/mapreduce.html ● http://dl.acm.org/citation.cfm?id=1807184 ● http://research.google.com/pubs/pub36632.html ● https://hama.apache.org/ ● http://hive.apache.org/ ● https://giraph.apache.org/ ● http://spark.apache.org/ ● http://pig.apache.org/ ● http://crunch.apache.org/