Descargar como PDF, PPTX
Subido porSocialmetrix
¿Por que cambiar de Apache Hadoop a Apache Spark?
Este documento compara Hadoop y Spark, argumentando que Spark es una mejor opción debido a su capacidad de procesamiento de datos in-memory, su interfaz más expresiva y su naturaleza de plataforma unificada que permite procesamiento por lotes y en tiempo real con un solo código. El documento también discute algunos desafíos de Spark como trabajos largos y problemas de serialización.
Más contenido relacionado
Similar a ¿Por que cambiar de Apache Hadoop a Apache Spark?
¿Por que cambiar de Apache Hadoop a Apache Spark?
- 1. ¿Por qué cambiarde Hadoop a Spark? Teoria y ejemplos de nuestra experiencia Gustavo Arjones gustavo@socialmetrix.com @arjones
- 2. Co-founder & CTO Lic.Ciencias Computación MBA Marketing Servicios @arjones gustavo@socialmetrix.com linkedIn.com/in/arjones Brasileño, en ARG desde 2008 Gustavo Arjones
- 5.
- 6. Razones para elección • Reducir las incertimdubres del proyecto • HiveQL à SQL menor ramp-up • Hadoop/Hive tenía soporte en AWS • Proof of Concept funcionó correctamente • Pruebas con DynamoDB demonstraron ser muy costosas
- 7.
- 8. HQL complejas son para escribir una vez y nunca más entenderlas!
- 10. Hive es difícilde testear • Frameworks de tests para Hive no están maduros y son dificiles de implementar. • Gastamos mucho tiempo y recursos escribiendo validadores de procesos y métricas
- 11. No están lasúltimas versiones de Hive en AWS • Se había lanzado Hive 0.13 hacias 4+ meses y nosotros todavía teníamos Hive 0.12 en AWS • Perdíamos la dinámica de un proyecto con muchas features nuevas y mejoras de performance
- 12. MySQL retrasaba losjobs • Cuando los MapReduce jobs terminanban y había que enviar los datos a MySQL, estaba tomando 2x más tiempo que el MR de cálculo. • Problemas típicos de MySQL, pérdida de performance en grande volúmenes de datos • Limite de escalabilidad
- 13. Y como resultado… • Bugs aumentando • Tiempo de proyecto dilatandose • Baja reutilización de codigo • Problemas que atraparías en COMPILE-TIME terminan en RUNTIME – porque es SQL!
- 14.
- 15. Seguimos por elmismo camino? • Probar Pig • Probar Cascading (o Scalding) • Probar Hbase Pero seguíamos preocupados con el tiempo de ejecución!
- 16. ¿Probamos el framework que lagente viene hablando?
- 17. Qué es Spark? ApacheSpark™ is a fast and general engine for large-scale data processing. • Procesamiento In-memory (preferencialmente) • Framework de Procesamiento Unificado • Para Ingenieros & Data Scientists
- 18. Principales Pilares Task Scheduler • Prepara los jobs a traves de DAG (Directed acyclic graph) • Enganchan funciones para ejecutar los stages • Cache-aware; considera data utilización & localización (data locality) • Partitioning-aware para reducir shuffles por la red RDD (Resilient Distributed Datasets) • Estructura de datos Immutable (In-memory) • Tolerante a fallas (Se reama en caso de falla) • Estructura de datos que puede ser operada en paralelo • Rica interfaz de Transformations & Actions
- 19. DEMO – WordCount (el hello world de BigData)
- 20.
- 21. Viene de buen“origen” BDAS, the Berkeley Data Analytics Stack (AMPLAB)
- 22.
- 23. Plataforma Unificada (linesof code) 0 20000 40000 60000 80000 100000 120000 140000 Hadoop MapReduce Storm (Streaming) Impala (SQL) Giraph (Graph) Spark non-test, non-example source lines (2014 numbers) GraphX Streaming SparkSQL
- 24. Proyecto muy activo(y ganando tracción) ’13-’14
- 25.
- 27.
- 28. Y más … • Esfuerzo para estandarización de la plataforma • Certificación para Distros & Apps gratis • Material de training gratis • Databricks levantó $47M • Databricks Cloud (?)
- 29. Ventajas de laPlataforma Unificada • No es necesario copiar datos/ETL entre sistemas • Varios procesamientos en el mismo código (claridad) • Reutilización de código (Batch & Realtime) • Un único sistema para aprender ß Happy Devs • Ops: Un único sistema para mantener ß Happy Ops Big Deal para Arquitectura Lambda
- 30. Compacto y poderoso • Escrito en Scala, con wrappers para Python, Java* y R
- 31. API muy expresiva Ver:https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.rdd.RDD + SQL + Data Frames
- 32. • Aprender, prototipadorápido • Análisis interactivo sobre los datos Consola interactiva (REPL)
- 33. Version Web deSpark-Shell – similar a Python Notebooks
- 34.
- 35.
- 36.
- 37. Código Testeable! • Elcontexto puede crear RDD
- 38. Easy Deployment • Local-mode(development) • Standalone (bare metal) • Standalone + Amazon AWS • Mesos • Yarn
- 39. Components for distributedexecution in Spark
- 40. Y Hadoop? Spark OrHadoop -- Which Is The Best Big Data Framework? http://www.forbes.com/sites/bernardmarr/ 2015/06/22/spark-or-hadoop-which-is-the-best- big-data-framework/
- 41. Modelo Map-Reduce iter. 1iter. 2 . . . Input HDFS read HDFS write HDFS read HDFS write Input query 1 query 2 query 3 result 1 result 2 result 3 . . . HDFS read Lento porque necesita replicación, serialización y I/O
- 42. iter. 1 iter.2 . . . Input Distributed memory Input query 1 query 2 query 3 . . . one-time processing 10-100× más rápido Spark (in-memory + DAG execution engine)
- 43. Spark y Hadooppueden ser amigos • No hay HDFS en Spark – ver Tachyon • Acceso HDFS / S3 • YARN • Usando Input/Output formats de Hadoop
- 44.
- 45. Entonces todo es perfecto?Nop … • Long Jobs • Serialization Issues • OOM • Data Locallity http://blog.cloudera.com/blog/2015/05/ working-with-apache-spark-or-how-i- learned-to-stop-worrying-and-love-the- shuffle/
- 46.
- 47. Mucha documentación disponible OfficialDocumentation https://spark.apache.org/ Spark Summit 2015 - Slides and Video https://spark-summit.org/2015/ Blog Official Databricks https://databricks.com/blog Personal notes about Apache Spark http://arjon.es/tag/spark/
- 48. No te gustó Spark? ApacheFlink http://flink.apache.org
- 49. Gracias & Obrigado! GustavoArjones gustavo@socialmetrix.com @arjones