Descargado 43 veces
Subido porFrancisco Javier Pulido Piñero
OpenAnalytics Madrid 2014: Spark
Este documento presenta Spark, un motor de procesamiento de datos en memoria. Explica que Spark mejora el paradigma MapReduce de Hadoop al usar Resilient Distributed Datasets (RDDs) que permiten operaciones iterativas. También describe características como análisis interactivo de datos, soporte para tiempo real, y una gran comunidad de usuarios. Finalmente concluye que Spark es más rápido que Hadoop para ciertos casos y que vale la pena probarlo si se usa Hadoop.
Más contenido relacionado
Similar a OpenAnalytics Madrid 2014: Spark
OpenAnalytics Madrid 2014: Spark
- 1. Lightning-fast cluster computing @javituiter www.franciscojavierpulido.comwww.exploradata.com
- 2.
- 3. Sobre mí Graduado en Ingenieradel Software
- 4. Sobre mí Graduado en Ingenieradel Software Master en Sistemas en Ingeniería de la Información
- 5. Sobre mí Graduado en Ingenieradel Software Especialista en Tecnologías Big Data Master en Sistemas en Ingeniería de la Información
- 6. Sobre mí Graduado en Ingenieradel Software Master en Sistemas en Ingeniería de la Información Especialista en Tecnologías Big Data Bloguero & Tuitero @javituiter www.franciscojavierpulido.com
- 7. Sobre mí Miembro delequipo www.ExploraData.com
- 8.
- 9. ¿Big Data =Hadoop?
- 10.
- 11.
- 12. Primer Problema: LaPersistencia
- 13. Segundo Problema: MapReduce <k1,v1> -> map -> <k2, v2> <k2, v2> -> combine -> <k2, v2> <k2, v2> -> reduce -> <k3, v3>
- 14. Tercer Problema: Cálculositerativos MAP COMBINE REDUCE
- 15. Spark · Es unmotor para el procesamiento en memoria de grandes volúmenes de datos. · Se facilita el paradigma MapReduce (reduciendo costes y tiempos de ejecución) a gracias a los RDDs. · Tiene API´s para Scala, Java & Python.
- 16.
- 17. ¿Qué es unRDD? · Colecciones lógicas, inmutables y particionadas de los registros a lo largo del clúster. Datos Paper RDD 2011. Matei Zaharia…
- 18. Beneficios · La consistenciase vuelve más sencilla gracias a la inmutabilidad. · Tolerante a fallos: a través del “Lineage” los RDDs se pueden reconstruir si alguna partición se pierde. · A pesar de que Batch Processing es un modelo restringido a una serie de casos de uso por defecto, gracias a los RDDs se puede utilizar en multitud de aplicaciones. · Es bueno para algoritmos iterativos. · Más rápido que Hadoop.
- 19. Operaciones sobre RDDs TransformationsActions Map Filter Sample Union groupByKey reduceByKey Join Cache … Reduce Collect Count Save lookupKey …
- 20.
- 21. Análisis Interactivo delos Datos · Exploración de datos mediante una Shell interactiva en Scala.
- 22.
- 23. Gran apoyo dela comunidad
- 24.
- 25.
- 26. Además… · Spark esagnóstico. · Si las operaciones no caben en memoria, pagina a disco. · Aplicaciones aisladas: cada aplicación tiene su propio Executor.
- 27.
- 28.
- 29.
- 30. Ejemplo 1: Paralelizaruna colección
- 31. Ejemplo 1: Paralelizaruna colección
- 32. Ejemplo 1: Paralelizaruna colección Creamos la colleción
- 33. Ejemplo 1: Paralelizaruna colección Action
- 34. Ejemplo 2: UtilizarDatasets
- 35. Ejemplo 2: UtilizarDatasets Cargar archivo en variable
- 36. Ejemplo 2: UtilizarDatasets Action
- 37. Ejemplo 3: UtilizarDatasets de HDFS
- 38. Ejemplo 3: UtilizarDatasets de HDFS Cargar archivo de HDFS en variable
- 39. Ejemplo 3: UtilizarDatasets de HDFS Action
- 40. Ejemplo 4: MapReduceWordcount
- 41. Ejemplo 4: MapReduceWordcount Leemos de HDFS
- 42. Ejemplo 4: MapReduceWordcount “MapReducimos” el texto
- 43. Ejemplo 4: MapReduceWordcount Guardamos en HDFS
- 44.
- 45.
- 46.
- 47.
- 48.
- 49. Lanzar una Querydesde un Script https://amplab.cs.berkeley.edu/benchma rk/
- 50. Lanzar una Querydesde un Script https://amplab.cs.berkeley.edu/benchma rk/
- 51.
- 52. Migrando de Hadoopa Spark https://blogs.apache.org/foundation/entry /…
- 53. Ya lo tienenen producción https://blogs.apache.org/foundation/entry /…
- 54.
- 55. Conclusiones · Spark estáahí fuera. · Extremadamente sencillo de instalar para jugar con el >> Para pasar a producción hacen falta especialistas. · Spark es más rápido para ciertos casos de uso. · Si utilizas Hadoop, prueba Spark. · Es sencillo mezclar Batch Processing con Real Time. · Se puede utilizar Scala, Java & Python.
- 56.
Notas del editor
- #3 Motivación. Cada vez que escuchamos hablar de Big Data, la mayoría de las empresas y de las personas pensamos en Hadoop.
- #4 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #5 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #6 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #7 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #8 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #9 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #10 Motivación. Cada vez que escuchamos hablar de Big Data, la mayoría de las empresas y de las personas pensamos en Hadoop.
- #11 Hadoop revolucionó el procesamiento de grandes volúmenes de datos, permitiendo a los usuarios almacenar gran cantidad de datos a precios muy bajos.
- #12 Además, la técnica MapReduce es ideal para implementar aplicaciones Batch Processing muy complejas que tratan de dar soluciones a: · Sistemas de Log, ejecución de ETLs o Sistemas de Recomendación.
- #13 La persistencia se realiza en discos duros y el problema principal es la latencia.
- #14 MapReduce en Hadoop, se limita a realizar Map, Combine y Reduce.
- #15 Los dos problemas anteriores hace que Hadoop no sea eficiente para la realización de cálculos iterativos
- #20 Una operación de tipo transformación modifica el RDD. Una operación de tipo action nos devuelve una carácterística del RDD. Un count, collect, reduce, etc.
- #22 Con tener instalado Scala y Spark en Pseudo-distribuido es suficiente para tener el sistema funcionando.
- #26 1. Las aplicaciones de Spark se ejecutan en sets de procesos independientes en el cluster y que a su vez son coordinados por el objecto SparkContext del programa principal (llamado driver program). 2. El SparkContext puede conectarse a muchos tipos de clúster managers (tanto Spark StandAlone como los administrador por Mesos/YARN), el cual asigna recursos a través de las aplicaciones. Una vez conectado, Spark toma los executors en los nodos del cluster, los cuales son "worker processess" que ejecutan operaciones y almacenan los datos de la aplicación. 3. Después se envía el código de tu aplicación (definido por el archivo JAR o Python que hemos enviado al SparkContext) a los executors. 4. Por último, el SparkContext envía las tareas a los executors para ejecutarlas.
- #29 · Broadcast variables: las cuales se usan para cachear un valor en memoria a todos los nodos. · Accumulators: las cuales son variables que solo admiten "añadir algo", como contadores y sumas.
- #30 · Broadcast variables: las cuales se usan para cachear un valor en memoria a todos los nodos. · Accumulators: las cuales son variables que solo admiten "añadir algo", como contadores y sumas.