Subido porSoftware Guru
Apache Spark y Big Data
El documento presenta información sobre Apache Spark y Big Data, destacando su capacidad para el procesamiento distribuido de datos a gran escala y sus componentes principales como RDD y task scheduler. También se menciona la importancia de HDFS como sistema de archivos para almacenar grandes volúmenes de datos, junto con ejemplos y guías para su instalación y uso. Además, se aborda la naturaleza de 'Big Data' y sus características clave como la variedad.
Más contenido relacionado
Similar a Apache Spark y Big Data
Apache Spark y Big Data
- 1.
- 2. www.sgcampus.com.mx @sgcampus • Maestroen Ciencias de la Computación • Autor del libro Practical Data Analysis http://amzn.to/1k69HWn • Estancia de Investigación en el Laboratorio de Epidemiologia Computacional de la Universidad del Norte de Texas (2011) • Investigador Invitado en el SDSC 2012 Summer Institute: Discover Big Data, Universidad de California • Revisor Técnico de los libros: Raspberry Pi Networking Cookbook Raspberry Pi Robotic Projects Hadoop Operations and Cluster Management Acerca del Ponente
- 3. www.sgcampus.com.mx @sgcampus ¿qué esbig data? “Cuando más es diferente”
- 4. www.sgcampus.com.mx @sgcampus 3 V’sdel BigData
- 5.
- 6. www.sgcampus.com.mx @sgcampus Que esSpark? Apache Spark es un motor para procesamiento distribuido de datos a gran escala • Procesamiento In-Memory • Basado en Scala y con soporte para Python, Java y R • Framework de procesamiento unificado • Para Ingenieros y Data Scientist
- 7. www.sgcampus.com.mx @sgcampus Componentes principales RDD(Resilient Distributed Datasets) • In-memory • Tolerante a fallos • Estructura de datos en paralelo • Transformaciones • Acciones Task Scheduler • Prepara los Jobs a través de DAG (Direct acyclic graph) • Concatenación de funciones para ejecutar los stages • Cache-aware, considera utilización & localización de datos (data locality) • Partitioning-aware para reducir shuffles por la red
- 8.
- 9. www.sgcampus.com.mx @sgcampus Spark Core Sparkes Lazy no procesa nada entre transformaciones hasta que se ejecuta una acción(TOP). API Transformaciones y Acciones
- 10. www.sgcampus.com.mx @sgcampus Runs Everywhere Compatibilidadcon prácticamente todas las fuentes
- 11. www.sgcampus.com.mx @sgcampus Instalando ApacheSpark Descargar Spark from https://spark.apache.org/downloads.html tar -xvzf spark-1.1.1.tar cd spark-1.1.1 InstalandoApache Spark sbt/sbt clean assembly Ejecutar Spark Scala shell: ./bin/spark-shell Python shell: ./bin/pyspark
- 12. www.sgcampus.com.mx @sgcampus Calcular Pi: ./bin/run-exampleorg.apache.spark.examples.SparkPi Ejemplos MLlib Correlations: ./bin/run-example org.apache.spark.examples.mllib.Correlations Ejemplos
- 13.
- 14.
- 15. www.sgcampus.com.mx @sgcampus HDFS • HDFSes un sistema de archivos distribuido, escalable y portátil escrito en Java y creado especialmente para trabajar con archivos de gran tamaño. • Una de sus principales características es un tamaño de bloque muy superior al habitual (100 MB) para no perder tiempo en los accesos de lectura. Sistema de Archivos que sigue el patrón “Write once read many”
- 16.
- 17.