Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Jornada en enpresa digitala: Mitos y Realidades del Big Data

1.177 visualizaciones

Publicado el

Esta presentación es la que utilicé como ponente de Mondragon Unibertsitatea para introducir al público asistente a la jornada de "Mitos y Realidades del Big Data" de Enpresa Digitala en su nodo de Goiru (http://www.euskadinnova.net/es/enpresa-digitala/agenda/mitos-realidades-data/8956.aspx?utm_source=rss_feed&utm_medium=rss&utm_campaign=accesos_rss). Se trata de una presentación donde se explican qué es y qué no es Big Data, enfocando sobre todo en la parte de almacenamiento, infraestructura, y análisis de los datos.

Publicado en: Tecnología
  • Sé el primero en comentar

Jornada en enpresa digitala: Mitos y Realidades del Big Data

  1. 1. Jornada: “Mitos y Realidades del Big Data” -Introducción al Big Data- Urko Zurutuza Dpto. Electrónica e Informática Mondragon Goi Eskola Politeknikoa JMA Mondragon Unibertsitatea
  2. 2. Agenda • Introducción al Big Data (Urko Zurutuza) • Caso Práctico 1: (Adolfo Cortés) – Big Data para eficiencia energética en PYMEs • Caso Práctico 2 (Mario Íñiguez/Pedro ) – Big Data para prever modelos de fuga de clientes – Big Data para eficiencia en hornos y procesos industriales en condiciones extremas de temperatura
  3. 3. Índice 1. Introducción 2. Instalo y uso una BBDD NoSQL. ¿Hago Big Data? 3. Tengo una plataforma basada en Hadoop instalada en mi equipo, ¿Tengo Big Data? 4. Conozco y aplico técnicas de Machine Learning y Data Mining en la empresa. ¿Soy Big Data? 5. Entonces, cómo hago, tengo y soy Big Data?
  4. 4. Data CRECIMIENTO DE DATOS PARA EL 2020
  5. 5. Big Data “Big Data” hace referencia al conjunto de información que es demasiado compleja como para ser procesada mediante TI tradicionales de manera aceptable –Min Chen, Shiwen Mao, and Yunhao Liu. Big Data: A Survey. Mobile Networks and Applications, 19(2):171–209, 2014.
  6. 6. Big Data “Big Data hace referencia al conjunto de información que es demasiado compleja como para ser procesada mediante TI tradicionales de manera aceptable –Min Chen, Shiwen Mao, and Yunhao Liu. Big Data: A Survey. Mobile Networks and Applications, 19(2):171–209, 2014.
  7. 7. Big Data
  8. 8. Instalo y uso una BBDD NoSQL. ¿Hago Big Data?
  9. 9. NoSQL (Not Only SQL) • Base de Datos de nueva generación que en su mayoría aborda algunas de las siguientes características: – no relacional, – distribuida, – open-source, y – horizontalmente escalable [fuente: http://nosql-database.org/]
  10. 10. NoSQL (Not Only SQL) - Tipos Tipo Descripción Ejemplo Clave- Valor Cada elemento tiene una clave y su valor asociado. emcached Familias de Columnas Para consultas sobre grandes conjuntos de datos. Enfoque en columnas no en filas Document os Empareja una clave con una estructura de datos o documento. Grafos Guarda nodos y sus relaciones. RRSS, estructuras de redes,…
  11. 11. Instalo y uso una BBDD NoSQL. ¿Hago Big Data?
  12. 12. Tengo una plataforma basada en Hadoop instalada en mi equipo, ¿Tengo Big Data?
  13. 13. Hadoop • Sistema que permite una computación – Fiable, – Escalable, y – Distribuida • Un Framework que permite el procesamiento distribuido de grandes conjuntos de datos sobre clusters de ordenadores.
  14. 14. Ecosistema Hadoop (simplificado) Apache Pig: Scripting Almacenamient o redundante y fiable YARN Gestiona recursos del Cluster Procesamiento Distribuido de datos Zookee per: Coordin a la distribuc ión Data Warehous e Machine Learning Colector de datos Conector BBDDR- HDFS S. O. S. O. S. O. S. O. S. O. S. O. S. O. S. O. S. O.
  15. 15. Map-Reduce , 4 , 2 , 4 , 3 , 4 , 2 , 4 , 3 Split Map Shuffle & Sort Reduce Master assignsassigns
  16. 16. Tengo una plataforma basada en Hadoop instalada en mi equipo, ¿Tengo Big Data?
  17. 17. Conozco y aplico técnicas de Machine Learning y Data Mining en la empresa. ¿Soy Big Data?
  18. 18. Conozco y aplico técnicas de Machine Learning y Data Mining en la empresa. ¿Soy Big Data? • El fin del Big Data es extraer valor de tantos datos • Análisis de Datos (Big Data Analytics) – Recomendación basada en el comportamiento de usuarios – Agrupación de documentos de texto parecidos (por ejemplo) – Clasificación o predicción en base a casos anteriores
  19. 19. Conozco y aplico técnicas de Machine Learning y Data Mining en la empresa. ¿Soy Big Data? • In-Memory Analytics vs. In-Hadoop Analytics • El fondo es el mismo, pero ahora: – Distribuido – Escalable • Herramientas – R – Spark (Mllib) – TODOS: RapidMiner, SAS, Teradata,…
  20. 20. Conozco y aplico técnicas de Machine Learning y Data Mining en la empresa. ¿Soy Big Data?
  21. 21. Entonces, cómo hago, tengo y soy Big Data? 1. Objetivos: ¿Qué valor añadido quiero obtener? 2. Selecciona la infraestructura: en la empresa, o en la nube (IaaS, PaaS, SaaS) 3. Fórmate/contrata expertos 4. Une las piezas (requisitos técnicos) 5. Realiza implementaciones ágiles e iterativas 6. Empieza con objetivos simples e integra
  22. 22. Objetivos: ¿Qué valor añadido quiero obtener? • Alinea la necesidad de Big Data con los objetivos de negocio • Implementar Big Data es decisión de negocio, no de TI • Evalúa los requisitos de los datos (V’s!)
  23. 23. Selecciona la infraestructura • En casa? – Hardware (mínimo): 2*6core CPU, 24-64GB RAM, 1-2TB HDD – Distribuciones Hadoop: Cloudera, MapR, Hortonworks • En la nube? – IaaS (Amazon Elastic Compute Cloud, Azure,…) – PaaS (Amazon Elastic MapReduce, Azure HDInsight,…) – SaaS (Teradata, sqlstream,…)
  24. 24. Fórmate • Administración del cluster • NoSQL • Desarrollo (Java, Python, R, …) • Machine Learning / Data Mining • Visual analytics (d3.js, CartoDB, Gephi, Tableu,…)
  25. 25. Une las piezas • ¿Qué preguntas debo responder? • ¿Cómo recojo los datos? • ¿Cómo los almaceno? • ¿Cómo los analizo? • ¿Cómo muestro los resultados?
  26. 26. Realiza implementaciones ágiles e iterativas
  27. 27. Empieza con objetivos simples e integra los resultados • Según se van obteniendo pequeños resultados, aparecen nuevas preguntas a responder. • Integrar resultados con el Sistema de Producción/Sistema de Gestión actual
  28. 28. Conclusiones • Objetivos, estrategia, ROI • Datos: ¿Estamos preparados? • Infraestructura Local o en la Nube? • Big Data está relacionado con: Análisis de Datos = Data Science • Analizas tus datos en “Small Data” ahora?
  29. 29. Eskerrik asko www.mondragon.edu Urko Zurutuza Mondragon Unibertsitatea uzurutuza@mondragon.edu https://es.linkedin.com/in/uzurutuz a/ @urkovain

×