Descargado 61 veces
Subido porOutliers Collective
Big data: Valor y Mercado
Este documento habla sobre Big Data, definiéndolo como conjuntos de datos tan grandes y complejos que son difíciles de procesar con herramientas tradicionales. Explica brevemente la historia del Big Data y las 3 V's (volumen, velocidad y variedad). También discute el valor del Big Data para sectores como marketing, análisis de clientes y salud, y las herramientas como Hadoop, MapReduce y NoSQL para procesar grandes cantidades de datos. Finalmente, menciona algunos riesgos como confundir Big Data con datos
Más contenido relacionado
Similar a Big data: Valor y Mercado
Big data: Valor y Mercado
- 1. Big Data Valor yMercado Óscar Marín Miró @outliers_es www.outliers.es 1
- 2. Contenidos ¿Qué es BigData? ‣Historia ‣Las 3 V’s ‣Problema, Solución y Fenómeno Valor del Big Data ‣Los Gigantes de la Generación de Datos ‣Nadamos en un mar de datos ‣Sectores de Aplicación Pitfalls ‣Data vs Big Data ‣Data Science vs Big Data ‣Costes ocultos Herramientas +Escenarios ‣Ecosistema Hadoop ‣NoSQL ‣Real-time Bibliografía 2
- 3. ¿Qué es elBig Data? “Data will help us” - Jonathan Harris 3
- 4.
- 5. ¿Qué es elBig Data? “Big Data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications” http://en.wikipedia.org/wiki/Big_data 5
- 6. ¿Qué es elBig Data? - Big Data y las 3 ‘V’ - Velocidad Volumen Variedad http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-DataVolume-Velocity-and-Variety.pdf 6
- 7. ¿Qué es elBig Data? (de verdad) - Twitter: 340 millones de tweets diarios (~= 1TB/día) - Facebook: 800 millones de status diarios - Google: 1000 millones de consultas diarias http:/ /www.slideshare.net/gigaom/the-3vs-of-big-data-variety-velocityand-volume-from-structuredata-2012 7
- 8. ¿Qué es elBig Data? (de verdad) Explosión de Uso Explosión Social Explosión Móvil 8
- 9. Big Data: Dimensiones ‣Problema:3 V’s ‣Solución: Herramientas ‣Fenómeno: Posibilidades 9
- 10. El Valor deBig Data http://labratrevenge.com/pdx 10
- 11. El Valor deBig Data http://7.mshcdn.com/wp-content/uploads/2012/06/DataNeverSleeps.jpg 11
- 12. El Valor deBig Data: Big Data Analysis ‣Estadístico ‣Texto ‣Análisis de Redes Sociales ‣Análisis GeoEspacial 12
- 13. El Valor deBig Data: Ámbitos de Aplicación ‣Marketing/Publicidad/Comunicación ‣Customer Insights ‣Growth Hacking ‣Salud ‣Escalabilidad 13
- 14. El Valor deBig Data: Publicidad https://de5w14y12gh72.cloudfront.net/website/bluefin_mit-tech-review.pdf 14
- 15. El Valor deBig Data: Customer Insights http://innovabbva.outliers.es/mapas.html 15
- 16. El Valor deBig Data: Growth Hacking ‣Impactos de tests A/B ‣Incrementar el Retention Rate ‣Incrementar los leads ‣Incremental el engagement 16
- 17. El Valor deBig Data: Growth Hacking https://www.youtube.com/watch?v=eqeS8US10_k 17
- 18. El Valor deBig Data: Salud https://www.23andme.com/ancestry/ 18
- 19. El Valor deBig Data Ciencias Sociales http://www.pewinternet.org/2014/02/20/part-2-conversational-archetypes-six-conversation-and-group-network-structures-in-twitter/ #network-type-6-support-network 19
- 20. El Valor deBig Data: Publicidad http://blog.marketo.com/2013/09/get-more-email-opens-and-clicks-using-behavioral-targeting.html 20
- 21. El Valor deBig Data Escalabilidad http://www.slideshare.net/davidpoblador/spotify-bcn2013slideshare 21
- 22. El Valor deBig Data Antropología http://www.ted.com/talks/what_we_learned_from_5_million_books.html http://www.brainpickings.org/index.php/2014/01/17/uncharted-big-data/ 22
- 23. El Valor deBig Data Urbanismo http://bcnbeats.outliers.es/ 23
- 24.
- 25. Big Data vsData ‣Big Data ~= MB/s o volúmenes de TB ‣El 90% de los trabajos hablan de Big Data y quieren decir Data ‣No es lo mismo coger datos de Twitter que ser Twitter ‣Se confunde el fenómeno con el problema 25
- 26. Data Science vsBig Data ‣Técnicamente: ‣Data Science crea modelos ‣Big Data provee de infraestructura ‣En la práctica: ‣Si creas un modelo a partir de una muestra de Big Data haces Big Data ‣Los perfiles son COMPLETAMENTE diferentes!! ‣Big Data sin Data Science no es NADA 26
- 27. Big Data: CostesOcultos ‣Computer Science First, Big Data Second!! ‣Probar en muestras significativas, SIEMPRE ‣Llegar hasta la presentación de los datos con la muestra, lo más rápido posible ‣Funcionar con hipótesis 27
- 28.
- 29. El ecosistema Hadoop ¿Quées un Cluster Hadoop? Un conjunto de servidores (nodos), sobre el que se ejecutan procesos MapReduce y que comparten datos mediante HDFS (Hadoop Distributed File System 29
- 30. Ecosistema Hadoop MAPREDUCE: Dividey vencerás MAP: Función de procesado. Los datos se particionan y se pasa cada ‘trozo’ a una función ‘map’ La función ‘map’ es sin estado REDUCE Función de reducción La salida del map es la entrada del reduce Se usa para consolidar y eliminar redundancias 30
- 31. Ecosistema Hadoop MAPREDUCE: Contarlas palabras de un fichero MAP: < Hello, 1> < World, 1> < Bye, 1> < World, 1> REDUCE: < Hello, 1> < World, 2> < Bye, 1> 31
- 32. Ecosistema Hadoop MAPREDUCE: Control ‣Se ejecutan ‘jobs’ que el framework divide en ‘tasks’ ‣ Master JobTracker ‣ TaskTracker por nodo 32
- 33. Ecosistema Hadoop HDFS ‣ Implementaun único sistema de ficheros ‘juntando las capacidades’ de todos los nodos ‣ Es transparente para el programador ‣ Se implementa tolerancia a fallos con nodos de ‘backup’ 33
- 34.
- 35.
- 36.
- 37.
- 38. Problemas de lasBBDD relacionales ‣ Leer datos completos es costoso (‘joins’) ‣ Transacciones (‘integridad’) ‣ Escalabilidad ‣ Cambio del modelo de datos (migraciones) 38
- 39. Soluciones NoSQL ‣ Almacenesclave-valor (Redis, BerkeleyDB, Tokyo Cabinet) ‣ Orientadas a documento (MongoDB, CouchDB, ElasticSearch, Solr) ‣ Orientadas a columnas (Cassandra, HBase, BigTable) 39
- 40. Real-time processing ‣ Batchvs Real-time ‣ Hadoop anclado en Java ‣ Spark (Scala) ‣ Storm (Clojure) http://www.ibm.com/developerworks/library/os-spark/#resources 40
- 41. Outliers Collective: Nuestras Herramientas ‣Visualización: D3.js ‣ Análisis: ‣ Texto: Python + Pattern ‣ Redes: Networkx + Gephi ‣ Estadística: R ‣ Persistencia: MongoDB, ElasticSearch ‣ 41
- 42.
- 43. Outliers Collective+Prodigioso Volcán,2014 http://elpais.com/especiales/2014/planeta-futuro/mapa-de-migraciones/ 43
- 44.
- 45. En Paradigma Tecnológico,2009-2011 http://www.paginasamarillas.es/ 45
- 46. En Paradigma Tecnológico,2008 http://www.lainformacion.com/ 46
- 47. Outliers Collective yYolanda Quintana, 2013 http://viralgezi.outliers.es/ 47
- 48. Outliers Collective, AlbertoGonzález Paje, Rafael Höhr, 2013 http://innovabbva.outliers.es/ 48
- 49.
- 50. Outliers Collective +Alberto González, 2013 http://assets.outliers.es/SocialGood/ 50
- 51. Outliers Collective +Telenoika + Rocío Márquez + Patricia Benitez + Alberto González, 2013 http://vimeo.com/71084828 http://bcnbeats.outliers.es/ 51
- 52. #LoQueCrece: IdeasForChange +Outliers Collective 52
- 53.
- 54. ¿Preguntas? ¡Gracias por elinterés! 54