El constante uso de las tecnologías ha traído consigo un crecimiento explosivo en la cantidad de datos. El gran contenido de valor que genera este tipo de información está permitiendo a las organizaciones una mejora en la toma de sus decisiones, lo que conlleva a la obtención de ventajas competitivas en los diferentes campos de acción. En este artículo se describe el estado del arte, las oportunidades, retos y tendencias que existen sobre “Big Data Analytics”, con un enfoque hacia el Software.
NTP- Determinación de Cloruros en suelos y agregados (1) (1).pptx
Big Data Analytics: Oportunidades, Retos y Tendencias
1. Tendencias, Retos y Oportunidades
Luis Felipe Tabares Pérez
Jhonatan Fernando Hernández
Tutor: Ing. Iván Mauricio Cabezas
Junio de 2014
2. Agenda
INTRODUCCIÓN
BIG DATA: LAS 3 Vs
BIG DATA ANALYTICS: LAS 4 Vs
CONCEPTOS ALREDEDOR DE BIG DATA ANALYTICS
HERRAMIENTAS: TÉCNICAS Y TECNOLOGÍAS
TENDENCIAS, RETOS Y OPORTUNIDADES
TRABAJO FUTURO, CONCLUSIÓN Y REFERENCIAS
3.
4. Big Data: La Oportunidad
Uso masivo de
Internet,
proliferación de
dispositivos y el
“Internet de las
Cosas” ha
producido una
“Explosión de
Datos” conocida
como Big Data.
5. Enfoque Base: Las 3 Vs
La definición de
Big Data dada
por Las 3 Vs:
– Velocidad
– Volumen
– Variedad
6. Nuestro Enfoque: La cuarta V
Obtener Valor a
partir de Big
Data: La cuarta V
(Value)
“Big Data
Analytics”
7. ¿Qué esperamos?
• Un Estado del Arte actualizado:
– Conceptos clave
– Herramientas (técnicas y
tecnologías)
– Tendencias, retos y
oportunidades
• Un Trabajo Futuro que permita la
articulación de este estado del
arte con una implementación
particular y otras investigaciones
sobre Big Data Analytics.
8.
9. Big Data y las 3 Vs
Big Data
Volumen
Velocidad
Variedad
Técnicas y Herramientas tradicionales no responden
adecuadamente a las nuevas exigencias de Big Data.
10. Big Data no sólo son datos. También hace
alusión al espectro de técnicas y tecnologías
que solucionan problemas particulares.
Big Data y las 3 Vs
Se configura un problema Big Data como:
Combinación de 2 Vs + Soluciones alternativas
a las tradicionales para resolverlo.
13. La cuarta V: Valor o Value
Big Data
Volumen
Velocidad
Variedad
Valor
Adaptado de [3]
14. • Excavar Big Data en busca de información sin tener la certeza de que
esta será valiosa.
• Resultados requeridos en tiempos extremadamente rápidos para
generar Ventas Competitivas.
• El costo de la computación es una prioridad: Cloud Computing como
solución.
• Evolución del Data warehousing y la Inteligencia de Negocios
¿Qué es Valor?
Valor
15.
16. 3 Conceptos Clave
Big Data
Analytics
Data
Warehouse
NoSQL
Cloud
Computing
¿Por qué son clave?
• Tienen una relación
estrecha al Big Data
Analytics.
• Marcan la evolución
y las tendencias.
17.
18. Arquitecturas y
Principios de Diseño
• En esta diapositiva se describirá una
Arquitectura base que da entrada a todas
aquellas técnicas y tecnologías que hacen
parte del estado del Arte. [PENDIENTE]
22. • Surgen nuevas organizaciones dirigidas al análisis de datos
empresariales.
• Técnicas de distribución de almacenamiento y tareas,
específicamente Hadoop.
• Cloud Computing -> IaaS, SaaS, DaaS, PaaS, AaaS
• Lenguajes naturales y conocidos (como SQL) para facilitar
implementaciones que podrían ser muy difíciles (Hive, Pig)
• Apache como la organización con más proyectos Top-Level
relacionados con Big Data
Tendencias: Organizaciones y Tecnologías
emergentes
25. • Comprender comportamientos demográficos y migratorios
• Entender cambios en el mundo (ejemplo: Cambio Climático)
• Mejorar el Tráfico, implementar ciudades inteligentes
• Detectar Riesgos de Pandemia
• Comprender Tendencias económicas
• Mejorar Sistemas de Alerta de desastres
• Identificar hábitos, sentimientos y problemas sociales
• Mejorar los Servicios Públicos
• Predecir crímenes
• Optimizar logística de ayudas humanitarias
• Detectar intrusiones a un sistema en tiempo real
• Segmentar información en tiempo real
• Mejorar la calidad de vida, fortaleciendo lazos comunitarios
Y, ¿cómo entender el mundo?
27. • Seguimiento bibliográfico a diferentes autores y compañías
que han investigado y realizado implementaciones sobre Big
Data Analytics.
• Revisión de la evolución del tradicional Data Warehousing
para llegar a Big Data Analytics.
• Etapa de Conceptualización, convergencias y divergencias.
Punto de vista de varios autores y libros.
• Estudio sobre los cuadrantes de Gartner en Inteligencia de
Negocios y Data Warehousing.
¿Cómo se ha desarrollado?
28. • Búsqueda de fuentes que evidencien el uso que se
está dando a Big Data hoy en día.
• Búsqueda de fuentes que evidencien tendencias o
proyecciones clave.
• Búsqueda de fuentes que evidencien los principales
retos, y oportunidades sobre Big Data Analytics.
• Articulación de la investigación con un proyecto
aplicado al cual se pueda dar continuidad.
¿Cómo se ha desarrollado?
29. Big Data
Analytics:
Tendencias, Retos y
Oportunidades
I. Introducción
II. Big Data :
Las 3 Vs
III. Big Data
Analytics: Las
4 Vs
IV. 4
Conceptos
alrededor de
Big Data
Analytics
V.
Herramientas:
Técnicas y
Tecnologías
VI. Tendencias,
Retos y
oportunidades
VII. Trabajo
Futuro
VIII.
Conclusión
Estructura
30. • Seguimiento Bibliográfico en un 70% utilizando la
herramienta “Mendeley”
• Elaboración de Fichas Bibliográficas buscando convergencias
y divergencias de diversos autores para apropiar términos y
generar discusiones.
• Estructuración de las secciones que compondrán el Artículo.
• Borrador de Título, Abstract, Introducción y Contraste de las
variables de estudio.
• Primer Avance Presentado. Atendiendo retroalimentación.
Avance Logrado
31. • Realizar correcciones por retroalimentación de
Primer Avance
• Revisión exhaustiva del estado del arte (la
actualidad y las tendencias).
• Estudio sobre retos y oportunidades.
• Selección del trabajo futuro. Articulación con
Maestría.
Trabajo Pendiente
32. Cronograma de Actividades
Hitos
– Entrega Segundo Avance: 26/06/2014
– Entrega Tercer Avance: 08/07/2014
– Entrega Cuarto Avance: 29/07/2014
– Entrega Quinto Avance: 06/08/2014
– Entrega Final: 21/09/2014
33.
34. [1] C. Ordonez, “Can we analyze big data inside a DBMS?,” Proc. Sixt.
Int. Work. Data Warehous. Ol. - Dol. ’13, pp. 85–92, 2013.
[2] E. Letouzé, “Big Data for Development : Challenges &
Opportunities,” no. May 2012, 2012.
[3] K. Krishnan, Data Warehousing in the Age of Big Data. 2013, p. 371.
[4] C. L. Philip Chen and C. Y. Zhang, “Data-intensive applications,
challenges, techniques and technologies: A survey on Big Data,” Inf. Sci. (Ny).,
pp. 1–34, Jan. 2014.
[5] “Magic Quadrant for Data Warehouse Database Management
Systems.” [Online]. Available:
http://www.gartner.com/technology/reprints.do?id=1-
1ROSS0X&ct=140310&st=sb. [Accessed: 06-May-2014].
Referencias
35. [6] “Gartner: Top 10 Strategic Technology Trends For 2013.” [Online]. Available:
http://www.forbes.com/sites/ericsavitz/2012/10/23/gartner-top-10-strategic-technology-
trends-for-2013/. [Accessed: 15-May-2014].
[7] “Gartner: 10 Critical Tech Trends For The Next Five Years.” [Online]. Available:
http://www.forbes.com/sites/ericsavitz/2012/10/22/gartner-10-critical-tech-trends-for-the-
next-five-years/. [Accessed: 15-May-2014].
[8] E. F. Codd, “A relational model of data for large shared data banks. 1970.,” MD.
Comput., vol. 15, no. 3, pp. 162–6, 1970.
[9] M. M. Astrahan, J. W. Mehl, G. R. Putzolu, I. L. Traiger, B. W. Wade, V. Watson, M.
W. Blasgen, D. D. Chamberlin, K. P. Eswaran, J. N. Gray, P. P. Griffiths, W. F. King, R. A. Lorie,
and P. R. McJones, “System R: relational approach to database management,” ACM
Transactions on Database Systems, vol. 1. pp. 97–137, 1976.
[10] P.-N. Tan, M. Steinbach, and V. Kumar, “Introduction to Data Mining,” J. Sch.
Psychol., vol. 19, pp. 51–56, 2005.
Referencias
36. [11] “Magic Quadrant for Data Warehouse Database Management Systems.” [Online].
Available: http://www.gartner.com/technology/reprints.do?id=1-
1ROSS0X&ct=140310&st=sb. [Accessed: 06-May-2014].
[12] “Corporate Information Factory (CIF) Resources by Bill Inmon, Inmon Data
Systems.” [Online]. Available: http://www.inmoncif.com/home/. [Accessed: 06-May-2014].
[13] Ralph Kimball, The Data Warehouse Lifecycle Toolkit Table of Contents, 1st ed.
1998, p. 771.
[14] “Full Circle: Decision Intelligence (DSS 2.0) by Claudia Imhoff, Colin White -
BeyeNETWORK.” [Online]. Available: http://www.b-eye-network.com/view/8385. [Accessed:
07-May-2014].
[15] J. Celko, JOE CELKO’S COMPLETE GUIDE TO NoSQL: What every SQL professional
needs to know about nonrelational databases, 1st ed. Waltham, USA: Elsevier Inc., 2014, p.
227.
Referencias
37. [16] A. Schram and K. M. Anderson, “MySQL to NoSQL Data Modeling
Challenges in Supporting Scalability,” pp. 191–202.
[17] E. Barbierato, M. Gribaudo, and M. Iacono, “Performance
evaluation of NoSQL big-data applications using multi-formalism models,”
Futur. Gener. Comput. Syst., Jan. 2014.
[18] J. Pokorny, “NoSQL databases: a step to database scalability in web
environment,” Int. J. Web Inf. Syst., vol. 9, no. 1, pp. 69–82, 2013.
[19] S. K. Gajendran, “A Survey on NoSQL Databases,” 1998.
[20] J. Dean and S. Ghemawat, “MapReduce : Simplified Data Processing
on Large Clusters,” Commun. ACM, vol. 51, no. 1, pp. 1–13, 2008.
Referencias
38. [21] D. Loshin, Big Data Analytics From Strategic Planning to Enterprise
Integration with Tools , Techniques , NoSQL and Graphs.
[22] G. Decandia, D. Hastorun, M. Jampani, G. Kakulapati, A. Lakshman,
A. Pilchin, S. Sivasubramanian, P. Vosshall, and W. Vogels, “Dynamo : Amazon
’ s Highly Available Key-value Store,” October, vol. 41, pp. 205–220, 2007.
[23] “AWS | Amazon DynamoDB – NoSQL Database Service.” [Online].
Available: https://aws.amazon.com/es/dynamodb/. [Accessed: 11-May-
2014].
[24] “Voldemort.” [Online]. Available: http://www.project-
voldemort.com/voldemort/. [Accessed: 11-May-2014].
[25] “memcached - a distributed memory object caching system.”
[Online]. Available: http://memcached.org/. [Accessed: 11-May-2014].
Referencias
39. [26] “Redis.” [Online]. Available: http://redis.io/. [Accessed: 11-May-
2014].
[27] “Riak | Basho Technologies.” [Online]. Available:
http://basho.com/riak/. [Accessed: 11-May-2014].
[28] “MongoDB.” [Online]. Available: http://www.mongodb.org/.
[Accessed: 11-May-2014].
[29] “Apache CouchDB.” [Online]. Available:
http://couchdb.apache.org/. [Accessed: 11-May-2014].
[30] F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M.
Burrows, T. Chandra, A. Fikes, and R. E. Gruber, “Bigtable : A Distributed
Storage System for Structured Data,” ACM Trans. Comput. Syst., vol. 26, pp.
1–26, 2008.
Referencias
40. [31] “The Apache Cassandra Project.” [Online]. Available:
http://cassandra.apache.org/. [Accessed: 11-May-2014].
[32] “HBase - Apache HBaseTM Home.” [Online]. Available:
https://hbase.apache.org/. [Accessed: 11-May-2014].
[33] “Neo4j - The World’s Leading Graph Database.” [Online].
Available: http://www.neo4j.org/. [Accessed: 11-May-2014].
[34] “Gartner IT Glossary.” [Online]. Available:
http://www.gartner.com/it-glossary. [Accessed: 07-May-2014].
[35] “Amazon Web Services (AWS) – Servicios de informática en la
nube.” [Online]. Available: http://aws.amazon.com/es/. [Accessed:
19-May-2014].
Referencias