Este documento introduce el concepto de Big Data, definiéndolo como grandes volúmenes de datos de diversos tipos que se generan y procesan rápidamente. Explica las 3 Vs de Big Data (volumen, variedad y velocidad) y los retos actuales de dar sentido a los datos y analizar múltiples tipos de información en tiempo real. También presenta ejemplos prácticos como el uso de datos por Walmart para mejorar las ventas y describe tecnologías clave como Hadoop y HDInsight de Microsoft.
Introducción al concepto Big Data en español, con ejemplos de aplicaciones y caso de estudio. El seminario tiene una duración aproximada de 3 horas a lo largo de las cuales se repasan los siguientes puntos:
Contexto
Definición
Utilidades (Casos de aplicación)
Arquitectura y software
-->Ejemplo de aplicación: Metamail
-->Cuadrante mágico de aplicaciones
Caso de estudio: Obama 2012
Análisis con Big Data
Cuándo y cómo empezar?
Gobierno de datos
Espero que os guste!
Sin el boom de las redes sociales, el Big Data no sería lo que es ahora. En la sesión se presentarán casos de uso y ejemplos de las posibilidades de la minería de datos sociales y geolocalizados en la generación de valor para diferentes sectores
Sobre el ponente
Oscar Marín Miró (outliers.es)
Ingeniero de Telecomunicaciones, trabaja e investiga desde el año 2001 en lo que ahora llamamos ‘Big Data’. Especializado en el análisis de texto, redes sociales, datos urbanos y visualización de datos. Fundador del colectivo Outliers, desde donde se fomenta la aplicación del valor de los datos a todos los campos (Ciencia, Periodismo, Urbanismo, Sociología, Marketing…).
Miembro del equipo de investigación transdisciplinar DatAnalysis15m, enfocado en el análisis entre la viralidad y el contenido emocional del mensaje. En la faceta docente, imparte cursos regularmente sobre análisis y visualización de datos, en diversas Universidades, Compañías e Instituciones (UOC, UAB, Telenoika Audiovisual Community, Convent de Sant Agustí, Telefónica Digital).
Además Óscar és profesor de nuestro Postgrado en Business Intelligence
BDAS-2017 | Big Bilbao: Big Data e Internet of Things para la promoción econó...Big-Data-Summit
Las ciudades inteligentes o Smart Cities ha comenzado a aparecer como un concepto que permite dotar a las ciudades de una mayor capacidad de entender lo que sucede dentro de las mismas. De esta manera, adquieren una inteligencia (Smart) que las permite ofrecer unos mejores servicios a sus ciudadanos. Para ello, resulta fundamental no solo entender cómo se comporta el ciudadano, sino también lo que demanda, qué le podría venir bien, etc. Y en ello, la sensórica y dispositivos que el paradigma del Internet of Things provee, abre un nuevo escenario de gobernanza para las ciudades. Con el caso de Big Bilbao (de la ciudad de Bilbao en España), entenderemos cómo los paradigmas del Big Data e Internet of Things abren nuevas oportunidades para las ciudades, su promoción económica y mejor gobernanza.
Introducción al concepto Big Data en español, con ejemplos de aplicaciones y caso de estudio. El seminario tiene una duración aproximada de 3 horas a lo largo de las cuales se repasan los siguientes puntos:
Contexto
Definición
Utilidades (Casos de aplicación)
Arquitectura y software
-->Ejemplo de aplicación: Metamail
-->Cuadrante mágico de aplicaciones
Caso de estudio: Obama 2012
Análisis con Big Data
Cuándo y cómo empezar?
Gobierno de datos
Espero que os guste!
Sin el boom de las redes sociales, el Big Data no sería lo que es ahora. En la sesión se presentarán casos de uso y ejemplos de las posibilidades de la minería de datos sociales y geolocalizados en la generación de valor para diferentes sectores
Sobre el ponente
Oscar Marín Miró (outliers.es)
Ingeniero de Telecomunicaciones, trabaja e investiga desde el año 2001 en lo que ahora llamamos ‘Big Data’. Especializado en el análisis de texto, redes sociales, datos urbanos y visualización de datos. Fundador del colectivo Outliers, desde donde se fomenta la aplicación del valor de los datos a todos los campos (Ciencia, Periodismo, Urbanismo, Sociología, Marketing…).
Miembro del equipo de investigación transdisciplinar DatAnalysis15m, enfocado en el análisis entre la viralidad y el contenido emocional del mensaje. En la faceta docente, imparte cursos regularmente sobre análisis y visualización de datos, en diversas Universidades, Compañías e Instituciones (UOC, UAB, Telenoika Audiovisual Community, Convent de Sant Agustí, Telefónica Digital).
Además Óscar és profesor de nuestro Postgrado en Business Intelligence
BDAS-2017 | Big Bilbao: Big Data e Internet of Things para la promoción econó...Big-Data-Summit
Las ciudades inteligentes o Smart Cities ha comenzado a aparecer como un concepto que permite dotar a las ciudades de una mayor capacidad de entender lo que sucede dentro de las mismas. De esta manera, adquieren una inteligencia (Smart) que las permite ofrecer unos mejores servicios a sus ciudadanos. Para ello, resulta fundamental no solo entender cómo se comporta el ciudadano, sino también lo que demanda, qué le podría venir bien, etc. Y en ello, la sensórica y dispositivos que el paradigma del Internet of Things provee, abre un nuevo escenario de gobernanza para las ciudades. Con el caso de Big Bilbao (de la ciudad de Bilbao en España), entenderemos cómo los paradigmas del Big Data e Internet of Things abren nuevas oportunidades para las ciudades, su promoción económica y mejor gobernanza.
Presentación usada en la ponencia del 10 de Marzo de 2017, el VI Foro Economía y Economistas que se celebró en la Facultad de Economía, con el título "Economía del Futuro: Hablemos de Big Data"
Juan José Larrea (@jjlarrea) explica el fenómeno Big Data en la Comunicación Política (Internet y Redes Sociales). La presentación se utilizó en la disertación que se brindó en la Cumbre Mundial de Comunicación Política (Cumbre 2013) en la Ciudad Autónoma de Buenos Aires. http://www.juanjoselarrea.com
Un recorrido por las diferentes tendencias del Big Data, importantes eventos a nivel mundial, desarrollo del Big Data en Europa, Estados Unidos y Corea del Sur y más.
Nota: referencias y enlaces de interés indicados en los comentarios de cada diapositiva, descargar la presentación para poder verlos.
BDAS-2017 | Convergencia entre Open Data y Big Data, casos y tendenciasBig-Data-Summit
Breve Descripción: Esta presentación tratará sobre la convergencia entre las tendencias de Datos Abiertos y Big Data. Gobiernos alrededor del mundo están abriendo cada vez más conjuntos de datos de valor y estos están siendo parte de dataductos creando valor en el sector privado. Esta charla comentará ejemplos y casos y discutirá algunas tendencias. También se dará un ejemplo práctico de datos abiertos importados a r para generar análisis y valor.
Este material es parte de una conferencia impartida en la UMA (Universidad de Málaga) para la iniciación al mundo del BiG Data para no entendidos en tecnología:
- ¿Qué es BiG DaTa?
- Hitos principales
- Situación actual
- Tecnologías principales
- Análisis por industrias
CRM y Big Data: el nuevo cliente vitaminadoAndres Karp
Conferencia sobre CRM y Big Data y la nueva realidad del cliente vitaminado. En esta conferencia se hablo sobre las posibilidades que el Big Data aporta a la gestión de clientes mediante el CRM. Congreso Web Zaragoza 2015
Big data: gestión estratégica de los datos masivos en entornos corporativos. Conferencia de Juan José Larrea en la 4° Conferencia Internacional de Relaciones Públicas. Para escuchar los audios y ver el video de esta presentación: http://bit.ly/1CFrlgX
El big data le permite recopilar datos de redes sociales, visitas a páginas web, registros de llamadas y otras fuentes para mejorar la experiencia de interacción, así como maximizar el valor ofrecido.
EN OPEN MICHIGAN HAY INFORMACION MUY INTERESANTE PARA LOS QUE DESEAN PROFUNDIZAR SOBRE EL TEMA
http://open.umich.edu/education/si/si508/fall2008
SI 508 - Redes: Teoría y Aplicación
OPEN MICHIGAN
Si508 f08-week2-3-4
CONTENIDO:
big data
NSA --> Social network analysis
analisis de redes sociales,metricas de red,
Estado del arte del BI | Jornada Madrid 2014 | UOCJosep Curto
Presentación sobre el estado del arte del mercado de Business Intelligence en la jornada profesional sobre Business Intelligence y Big Data auspiciada por la UOC.
Presentación usada en la ponencia del 10 de Marzo de 2017, el VI Foro Economía y Economistas que se celebró en la Facultad de Economía, con el título "Economía del Futuro: Hablemos de Big Data"
Juan José Larrea (@jjlarrea) explica el fenómeno Big Data en la Comunicación Política (Internet y Redes Sociales). La presentación se utilizó en la disertación que se brindó en la Cumbre Mundial de Comunicación Política (Cumbre 2013) en la Ciudad Autónoma de Buenos Aires. http://www.juanjoselarrea.com
Un recorrido por las diferentes tendencias del Big Data, importantes eventos a nivel mundial, desarrollo del Big Data en Europa, Estados Unidos y Corea del Sur y más.
Nota: referencias y enlaces de interés indicados en los comentarios de cada diapositiva, descargar la presentación para poder verlos.
BDAS-2017 | Convergencia entre Open Data y Big Data, casos y tendenciasBig-Data-Summit
Breve Descripción: Esta presentación tratará sobre la convergencia entre las tendencias de Datos Abiertos y Big Data. Gobiernos alrededor del mundo están abriendo cada vez más conjuntos de datos de valor y estos están siendo parte de dataductos creando valor en el sector privado. Esta charla comentará ejemplos y casos y discutirá algunas tendencias. También se dará un ejemplo práctico de datos abiertos importados a r para generar análisis y valor.
Este material es parte de una conferencia impartida en la UMA (Universidad de Málaga) para la iniciación al mundo del BiG Data para no entendidos en tecnología:
- ¿Qué es BiG DaTa?
- Hitos principales
- Situación actual
- Tecnologías principales
- Análisis por industrias
CRM y Big Data: el nuevo cliente vitaminadoAndres Karp
Conferencia sobre CRM y Big Data y la nueva realidad del cliente vitaminado. En esta conferencia se hablo sobre las posibilidades que el Big Data aporta a la gestión de clientes mediante el CRM. Congreso Web Zaragoza 2015
Big data: gestión estratégica de los datos masivos en entornos corporativos. Conferencia de Juan José Larrea en la 4° Conferencia Internacional de Relaciones Públicas. Para escuchar los audios y ver el video de esta presentación: http://bit.ly/1CFrlgX
El big data le permite recopilar datos de redes sociales, visitas a páginas web, registros de llamadas y otras fuentes para mejorar la experiencia de interacción, así como maximizar el valor ofrecido.
EN OPEN MICHIGAN HAY INFORMACION MUY INTERESANTE PARA LOS QUE DESEAN PROFUNDIZAR SOBRE EL TEMA
http://open.umich.edu/education/si/si508/fall2008
SI 508 - Redes: Teoría y Aplicación
OPEN MICHIGAN
Si508 f08-week2-3-4
CONTENIDO:
big data
NSA --> Social network analysis
analisis de redes sociales,metricas de red,
Estado del arte del BI | Jornada Madrid 2014 | UOCJosep Curto
Presentación sobre el estado del arte del mercado de Business Intelligence en la jornada profesional sobre Business Intelligence y Big Data auspiciada por la UOC.
SQL Saturday Bogota - Big Data HDInsight ServerEduardo Castro
En esta presentación vemos los conceptos de Big Data y cómo podemos integrar las herramientas de BI de SQL Server 2012 con Hadoop y con HDInsigth Server y con PowerPivot.
Saludos
Ing. Eduardo Castro
Microsoft SQL Server MVP
Big Data para analizar las redes socialesDatKnoSys
El principal objetivo es mostrar el análisis de cantidades elevadas de información que nos proporcionan las redes sociales gracias a sistemas Big Data. Haciendo frente a la complejidad de la variedad de orígenes, el gran volumen de las mismas y la velocidad de procesamiento que se necesita.
Se incidirá principalmente en los siguientes puntos clave: la recogida de datos, su procesamiento (con ejemplo de text mining para conseguir descifrar el sentimiento) y en la visualización final.
¿Sabías que cada minuto se mandan 13 millones de mensajes se suben 48 horas de vídeo a YouTube y se crean 571 nuevas páginas web? Internet es un generador de grandes cantidades de información y este contenido lo generan los usuarios, nuestros clientes, por eso hay que saber adaptarse a este nuevo socio económico y aprovechar el valor de la información que nos ofrece. Es importante implantar sistemas de Big Data que nos ayuden a almacenar, buscar, compartir, analizar y visualizar estas grandes cantidades de datos y con ello conseguir valor. No hay que olvidar que tan importante como es instalar un sistema big data, es definirlo conforme a nuestras necesidades.
Introducción a Big Data
Las unidades temáticas y ejemplos están motivados mayormente en problemas actuales derivados de la Web, su estructura y en los datos que ésta genera a partir de sitios de noticias, redes sociales, buscadores de internet, sistemas de comercio electrónico, entre otros. Para ello se han diseñado una recopilación de técnicas, algoritmos y problemas agrupado en ejes temáticos.
Se dará énfasis a la problemática conocida como Big Data que trata sobre el tamaño de los datos, el modelo de arquitectura y file systems distribuidos de gran escala.
Introducción a los problemas sobre volúmenes de datos muy grandes (Big Data); arquitectura de datos y file system distribuidos de gran escala y modelo map reduce para diseñar algoritmos paralelos. Principio de Bonferroni, límite estadístico en el data-mining. Paradoja de Rhine, Detección de gente sospechosa
Referencias:
http://7puentes.com
http://datamining.dc.uba.ar
http://www.mmds.org
El mundo de Big Data y Data Science es altamente técnico, pero entender cuáles son sus ideas centrales no requiere súper poderes. Explicaremos en qué consiste esta fascinante tendencia tecnológica y sus principales conceptos, herramientas y posibilidades.
En esta presentación se introducen los conceptos de Big Data, así como las soliciones de Horton Works sobre Windows y el Microsoft Analytics Platform System (PDW Paralled Data Warehouse)
Saludos,
Eduardo Castro, PhD
SQL Server MVP
Comunidad Windows Costa Rica
En esta presentación vemos aspectos de introducción a Big Data.
Saludos,
Ing. Eduardo Castro, PhD
Microsoft SQL Server MVP
http://tinyurl.com/comunidadwindows
Diapositivas D.I.P.. sobre la importancia que tiene la interpol en HonduraspptxWalterOrdoez22
Es un conjunto de diapositivas creadas para la información sobre la importancia que tienen la interpol en honduras y los tratados entre ambas instituciones
Ipsos, empresa de investigación de mercados y opinión pública, divulgó su informe N°29 “Claves Ipsos” correspondiente al mes de abril, que encuestó a 800 personas con el fin de identificar las principales opiniones y comportamientos de las y los ciudadanos respecto de temas de interés para el país. En esta edición se abordó la a Carabineros de Chile, su evaluación, legitimidad en su actuar y el asesinato de tres funcionarios en Cañete. Además, se consultó sobre el Ejército y la opinión respecto de la marcha en Putre.
3. Índice
1. Introducción
1. ¿Qué no es Big Data?
2. Situación actual
3. ¿Y entonces qué es Big Data exactamente?
4. Las 3 Vs de Big Data
5. Retos actuales
2. Big Data llevado a la práctica
1. Utilidades
2. Ejemplo real: Walmart
3. ¿Qué mueve Big Data?
1. Características Técnicas
2. Software
3. Markets de Datos
4. Hadoop
5. Microsoft HDInsight
4. Demos
4. www.consultec.es
Introducción
“Big Data” es desde hace dos o tres años una de las grandes
tendencias dentro del mundo de la tecnología y del marketing, uno
de esos “buzzwords” que en un momento dado empiezan a
propagarse y aparecer por todo internet, las grandes empresas se
interesan por ello, se crea una industria alrededor y, de repente,
todo el mundo sabe lo que es Big Data. O no …
BIG DATA
5. www.consultec.es
¿Qué no es Big Data?
Antes de empezar, lo primero es desengañarnos.
• Big Data no es una base de datos enorme
• Big Data no es un data warehouse enorme
• Big Data no es una nueva forma de Business Intelligence
• Big Data no es llevar las base de datos a la nube
• …
6. www.consultec.es
Situación actual
Bases de
Datos
Relacionales
Bases de
Datos
Analíticas
(Data
Warehouse)
Archivos
(XML,
Logs, …)
ERP/CRM
Redes Sociales
Base de
Datos NoSQL
APIs
Sensores
RFID
Información
generada por
apps móviles
Y mucho más.
Y lo que está
por venir …
Big Data
GPS
Internet de
las Cosas
Información
generada por
máquinas
eMails
7. www.consultec.es
¿Y entonces qué es Big Data exactamente?
• Definiciones encontradas en internet
• Información que tiene un orden de magnitud más grande de lo que
estamos acostumbrados.
• Información que es muy grande, se mueve muy rápido y no se ajusta a
las estructuras de las base de datos actuales.
• Es un conjunto de datos cuyo tamaño está más allá de la capacidad de la
mayoría de los software utilizados para capturar, gestionar y procesar la
información dentro de un lapso tolerable de tiempo.
8. www.consultec.es
Las 3 Vs de Big Data
Volume: grandes volúmenes de información
• Se está pasando de hablar en Gigabytes o Terabytes a tamaños de datos de
Petabytes, Exabytes o Zettabytes. Volúmenes que se nos escapan.
9. www.consultec.es
Las 3 Vs de Big Data
Variety: información de tipos muy diversos
• Ya no solo tenemos información estructurada en Bases de Datos o Archivos.
Ahora empezamos a tener información con tipos diferentes y totalmente
desestructurada.
10. www.consultec.es
Las 3 Vs de Big Data
Velocity: velocidad con la que se genera la información
• La velocidad a la que se genera esta información hace imposible gestionarla
con sistemas de base de datos convencionales. Las empresas y las personas
ya no quieren estar al día, quieren “estar al segundo”.
11. www.consultec.es
Retos actuales
• Dar sentido al gran volumen de datos
• Necesitamos las herramientas adecuadas para dar sentido de la abrumadora
cantidad de datos generados por la disminución de los costos de hardware y de las
fuentes de datos “complejas”.
• La comprensión de una variedad cada vez mayor de datos
• Debemos poder analizar datos tanto relacionales como no relacionales. Más del 85%
de los datos capturados son desestructurados.
• Habilitación de análisis en tiempo real de los datos
• Los nuevos generadores de datos (Twitter, Facebook, Apps, …) están produciendo
volúmenes de datos sin precedentes y en tiempo real, lo que no se puede analizar
eficazmente mediante procesos por lotes normales.
12. www.consultec.es
Utilidades
Toma de decisiones
El valor del Big Data no es la información, sino la nueva forma de toma de
decisiones basada en evidencias y datos empíricos.
Tomar decisiones en base a datos empíricos y tendencias
Tomar decisiones en base a corazonadas, instinto o
experiencias pasadas
13. www.consultec.es
Utilidades
Experimentación
Una vez recopilados los datos que nos
interesan, la experimentación y la
exploración de los mismos puede
mostrarnos información que a primera vista
nunca hubiésemos encontrado o que nunca
se nos hubiese ocurrido buscar.
17. www.consultec.es
Ejemplo real: Walmart
• Algunos datos:
• 200 millones de clientes a la semana
• 10700 tiendas
• 27 países
• 2 millones de trabajadores
• 1,5 millones de transacciones por hora
• Varios Terabytes de información generada en tiempo real
• Base de datos de 3 Petabytes
18. www.consultec.es
Ejemplo real: Walmart
Guardando todas las compras de todos los clientes se dieron cuenta que
en época de huracanes los Walmart de las zonas afectadas vendían más
cajas de Pop-Tarts que en otras épocas.
Se indicó a los gerentes de las tiendas que en esas épocas pusiesen los
Pop-Tarts en la entrada de las tiendas.
Resultado: Aumento extraordinario de las ventas
¿A quién se le hubiese ocurrido cruzar los
datos de ventas con los datos meteorológicos
o con los calendarios de huracanes?
19. www.consultec.es
Ejemplo real: Walmart
Hanna twitea:
“I love Salt!”.
En unos segundos el Tweet llega a los sistemas de Walmart, se analiza y
unos minutos más tarde le llega a una amiga suya el siguiente email:
“Buenos días!
Nos pediste que te avisásemos cuando fuese el cumpleaños
de Hanna. Pues ya está aquí y acaba de tweetear algo
bueno sobre la película “Salt” de Angelina Jolie.
¿Quieres regalarle algo relacionado con ello?
Tenemos algunas sugerencias que hacerte …”
20. www.consultec.es
Ejemplo real: Walmart
• Social Genome
Base de conocimiento que captura entidades y relaciones del mundo
social.
Obtiene información de su base de datos, de otros datos tanto públicos
como privados y de redes sociales.
A partir de ahí identifican entidades “interesantes” y las relacionan
entre sí, consiguiendo toda la información de la que son capaces.
Es un sistema vivo, en constante evolución.
21. www.consultec.es
Ejemplo real: Walmart
• Entidades: • Relaciones
• Una persona interesada en un tema
• Una persona que asiste a un evento
• Un evento sobre un tema
• Una asociación entre empresa y
producto
24. www.consultec.es
Markets de Datos
Además de las fuentes de datos que tengamos en nuestra organización:
bases de datos, emails, logs, documentos, etc … Podemos acceder a
grandes volúmenes de datos (Data Sets) en los markets.
Hay gratuitos y de pago.
25. www.consultec.es
Hadoop
• Es una plataforma diseñada para almacenar y analizar grandes
volúmenes de datos de diferentes tipos. Basada en Google
Map/Reduce y Google Filesystem.
• Map/Reduce:
• Map: recoger los datos, estructurarlos, extraer la
información interesante, etc … para poder trabajar con
ellos.
Los trabajos se distribuyen en los nodos para
procesarse paralelamente.
• Reduce: combina la información generada en los Map.
• HDFS (Hadoop Distributed File System):
• Sistema de archivos distribuidos, con replicación
automática y optimizado para lectura. Cada fichero se
particiona y se distribuye en todos los servidores.
26. www.consultec.es
Hadoop
• Otros proyectos alrededor de Hadoop
• Hive: Data Warehouse sobre Hadoop con lenguaje HiveQL (“SQL”).
• Pig: Lenguaje de script para consulta y análisis de la información. Desarrollado
por Yahoo!.
• Sqoop: Framework para la integración de bases de datos relacionales con
Hadoop
• Flume: Servicio para recolectar, agregar y mover grandes volúmenes de datos
de eventos/logs y streaming.
• …
28. www.consultec.es
Microsoft HDInsight
• Acceso a todo tipo de usuarios, incluidos desarrolladores y
profesionales IT. Fácil instalación, administración y configuración.
• Integración con herramientas conocidas como Excel, PowerPivot,
PowerView, SQL Server Analysis Services o Reporting Services.
• .NET SDK para Hadoop (a través e NuGet):
• Map/Reduce
• LINQ to Hive
• WebHDFS Client