Este documento describe los primeros pasos para trabajar con Big Data. Primero, define la transformación digital como un proceso mediante el cual las empresas transforman su estructura de negocio para explotar el potencial del canal digital. Luego, destaca algunos desafíos comunes de los proyectos de Big Data, como que las empresas solo perciben parte del valor o que más del 50% de los proyectos no llegan a buen término. Finalmente, presenta una sesión de evaluación/descubrimiento de Big Data para detectar casos de uso que mejoren el negocio
El documento describe varias tecnologías que están avanzando de manera exponencial, como la computación, internet móvil, robótica avanzada y vehículos autónomos. También describe cómo estas tecnologías están acelerando el progreso tecnológico de acuerdo a la ley de retornos acelerados, donde los avances tecnológicos pasados permiten nuevos y más rápidos avances. El documento analiza el impacto potencial de estas tecnologías exponenciales en áreas como la medicina, agricultura y más.
2016 ULL Cabildo KEEDIO - Arquitecturas Big DataKEEDIO
KEEDIO: Arquitecturas Big Data
INDICE
Lo que es Big Data
La cadena de valor de Big Data
Casos de uso – Con éxitos y fracasos
Roles de Big Data y el cambio en las organizaciones
Cómo lo hacemos: Con una plataforma y metodología
2016 ULL Cabildo KEEDIO - Proyecto y Roles Big DataKEEDIO
KEEDIO: Proyecto y Roles Big Data
INDICE
Lo que es Big Data y su futuro
La cadena de valor de Big Data
Casos de uso – Con éxitos y fracasos
Roles de Big Data y el cambio en las organizaciones
Cómo lo hacemos: Con una plataforma y metodología
Este documento describe la evolución del procesamiento de grandes volúmenes de datos, desde los primeros esfuerzos de Google para procesar grandes matrices hasta el desarrollo de frameworks como MapReduce y Hadoop. También analiza cómo herramientas de Business Intelligence y minería de datos se han actualizado para aprovechar estas nuevas tecnologías de Big Data, permitiendo nuevos modelos de negocio y demandas laborales.
Un recorrido por las diferentes tendencias del Big Data, importantes eventos a nivel mundial, desarrollo del Big Data en Europa, Estados Unidos y Corea del Sur y más.
Nota: referencias y enlaces de interés indicados en los comentarios de cada diapositiva, descargar la presentación para poder verlos.
El documento presenta una introducción a los conceptos de big data y business intelligence. Explica que el business intelligence se refiere a la habilidad de transformar datos en información y conocimiento para optimizar la toma de decisiones empresariales. Define big data como grandes cantidades de datos estructurados y no estructurados de diversas fuentes. Describe a Hadoop como una plataforma clave para el almacenamiento y procesamiento de big data a gran escala de manera distribuida. Finalmente, discute cómo el big data y el business intelligence están estrechamente relacionados y
Este documento describe los primeros pasos para trabajar con Big Data. Primero, define la transformación digital como un proceso mediante el cual las empresas transforman su estructura de negocio para explotar el potencial del canal digital. Luego, destaca algunos desafíos comunes de los proyectos de Big Data, como que las empresas solo perciben parte del valor o que más del 50% de los proyectos no llegan a buen término. Finalmente, presenta una sesión de evaluación/descubrimiento de Big Data para detectar casos de uso que mejoren el negocio
El documento describe varias tecnologías que están avanzando de manera exponencial, como la computación, internet móvil, robótica avanzada y vehículos autónomos. También describe cómo estas tecnologías están acelerando el progreso tecnológico de acuerdo a la ley de retornos acelerados, donde los avances tecnológicos pasados permiten nuevos y más rápidos avances. El documento analiza el impacto potencial de estas tecnologías exponenciales en áreas como la medicina, agricultura y más.
2016 ULL Cabildo KEEDIO - Arquitecturas Big DataKEEDIO
KEEDIO: Arquitecturas Big Data
INDICE
Lo que es Big Data
La cadena de valor de Big Data
Casos de uso – Con éxitos y fracasos
Roles de Big Data y el cambio en las organizaciones
Cómo lo hacemos: Con una plataforma y metodología
2016 ULL Cabildo KEEDIO - Proyecto y Roles Big DataKEEDIO
KEEDIO: Proyecto y Roles Big Data
INDICE
Lo que es Big Data y su futuro
La cadena de valor de Big Data
Casos de uso – Con éxitos y fracasos
Roles de Big Data y el cambio en las organizaciones
Cómo lo hacemos: Con una plataforma y metodología
Este documento describe la evolución del procesamiento de grandes volúmenes de datos, desde los primeros esfuerzos de Google para procesar grandes matrices hasta el desarrollo de frameworks como MapReduce y Hadoop. También analiza cómo herramientas de Business Intelligence y minería de datos se han actualizado para aprovechar estas nuevas tecnologías de Big Data, permitiendo nuevos modelos de negocio y demandas laborales.
Un recorrido por las diferentes tendencias del Big Data, importantes eventos a nivel mundial, desarrollo del Big Data en Europa, Estados Unidos y Corea del Sur y más.
Nota: referencias y enlaces de interés indicados en los comentarios de cada diapositiva, descargar la presentación para poder verlos.
El documento presenta una introducción a los conceptos de big data y business intelligence. Explica que el business intelligence se refiere a la habilidad de transformar datos en información y conocimiento para optimizar la toma de decisiones empresariales. Define big data como grandes cantidades de datos estructurados y no estructurados de diversas fuentes. Describe a Hadoop como una plataforma clave para el almacenamiento y procesamiento de big data a gran escala de manera distribuida. Finalmente, discute cómo el big data y el business intelligence están estrechamente relacionados y
Sin el boom de las redes sociales, el Big Data no sería lo que es ahora. En la sesión se presentarán casos de uso y ejemplos de las posibilidades de la minería de datos sociales y geolocalizados en la generación de valor para diferentes sectores
Sobre el ponente
Oscar Marín Miró (outliers.es)
Ingeniero de Telecomunicaciones, trabaja e investiga desde el año 2001 en lo que ahora llamamos ‘Big Data’. Especializado en el análisis de texto, redes sociales, datos urbanos y visualización de datos. Fundador del colectivo Outliers, desde donde se fomenta la aplicación del valor de los datos a todos los campos (Ciencia, Periodismo, Urbanismo, Sociología, Marketing…).
Miembro del equipo de investigación transdisciplinar DatAnalysis15m, enfocado en el análisis entre la viralidad y el contenido emocional del mensaje. En la faceta docente, imparte cursos regularmente sobre análisis y visualización de datos, en diversas Universidades, Compañías e Instituciones (UOC, UAB, Telenoika Audiovisual Community, Convent de Sant Agustí, Telefónica Digital).
Además Óscar és profesor de nuestro Postgrado en Business Intelligence
Big Data, Big Customer Value, Big ResultsMundo Contact
Este documento presenta los conceptos clave de Big Data y cómo las empresas pueden obtener valor de los grandes volúmenes de datos. Define Big Data, discute los desafíos como la calidad y consistencia de los datos, y describe siete pasos para el análisis de Big Data que incluyen la recolección, procesamiento, almacenamiento y consumo de datos. El objetivo final es que las empresas puedan tomar mejores decisiones comerciales y ofrecer una experiencia más personalizada para los clientes basada en los datos.
El documento describe la plataforma de datos Keedio Data Stack (KDS), que incluye múltiples módulos para la ingesta, almacenamiento, procesamiento y análisis de datos. Los módulos se basan en herramientas de código abierto como Apache Flume, HDFS, Kafka, Spark y Elasticsearch. La plataforma ofrece capacidades de ingesta de datos, procesamiento por lotes y en tiempo real, almacenamiento a largo plazo, orquestación de flujos de trabajo y análisis avanzado. La interfaz Keedio Manager
Este documento proporciona una introducción al concepto de Big Data. Explica que Big Data se refiere a grandes conjuntos de datos que son difíciles de procesar con herramientas de bases de datos convencionales. Describe las tres características clave de Big Data: volumen, velocidad y variedad. Además, introduce algunas tecnologías clave como MapReduce y bases de datos NoSQL. Finalmente, explica brevemente el procesamiento de lenguaje natural como una aplicación de Big Data.
BDAS-2017 | Deep Learning para Extracción de Valor en Contenidos DigitalesBig-Data-Summit
Es común referirse al "Dark Data" como aquellos conjuntos de datos que no son directamente aprovechables por medios automatizados y que requerirían la intervención de expertos humanos para interpretarlos correctamente. En esta sesión se presentan las nuevas técnicas y herramientas de Deep Learning, que hacen posible la extracción automática de metadatos y relaciones semánticas mediante el uso de redes de neuronas profundas. En particular, se analizarán los casos de uso más habituales en los ecosistemas Big Data: visión artificial y comprensión del lenguaje.
El documento presenta una serie de diapositivas de una presentación sobre la gestión y dirección de proyectos de Big Data. Se discuten conceptos clave como las tecnologías emergentes, el interés asociado a Big Data a través del tiempo, la brecha entre los datos y el negocio, y las cinco áreas clave para la gestión y dirección de proyectos digitales: identificación y supervisión de proveedores, captación y retención de talento, gestión de costes y calidad, dirección de proyectos de datos, y gestión y dirección de
Introducción al concepto Big Data en español, con ejemplos de aplicaciones y caso de estudio. El seminario tiene una duración aproximada de 3 horas a lo largo de las cuales se repasan los siguientes puntos:
Contexto
Definición
Utilidades (Casos de aplicación)
Arquitectura y software
-->Ejemplo de aplicación: Metamail
-->Cuadrante mágico de aplicaciones
Caso de estudio: Obama 2012
Análisis con Big Data
Cuándo y cómo empezar?
Gobierno de datos
Espero que os guste!
BDAS-2017 | Evolución de Open Data en el desarrollo de las ciudades inteligentesBig-Data-Summit
Desde que en 2004 la entonces Open Knowledge Foundation iniciara su andadura reclamando el derecho de los ciudadanos sobre los datos públicos, la panorámica universal ha cambiado enormemente. En parte gracias a las políticas de transparencia de los gobiernos más avanzados y en parte también por el necesario desarrollo de las smartcities. Una estrategia muy aceptada por las grandes ciudades para conseguir una moderna calidad de vida sin comprometer la seguridad de los ciudadanos es motivar la participación de empresas, instituciones e individuos en el desarrollo de los recursos y aplicaciones: "Te invitamos a descubrir y construir a través de los datos públicos” es el mensaje de algunos gobiernos. Pero, ¿cómo se consigue? Está claro que las nuevas tecnologías de la información están muy presentes en este objetivo. Los ciudadanos de cualquier índole son invitados a participar con su opinión, proporcionándoles toda la información necesaria de forma transparente. Las empresas son invitadas a generar negocios de interés para los ciudadanos que a la vez generen riqueza y contribuyan al desarrollo económico de las empresas e instituciones. Un ejemplo es la aplicación Moovit que nos permite saber a qué hora llegara el autobús, pero hoy en día hay ya infinidad de aplicaciones basadas en la reutilización de datos abiertos.
Motivados por las políticas de transparencia, los gobiernos están dispuestos a proporcionar la materia prima más valiosa: los datos. Estos datos son recogidos con dinero público, almacenados y actualizados en formatos fácilmente manejables. Una vez publicados se convierten en Open Data. Desde el 30 de septiembre de 2010, cuando el Archivo Nacional del Reino Unido liberó la primera licencia gubernamental de reutilización de los datos, las doctrinas de Gobierno Abierto han tenido como objetivo que la ciudadanía colabore en la creación y mejora de servicios públicos y en la transparencia.
Habitualmente los Open Data son accesibles en portales web que han ido evolucionando muy positivamente en los últimos años. En estos portales podemos descargar conjuntos de datos -datasets- y analizarlos directamente. También podemos solicitar la publicación de nuevos conjuntos de datos o automatizar descargas o consultas de interés para nuestros negocios. En la era del Big Data, las fuentes de información abiertas cobran un especial interés: son datos actualizados, limpios y fiables. No requieren complicados procesos de integración al no contener ruido y sólo tendremos que descargar los que necesitemos en cada momento, por lo que ahorramos tanto tiempo de transferencia como costes de almacenamiento.
El documento presenta información sobre Big Data. Explica que Big Data se refiere a sistemas informáticos que acumulan grandes cantidades de datos y los analizan para identificar patrones. Describe brevemente la historia del término Big Data y sus características principales como volumen, velocidad y variedad. Finalmente, ofrece ejemplos del uso de Big Data por empresas como Macy's, Mercedes-Benz y Nestlé para mejorar la toma de decisiones.
El documento describe las aplicaciones, tecnologías y mejores prácticas de Big Data. Explica que Big Data involucra grandes volúmenes de datos estructurados y no estructurados de diversas fuentes que pueden analizarse para obtener información valiosa. Describe aplicaciones de Big Data en varias industrias y tecnologías clave como Hadoop, bases de datos no relacionales y columnares. También cubre mejores prácticas como partir de hipótesis, construir infraestructura flexible y permitir que empleados de distintas á
BDAS-2017 | Big Data y Retail: fidelizando a mis clientes en un entorno compe...Big-Data-Summit
En el mundo del retail, la inteligencia de cliente siempre ha sido un elemento nuclear de gestión. Conocer qué compra, cómo lo hace, qué gustos tiene, etc., ha sido, en el mundo del comercio, consumo y retail, una oportunidad de desarrollo de nuevas oportunidades de negocio. Sin embargo, otros instrumentos de gestión, igualmente importantes, no había sido fácil de gestionar hasta la aparición del paradigma del Big Data. La optimización de precios, el emplazamiento óptimo de producto, el aprovisionamiento más inteligente y eficiente o la logística optimizada, son conceptos ligados a la capacidad de procesamiento que ofrece el paradigma del Big Data y sus algoritmos de machine learning. A través de un ejemplo real de una de las mayores cadenas de retail de España, veremos cómo la optimización de un precio es un caso de uso típico en el retail, que de ser definido en tiempo real, tiene muchas implicaciones en políticas de precio, comerciales, distribución, logística, etc. Este ejemplo, formará parte de una intervención amplia viendo las oportunidades que abre el Big Data y la transformación digital en el mundo del retail.
Introducción a Big Data. HDInsight - Webcast Technet SolidQSolidQ
Este documento presenta una introducción a Big Data, incluyendo las tendencias de la industria, definiciones de Big Data, ejemplos de datos masivos, y utilidades de Big Data. También describe escenarios de análisis empresarial utilizando herramientas como Hadoop, Hive y HDInsight, y cómo Microsoft Excel puede usarse para explotar y analizar grandes conjuntos de datos.
Big Data no es una moda ni algo que esté por venir. Gran parte de las organizaciones ya cuentan con bases de datos tan grandes que requieren usar herramientas especiales. Ésta presentación nos ayuda a dar el primer paso, a conocer que en realidad qué es y como funciona, así como a adentrarnos en este maravilloso mundo de los datos al por mayor.
En el último año, Big Data se ha transformado en uno de los pilares más importantes de la estrategia de negocio de los Bancos de Chile y el mundo. En un entorno cada vez más competitivo y con altos niveles de regulación, las organizaciones deben comenzar a tomar decisiones en función de los datos y no de la intuición. Para tomar dichas decisiones, se vuelve necesario procesar grandes volúmenes de información de manera eficiente, incorporando nuevas fuentes de datos y automatizando las decisiones a través de algoritmos analíticos avanzados. Durante esta presentación, analizaremos qué deben hacer los Bancos para transformar su arquitectura de datos tradicional, en una arquitectura de datos moderna con soporte para big data y así estar preparados para abordar los nuevos desafíos que plantea la transformación digital del negocio financiero.
Paradigmas de Procesamiento en Big Data: Arquitecturas y Tecnologías aplicadasBig-Data-Summit
El objetivo de la charla es el de brindar una visión global de los distintos paradigmas de procesamiento que existen en Big data y de las tecnologías de última generación asociadas a cada uno de las etapas necesarias para desarrollar un proyecto Big Data.
Data Science - Analítica Predictiva y Evolución de BIPatricio Del Boca
El documento presenta una introducción a Data Science. Explica que Data Science es el proceso de transformar hipótesis y datos en predicciones accionables. Describe algunas soluciones comunes como detección de fraude, recomendaciones y predicción de demanda. También resume las etapas del ciclo de vida de un proyecto de Data Science, incluida la comprensión del negocio, preparación de datos y modelado.
El documento describe el concepto de Big Data. Explica que Big Data incluye tres aspectos: marketing por parte de la industria de software, tecnología centrada en NoSQL, y nuevas formas de abordar problemas de negocio. También proporciona ejemplos de compañías de Big Data como Hadoop, Cassandra y MongoDB, y casos de uso potenciales en diferentes industrias. Finalmente, discute los retos de Big Data como el alto costo y la escasez de proyectos, pero predice que Big Data se convertirá en una parte integral de las operaciones empres
Analizamos el mundo a través de un rompecabezas, conformado por piezas de conocimientos que se agrupan en categorizaciones, grupos, familias y etiquetas. Así es como la ciencia ha podido “saber más“ en detalle sobre los diferentes aspectos de la realidad. Pero, ¿qué pasaría si quisiéramos tener un entendimiento completo de una situación “x”? Deberíamos comenzar a descubrir el cuadro completo “big data, big picture” que se esconde detrás de toda pieza analizada.
Este documento resume una presentación sobre las oportunidades de negocio en la industria de los grandes datos o "Big Data". Explica que los grandes datos se refieren a grandes cantidades de datos de múltiples fuentes que pueden procesarse en tiempo real. También describe cómo los datos masivos están creciendo rápidamente y representan una nueva fuente de valor económico. Finalmente, identifica varias oportunidades comerciales en áreas como la analítica, la seguridad, la medicina y el marketing basado en los grandes datos.
Sin el boom de las redes sociales, el Big Data no sería lo que es ahora. En la sesión se presentarán casos de uso y ejemplos de las posibilidades de la minería de datos sociales y geolocalizados en la generación de valor para diferentes sectores
Sobre el ponente
Oscar Marín Miró (outliers.es)
Ingeniero de Telecomunicaciones, trabaja e investiga desde el año 2001 en lo que ahora llamamos ‘Big Data’. Especializado en el análisis de texto, redes sociales, datos urbanos y visualización de datos. Fundador del colectivo Outliers, desde donde se fomenta la aplicación del valor de los datos a todos los campos (Ciencia, Periodismo, Urbanismo, Sociología, Marketing…).
Miembro del equipo de investigación transdisciplinar DatAnalysis15m, enfocado en el análisis entre la viralidad y el contenido emocional del mensaje. En la faceta docente, imparte cursos regularmente sobre análisis y visualización de datos, en diversas Universidades, Compañías e Instituciones (UOC, UAB, Telenoika Audiovisual Community, Convent de Sant Agustí, Telefónica Digital).
Además Óscar és profesor de nuestro Postgrado en Business Intelligence
Big Data, Big Customer Value, Big ResultsMundo Contact
Este documento presenta los conceptos clave de Big Data y cómo las empresas pueden obtener valor de los grandes volúmenes de datos. Define Big Data, discute los desafíos como la calidad y consistencia de los datos, y describe siete pasos para el análisis de Big Data que incluyen la recolección, procesamiento, almacenamiento y consumo de datos. El objetivo final es que las empresas puedan tomar mejores decisiones comerciales y ofrecer una experiencia más personalizada para los clientes basada en los datos.
El documento describe la plataforma de datos Keedio Data Stack (KDS), que incluye múltiples módulos para la ingesta, almacenamiento, procesamiento y análisis de datos. Los módulos se basan en herramientas de código abierto como Apache Flume, HDFS, Kafka, Spark y Elasticsearch. La plataforma ofrece capacidades de ingesta de datos, procesamiento por lotes y en tiempo real, almacenamiento a largo plazo, orquestación de flujos de trabajo y análisis avanzado. La interfaz Keedio Manager
Este documento proporciona una introducción al concepto de Big Data. Explica que Big Data se refiere a grandes conjuntos de datos que son difíciles de procesar con herramientas de bases de datos convencionales. Describe las tres características clave de Big Data: volumen, velocidad y variedad. Además, introduce algunas tecnologías clave como MapReduce y bases de datos NoSQL. Finalmente, explica brevemente el procesamiento de lenguaje natural como una aplicación de Big Data.
BDAS-2017 | Deep Learning para Extracción de Valor en Contenidos DigitalesBig-Data-Summit
Es común referirse al "Dark Data" como aquellos conjuntos de datos que no son directamente aprovechables por medios automatizados y que requerirían la intervención de expertos humanos para interpretarlos correctamente. En esta sesión se presentan las nuevas técnicas y herramientas de Deep Learning, que hacen posible la extracción automática de metadatos y relaciones semánticas mediante el uso de redes de neuronas profundas. En particular, se analizarán los casos de uso más habituales en los ecosistemas Big Data: visión artificial y comprensión del lenguaje.
El documento presenta una serie de diapositivas de una presentación sobre la gestión y dirección de proyectos de Big Data. Se discuten conceptos clave como las tecnologías emergentes, el interés asociado a Big Data a través del tiempo, la brecha entre los datos y el negocio, y las cinco áreas clave para la gestión y dirección de proyectos digitales: identificación y supervisión de proveedores, captación y retención de talento, gestión de costes y calidad, dirección de proyectos de datos, y gestión y dirección de
Introducción al concepto Big Data en español, con ejemplos de aplicaciones y caso de estudio. El seminario tiene una duración aproximada de 3 horas a lo largo de las cuales se repasan los siguientes puntos:
Contexto
Definición
Utilidades (Casos de aplicación)
Arquitectura y software
-->Ejemplo de aplicación: Metamail
-->Cuadrante mágico de aplicaciones
Caso de estudio: Obama 2012
Análisis con Big Data
Cuándo y cómo empezar?
Gobierno de datos
Espero que os guste!
BDAS-2017 | Evolución de Open Data en el desarrollo de las ciudades inteligentesBig-Data-Summit
Desde que en 2004 la entonces Open Knowledge Foundation iniciara su andadura reclamando el derecho de los ciudadanos sobre los datos públicos, la panorámica universal ha cambiado enormemente. En parte gracias a las políticas de transparencia de los gobiernos más avanzados y en parte también por el necesario desarrollo de las smartcities. Una estrategia muy aceptada por las grandes ciudades para conseguir una moderna calidad de vida sin comprometer la seguridad de los ciudadanos es motivar la participación de empresas, instituciones e individuos en el desarrollo de los recursos y aplicaciones: "Te invitamos a descubrir y construir a través de los datos públicos” es el mensaje de algunos gobiernos. Pero, ¿cómo se consigue? Está claro que las nuevas tecnologías de la información están muy presentes en este objetivo. Los ciudadanos de cualquier índole son invitados a participar con su opinión, proporcionándoles toda la información necesaria de forma transparente. Las empresas son invitadas a generar negocios de interés para los ciudadanos que a la vez generen riqueza y contribuyan al desarrollo económico de las empresas e instituciones. Un ejemplo es la aplicación Moovit que nos permite saber a qué hora llegara el autobús, pero hoy en día hay ya infinidad de aplicaciones basadas en la reutilización de datos abiertos.
Motivados por las políticas de transparencia, los gobiernos están dispuestos a proporcionar la materia prima más valiosa: los datos. Estos datos son recogidos con dinero público, almacenados y actualizados en formatos fácilmente manejables. Una vez publicados se convierten en Open Data. Desde el 30 de septiembre de 2010, cuando el Archivo Nacional del Reino Unido liberó la primera licencia gubernamental de reutilización de los datos, las doctrinas de Gobierno Abierto han tenido como objetivo que la ciudadanía colabore en la creación y mejora de servicios públicos y en la transparencia.
Habitualmente los Open Data son accesibles en portales web que han ido evolucionando muy positivamente en los últimos años. En estos portales podemos descargar conjuntos de datos -datasets- y analizarlos directamente. También podemos solicitar la publicación de nuevos conjuntos de datos o automatizar descargas o consultas de interés para nuestros negocios. En la era del Big Data, las fuentes de información abiertas cobran un especial interés: son datos actualizados, limpios y fiables. No requieren complicados procesos de integración al no contener ruido y sólo tendremos que descargar los que necesitemos en cada momento, por lo que ahorramos tanto tiempo de transferencia como costes de almacenamiento.
El documento presenta información sobre Big Data. Explica que Big Data se refiere a sistemas informáticos que acumulan grandes cantidades de datos y los analizan para identificar patrones. Describe brevemente la historia del término Big Data y sus características principales como volumen, velocidad y variedad. Finalmente, ofrece ejemplos del uso de Big Data por empresas como Macy's, Mercedes-Benz y Nestlé para mejorar la toma de decisiones.
El documento describe las aplicaciones, tecnologías y mejores prácticas de Big Data. Explica que Big Data involucra grandes volúmenes de datos estructurados y no estructurados de diversas fuentes que pueden analizarse para obtener información valiosa. Describe aplicaciones de Big Data en varias industrias y tecnologías clave como Hadoop, bases de datos no relacionales y columnares. También cubre mejores prácticas como partir de hipótesis, construir infraestructura flexible y permitir que empleados de distintas á
BDAS-2017 | Big Data y Retail: fidelizando a mis clientes en un entorno compe...Big-Data-Summit
En el mundo del retail, la inteligencia de cliente siempre ha sido un elemento nuclear de gestión. Conocer qué compra, cómo lo hace, qué gustos tiene, etc., ha sido, en el mundo del comercio, consumo y retail, una oportunidad de desarrollo de nuevas oportunidades de negocio. Sin embargo, otros instrumentos de gestión, igualmente importantes, no había sido fácil de gestionar hasta la aparición del paradigma del Big Data. La optimización de precios, el emplazamiento óptimo de producto, el aprovisionamiento más inteligente y eficiente o la logística optimizada, son conceptos ligados a la capacidad de procesamiento que ofrece el paradigma del Big Data y sus algoritmos de machine learning. A través de un ejemplo real de una de las mayores cadenas de retail de España, veremos cómo la optimización de un precio es un caso de uso típico en el retail, que de ser definido en tiempo real, tiene muchas implicaciones en políticas de precio, comerciales, distribución, logística, etc. Este ejemplo, formará parte de una intervención amplia viendo las oportunidades que abre el Big Data y la transformación digital en el mundo del retail.
Introducción a Big Data. HDInsight - Webcast Technet SolidQSolidQ
Este documento presenta una introducción a Big Data, incluyendo las tendencias de la industria, definiciones de Big Data, ejemplos de datos masivos, y utilidades de Big Data. También describe escenarios de análisis empresarial utilizando herramientas como Hadoop, Hive y HDInsight, y cómo Microsoft Excel puede usarse para explotar y analizar grandes conjuntos de datos.
Big Data no es una moda ni algo que esté por venir. Gran parte de las organizaciones ya cuentan con bases de datos tan grandes que requieren usar herramientas especiales. Ésta presentación nos ayuda a dar el primer paso, a conocer que en realidad qué es y como funciona, así como a adentrarnos en este maravilloso mundo de los datos al por mayor.
En el último año, Big Data se ha transformado en uno de los pilares más importantes de la estrategia de negocio de los Bancos de Chile y el mundo. En un entorno cada vez más competitivo y con altos niveles de regulación, las organizaciones deben comenzar a tomar decisiones en función de los datos y no de la intuición. Para tomar dichas decisiones, se vuelve necesario procesar grandes volúmenes de información de manera eficiente, incorporando nuevas fuentes de datos y automatizando las decisiones a través de algoritmos analíticos avanzados. Durante esta presentación, analizaremos qué deben hacer los Bancos para transformar su arquitectura de datos tradicional, en una arquitectura de datos moderna con soporte para big data y así estar preparados para abordar los nuevos desafíos que plantea la transformación digital del negocio financiero.
Paradigmas de Procesamiento en Big Data: Arquitecturas y Tecnologías aplicadasBig-Data-Summit
El objetivo de la charla es el de brindar una visión global de los distintos paradigmas de procesamiento que existen en Big data y de las tecnologías de última generación asociadas a cada uno de las etapas necesarias para desarrollar un proyecto Big Data.
Data Science - Analítica Predictiva y Evolución de BIPatricio Del Boca
El documento presenta una introducción a Data Science. Explica que Data Science es el proceso de transformar hipótesis y datos en predicciones accionables. Describe algunas soluciones comunes como detección de fraude, recomendaciones y predicción de demanda. También resume las etapas del ciclo de vida de un proyecto de Data Science, incluida la comprensión del negocio, preparación de datos y modelado.
El documento describe el concepto de Big Data. Explica que Big Data incluye tres aspectos: marketing por parte de la industria de software, tecnología centrada en NoSQL, y nuevas formas de abordar problemas de negocio. También proporciona ejemplos de compañías de Big Data como Hadoop, Cassandra y MongoDB, y casos de uso potenciales en diferentes industrias. Finalmente, discute los retos de Big Data como el alto costo y la escasez de proyectos, pero predice que Big Data se convertirá en una parte integral de las operaciones empres
Analizamos el mundo a través de un rompecabezas, conformado por piezas de conocimientos que se agrupan en categorizaciones, grupos, familias y etiquetas. Así es como la ciencia ha podido “saber más“ en detalle sobre los diferentes aspectos de la realidad. Pero, ¿qué pasaría si quisiéramos tener un entendimiento completo de una situación “x”? Deberíamos comenzar a descubrir el cuadro completo “big data, big picture” que se esconde detrás de toda pieza analizada.
Este documento resume una presentación sobre las oportunidades de negocio en la industria de los grandes datos o "Big Data". Explica que los grandes datos se refieren a grandes cantidades de datos de múltiples fuentes que pueden procesarse en tiempo real. También describe cómo los datos masivos están creciendo rápidamente y representan una nueva fuente de valor económico. Finalmente, identifica varias oportunidades comerciales en áreas como la analítica, la seguridad, la medicina y el marketing basado en los grandes datos.
Semana de la Ciencia 2014 (Martínez-Prieto)Carlos Cuesta
Este documento trata sobre los fundamentos de la Web 3.0 y su objetivo de construir una Web de Datos. La Web 3.0 rompe con la visión documental de la WWW actual y da identidad propia a los datos en bruto, obteniendo una estructura de grafo similar a la WWW donde los nodos representan datos y las aristas describen las relaciones semánticas entre ellos. La Web 3.0 se despliega sobre la infraestructura de la WWW actual usando HTTP para facilitar la reutilización de conocimientos.
Big Data es un término de actualidad que parece contener la respuesta a todos los problemas de la sociedad, hasta el punto en que muchos exageran las expectativas sobre los beneficios que puede generar e ignoran sus verdaderas virtudes.
Dado el avance de nuestra sociedad, la generación de información es cada vez más desenfrenada, de forma que la comprensión de lo que ocurre puede suponer una ventaja competitiva importante para empresas y organismos públicos.
En esta presentación, correspondiente al ciclo de Big Data organizado por Rainer Open School, se estudia esta tendencia y el papel del científico de datos.
Este documento presenta una introducción a las arquitecturas y herramientas de Big Data. Explica conceptos clave como volumen, velocidad y variedad de datos, y muestra casos de uso comunes como la administración pública y el transporte. Luego describe las arquitecturas de referencia de Hadoop, incluidos HDFS para almacenamiento y YARN para recursos, y herramientas como MapReduce, Spark y Sqoop para procesamiento por lotes e ingesta de datos.
BIG DATA en CLOUD PaaS para Internet de las Cosas (IoT)pmluque
Proyecto fin de carrera que nos introduce en el paradigma de Big Data y de las tecnologías que como Hadoop y sus ecosistema permiten la recolección y procesamiento masivo de datos. Incluye un caso práctico de movimiento, transformación y presentación de métricas e indicadores aplicado al sector de las máquinas expendedoras (vendings).
El documento habla sobre el uso de big data en la campaña de reelección de Barack Obama en 2012. La campaña utilizó un equipo de 100 personas para recopilar y analizar datos sobre votantes, con el objetivo de registrar a votantes convencidos, persuadir a indecisos y asegurar que los partidarios votaran. También describe cómo la NFL usa datos para ayudar a los equipos a tomar decisiones durante los partidos.
Esta es una actualización de el proyecto de Big Data que ha llegado a un primer resultado, El mapa de emotividad basada en Twitter, por cada entidad de México. El siguiente paso será hacer esto en tiempo real.
J. Verdura. Big Data: la nueva frontera de la revolución digital. Semanainfor...COIICV
Este documento describe el concepto de Big Data y su importancia como la nueva frontera de la revolución digital. Explica que la gran cantidad de datos generados por las personas, dispositivos y organizaciones crea nuevas oportunidades, pero también retos relacionados con la captura, almacenamiento, análisis y visualización de datos. Asimismo, presenta las nuevas tecnologías y arquitecturas necesarias para aprovechar el potencial del Big Data, y resalta la importancia de contar con el apoyo de empresas como IPM para iniciar con éxito
Este documento proporciona una visión general de Big Data, incluyendo su creciente volumen, variedad y velocidad. También describe algunos ejemplos de grandes cantidades de datos generados diariamente y cómo Big Data ya está afectando a varias industrias. Además, analiza las características clave de Big Data y las oportunidades que plantea para las empresas.
El documento habla sobre los conceptos básicos de Big Data. Explica que Big Data se refiere a la gran cantidad de datos que las empresas reciben de diversas fuentes como redes sociales, dispositivos electrónicos, entre otros, los cuales son demasiado grandes y complejos para ser procesados con herramientas tradicionales. También describe algunos objetivos y ventajas del Big Data como mejorar la toma de decisiones, identificar oportunidades y reducir costos. Finalmente, menciona algunos ejemplos de cómo diferentes industrias pueden aprovechar el
Presentación semana académica unam big data abril 2015Peter Kroll
Este documento compara Business Intelligence y Big Data. Business Intelligence ayuda a encontrar respuestas a preguntas conocidas mediante el análisis de datos estructurados, mientras que Big Data ayuda a descubrir nuevas preguntas a través del análisis de grandes volúmenes de datos estructurados y no estructurados procedentes de múltiples fuentes. El documento también describe los componentes clave de un sistema de Business Intelligence y proporciona ejemplos de cómo diferentes industrias están aprovechando los datos para mejorar sus operaciones y toma de decisiones.
Este documento introduce el concepto de Big Data, definiéndolo como grandes volúmenes de datos de diversos tipos que se generan y procesan rápidamente. Explica las 3 Vs de Big Data (volumen, variedad y velocidad) y los retos actuales de dar sentido a los datos y analizar múltiples tipos de información en tiempo real. También presenta ejemplos prácticos como el uso de datos por Walmart para mejorar las ventas y describe tecnologías clave como Hadoop y HDInsight de Microsoft.
Este documento presenta una introducción general sobre Big Data y sus aplicaciones a los negocios. Explica las 3 V del Big Data (Volumen, Variedad y Velocidad), así como las 7 V. Detalla las fases de un proyecto de Big Data y marcos como Hadoop. Incluye ejemplos de cómo empresas como Amazon, Netflix y Starbucks han aplicado con éxito Big Data. Concluye que las soluciones de Big Data involucran tecnologías como la inteligencia de negocios y el machine learning para extraer valor de grandes volúmenes y variedades de datos que cre
Presentación BigDataMachine para MarketingBigDataMachine
BigDataMachine, es una herramienta tecnológica autoadministrable que convierte los datos online en información de valor para la toma de decisiones. Los datos son capturados, procesados, ordenados, clasificados y reportados en estadísticas.
Cubre las necesidades de múltiples áreas de una empresa, principalmente conocimiento del cliente, marketing, operaciones y gestión del riesgo. Su objetivo es disminuir el riesgo en la variabilidad de los análisis ofreciendo visibilidad, organización y disponibilidad de los datos en el mundo online.
Permite, entre otras cosas: tomar decisiones en tiempo real con datos de valor, capturar oportunidades en ventas y marketing, analizar el comportamiento de los clientes, enriquecer la interacción con el usuario, profundiza el conocimiento de mercados, acelerar los procesos de investigación, detectar tendencias antes que nadie.
HPE presenta una competició destinada a estudiants, que busca fomentar habilitats tecnològiques i promoure la innovació en un entorn STEAM (Ciència, Tecnologia, Enginyeria, Arts i Matemàtiques). A través de diverses fases, els equips han de resoldre reptes mensuals basats en àrees com algorísmica, desenvolupament de programari, infraestructures tecnològiques, intel·ligència artificial i altres tecnologies. Els millors equips tenen l'oportunitat de desenvolupar un projecte més gran en una fase presencial final, on han de crear una solució concreta per a un conflicte real relacionat amb la sostenibilitat. Aquesta competició promou la inclusió, la sostenibilitat i l'accessibilitat tecnològica, alineant-se amb els Objectius de Desenvolupament Sostenible de l'ONU.
Catalogo Refrigeracion Miele Distribuidor Oficial Amado Salvador ValenciaAMADO SALVADOR
Descubre el catálogo general de la gama de productos de refrigeración del fabricante de electrodomésticos Miele, presentado por Amado Salvador distribuidor oficial Miele en Valencia. Como distribuidor oficial de electrodomésticos Miele, Amado Salvador ofrece una amplia selección de refrigeradores, congeladores y soluciones de refrigeración de alta calidad, resistencia y diseño superior de esta marca.
La gama de productos de Miele se caracteriza por su innovación tecnológica y eficiencia energética, garantizando que cada electrodoméstico no solo cumpla con las expectativas, sino que las supere. Los refrigeradores Miele están diseñados para ofrecer un rendimiento óptimo y una conservación perfecta de los alimentos, con características avanzadas como la tecnología de enfriamiento Dynamic Cooling, sistemas de almacenamiento flexible y acabados premium.
En este catálogo, encontrarás detalles sobre los distintos modelos de refrigeradores y congeladores Miele, incluyendo sus especificaciones técnicas, características destacadas y beneficios para el usuario. Amado Salvador, como distribuidor oficial de electrodomésticos Miele, garantiza que todos los productos cumplen con los más altos estándares de calidad y durabilidad.
Explora el catálogo completo y encuentra el refrigerador Miele perfecto para tu hogar con Amado Salvador, el distribuidor oficial de electrodomésticos Miele.
KAWARU CONSULTING presenta el projecte amb l'objectiu de permetre als ciutadans realitzar tràmits administratius de manera telemàtica, des de qualsevol lloc i dispositiu, amb seguretat jurídica. Aquesta plataforma redueix els desplaçaments físics i el temps invertit en tràmits, ja que es pot fer tot en línia. A més, proporciona evidències de la correcta realització dels tràmits, garantint-ne la validesa davant d'un jutge si cal. Inicialment concebuda per al Ministeri de Justícia, la plataforma s'ha expandit per adaptar-se a diverses organitzacions i països, oferint una solució flexible i fàcil de desplegar.
Catalogo Buzones BTV Amado Salvador Distribuidor Oficial ValenciaAMADO SALVADOR
Descubra el catálogo completo de buzones BTV, una marca líder en la fabricación de buzones y cajas fuertes para los sectores de ferretería, bricolaje y seguridad. Como distribuidor oficial de BTV, Amado Salvador se enorgullece de presentar esta amplia selección de productos diseñados para satisfacer las necesidades de seguridad y funcionalidad en cualquier entorno.
Descubra una variedad de buzones residenciales, comerciales y corporativos, cada uno construido con los más altos estándares de calidad y durabilidad. Desde modelos clásicos hasta diseños modernos, los buzones BTV ofrecen una combinación perfecta de estilo y resistencia, garantizando la protección de su correspondencia en todo momento.
Amado Salvador, se compromete a ofrecer productos de primera clase respaldados por un servicio excepcional al cliente. Como distribuidor oficial de BTV, entendemos la importancia de la seguridad y la tranquilidad para nuestros clientes. Por eso, trabajamos en colaboración con BTV para brindarle acceso a los mejores productos del mercado.
Explore el catálogo de buzones ahora y encuentre la solución perfecta para sus necesidades de correo y seguridad. Confíe en Amado Salvador y BTV para proporcionarle buzones de calidad excepcional que cumplan y superen sus expectativas.
3. Solving Big Data Issues 3
HISTORIA
Su matriz y equipo llevan
más de 10 años
haciendo computación
distribuida.
Una iniciativa conjunta
de Banco Santander con la
Universidad Alfonso X el
Sabio.
Especializada en tecnologías
Big Data (y Cloud
Computing)
Composición del equipo
técnico:
§ DataScientists
§ Desarrolladores
§ Sistemas
2005 2014 2016
4. Solving Big Data Issues 4
ANTECEDENTES
GRID
COMPUTING HPC
CLOUD
COMPUTING
Grids de cómputo
financiero y científicos
Laboratorio de cálculo
acelerado por GPUs
Despliegues de Clouds
Privados
NUESTRO RECORRIDO HACIA BIG DATA
DESDE 2005 HACIENDO PROYECTOS DE INNOVACIÓN Y COMPUTACIÓN DISTRIBUIDA
6. Plataforma
Servicios
Keedio tiene en propiedad una plataforma Big Data
(Keedio Data Stack)
Es OpenSource y está en producción.
Big Data Assessment (Descubriendo casos de uso).
Desarrollo de proyectos y soporte a la posventa. Sobre
cualquier tecnología, propietaria o no.
Formación comercial y a desarrolladores Big Data.
El abordaje de los proyectos, lo hacemos preferiblemente
de forma conjunta con nuestros partners. La unión de
conocimientos de ambos, garantiza el E2E.
8. OBJETIVO
En este taller haremos un recorrido desde los
conceptos básicos de Big Data hasta las plataformas
más utilizadas en los entornos empresariales.
Los ejemplos reales mostrarán diferentes casos de
éxito y fracaso a la hora de implantar sistemas de
tratamiento de datos masivos.
DESMITIFICAR BIGDATA
Big Data o Data Analytic o Big Data Analytic, es hacer
análisis de datos.
Los datos del operacional y otros, se analizan con las
tecnologías Big Data
9. ÍNDICE
Lo que es Big Data
(Qué) - Casos de uso
(Cómo) - Lo hacemos: Con una plataforma
Futuro: Data Centric
10. LO QUE ES BIG DATA
PROCESAMIENTO DISTRIBUIDO DE DATOS Y DE
LA INFORMACIÓN
11. Solving Big Data Issues 11
LO QUE DICE LA UE RESPECTO A BIG DATA (HORIZONTE 2020)
Empresas
4 de cada 10
desaparecerán (no tendrán
capacidad de
transformarse).
Profesionales
47% de los empleos van a
desaparecer.
53% van a cambiar.
2 Millones de posiciones no se
cubrirán por falta de
cualificación.
Lo que requerirá el mercado:
• Robótica
• Realidad aumentada
• Big Data.
Profesiones
Big Data, Data & Analytics (D&A):
• Acelera el crecimiento de una
organización hasta en un 40%.
• Las ofertas de empleo Big Data
aumentaron un 92% en 2015.
• IOT en el mundo va a facturar 1.9
Billones (Europeos) en la UE. 6
veces la industria farmacéutica.
Realidad aumentada va a aumentar por
30 su facturación.
Conclusión: Hay que estar en el mundo de Big Data (Data Analytic)
http://www.ticbeat.com/tecnologias/ofertas-empleo-big-data/
12. Solving Big Data Issues 12
EVOLUCIÓN
De los pueblos y las ciudades, al mundo virtual: analítica imprescindible
MUNDO PASADO MUNDO VIRTUAL
Aquí nos conocemos todos, o
podríamos hacerlo. El proveedor elige o
el cliente, como ocurría en los pueblos.
Aquí no tenemos contactos físicos,
hay que conocer al cliente por medio
de otros canales
13. Solving Big Data Issues
Sí es Big Data
13
DATOS Y PROCESAMIENTO: OPERACIONAL Y EL ANALÍTICO
§ Un conjunto de tecnologías para hacer análisis de
información
§ Data analytic
§ (Plataforma + casos de uso)
§ Dato Distribuido.
§ Distribución de procesos y almacenamiento en
diferentes nodos.
§ Operacional: Liquidación de cuentas, transferencias,
domiciliaciones…
§ ERP y CRM
§ Transaccional
§ Data Centric (not yet…)
No es Big Data
14. Solving Big Data Issues 14
CULTURILLA: LAS ∞ V,S DE BIG DATA
“Conjunto de nuevas
tecnologías capaces de
obtener valor de datos que
por su situación, volumen,
variedad o velocidad, antes
no se aprovechaban.”
Volume
Velocity
Variety
Visibility
Viscosity
Value
Veracity
Vampire
….
“Esa cantidad de datos que
no sabía que tenía ni que
podía usar y ahora que lo se
quiero hacerlo.”
Marketing, Sector Retail
15. Solving Big Data Issues
Big Data no solo
aplica para tratar
grandes
volúmenes de
datos
15
BIG DATA, ES EL MOMENTO DE LAS NUEVAS OPORTUNIDADES
§ De manera no estructurada y también
estructurada.
§ Diversas fuentes de información: Internas y
Externas.
Reducción
de Costes
Datos
Escalabilidad y Volumen
§ Hardware barato. Commodity
§ Plataforma barata.
§ Desarrollo divide los tiempos entre 4
Streaming
§ Procesado en real-time o near-real-time.
§ Imposible o muy costoso con tecnologías
convencionales.
§ Interpretación de los datos.
16. Solving Big Data Issues 16
BIG DATA: INFORMACIÓN ESTRUCTURADA Y/O NO ESTRUCTURADA
El 80% de los datos que existen son
No estructurados
El 20% de los datos que existen son
estructurados
Por eso Big Data está muy ligado a las bases de datos NoSQL (Not Only SQL)
La información almacenada caduca… la mejor base de datos es Internet. Hay en la Red una
ingente cantidad de información, actualizada al minuto por instituciones y particulares.
- Fuente Madiva -
17. Solving Big Data Issues 17
MAGNITUDES
¿QUÉ PASA EN
1 MINUTO
EN INTERNET?
Actividad
Mundial en
Internet en
2016
60SEGUNDOS
69.444
horas
visionadas
701.389
logins en
Facebook
527.760
fotos compartidas
en Snapchat
51.000
descargas desde
App Store
2,78
millones
de vídeos vistos
972.222
swipes en Tinder
2,4 millones
de búsquedas
+120
cuentas nuevas
de Linkedin
203.596$
en ventas
38.052
horas de música
en Spotify
347.222
nuevos tuits
38.194
posts
1.389
carreras
150
millones
emails
enviados
+20,8
millones
de mensajes
en Whatsapp
1,04
millones
de loops en Vine
18. Solving Big Data Issues 18
BIG DATA “VS” BI
BI
Vs
Menor Coste
Pocos Casos de Uso
Existentes
Mayor flujo de Datos
Mayor Escalabilidad
Mayor Coste
Más Casos de Uso
Existentes
Menor flujo de Datos
Menor Escalabilidad
Mayor Novedad Mayor Madurez
19. Solving Big Data Issues 19
LA CADENA DE VALOR BIG DATA
INGESTIÓN
NoesETLtradicional,esadaptadoaBIGDATA
ALMACENAMIENTO
Datos en crudo, sin tratar HDFS
BBDD NoSQL
Computación y tratamiento de los datos
CONSULTA
VISUALIZACIÓN
APLICACIONES
EXTERNAS
MACHINE LEARNING Y
PREDICITVE
TRATAMIENTO
Computación y tratamiento de los datos.
Batch, Tiempo Real, Streaming.
21. Solving Big Data Issues 21
EVOLUCIÓN ECOSISTEMA APACHE HADOOP
Apache Hadoop
Spark Research Paper
2004 2010 2015
2006
Google MapReduce Seminal Paper
Spark becomes an
Apache Top Level project
2014
Spark Becomes the standard for batch
processing development on Hadoop
Apache Flink superseedes
Apache Spark for both Batch
and Stream processing
2017
22. Solving Big Data Issues 22
EJEMPLO DE EVOLUCIÓN DEL ECOSISTEMA BIG DATA
Daytona Gray: Para conocer la rapidez con que un sistema puede ordenar 100 TB de datos
(1 Billón de registros)
https://databricks.com/blog/2014/11/05/spark-officially-
sets-a-new-record-in-large-scale-sorting.html
DAYTONA GRAY SORT 100TB BENCHMARK
Generación Data size Time Nodes Cores
I
Hadoop
MR
102.5
TB
72 min 2,100
50,400
physical
II
Apache
Spark
100 TB 23 min 206
6,592
virtualized
Benchmarks independientes nos dicen que con
el pasar del tiempo las herramientas de Big
Data se van haciendo más eficientes.
Las nuevas generaciones de herramientas
consiguen el mismo resultado con menos
recursos y en menor tiempo.
23. Solving Big Data Issues 23
EVOLUCIÓN DEL ECOSISTEMA BIG DATA
¿Tercera generación
de frameworks de
procesamiento?
No lo sabemos
26. Solving Big Data Issues 26
EJEMPLOS DE CASOS DE USO: ELECCIONES USA
Desde las primeras elecciones tras la
Guerra de Secesión, las casas de apuestas
han acertado siempre los resultados y las
encuestas no.
• Con BigData es posible emular lo que sucede
en las casa de apuestas.
• [La predicción de las casas de apuestas falló
ante una de las Guerras]
En las últimas elecciones americanas Nov.
2016 los resultados entre ambos
candidatos, estuvo tan igualado porque
ambos utilizaron técnicas BigData basadas
en Spark cada vez que iban a una ciudad.
• Sabían lo que les preocupa en la ciudades que
visitaban y los dos más o menos decían lo
mismo.
• Se trabajó con BigData para analizar Blogs, Redes
sociales etc..]
Allan Lichtman, (American University) lleva 32
años pronosticando correctamente el resultado
de todas las elecciones presidenciales
americanas.
• Ha desarrollado un sistema científico/matemático
basado en 13 preguntas que se pueden responder de
manera objetiva con un sí o un no .
• Analizan cómo ha sido la gestión del partido que ha
estado los últimos cuatro años en la Casa Blanca. Preguntas
MétodoCasas de apuestas y BigData
Vs
Demoscopia (Encuestas)
27. Solving Big Data Issues 27
"¿El partido actualmente en la Casa Blanca ha ganado escaños en el Congreso en las elecciones en mitad de
legislatura?”
”¿El actual presidente es también el candidato de sus partido a la Casa Blanca?”
”¿Hay un tercer partido o un candidato independiente que tenga una presencia significativa?”
“Durante la campaña electoral, ¿se encuentra la economía en recesión?”
”¿El crecimiento económico en la última legislatura ha sido igual o superior al registrado en las dos
anteriores?”
”¿Ha habido escándalos graves?”
”¿Ha habido derrotas militares o fracasos en la política exterior?”
”¿Se han llevado a cabo durante la legislatura reformas importantes?"... Hasta 13.
Las preguntas son del tipo:
Con Big Data es posible hacer esas preguntas consultando la “red de redes”
28. Solving Big Data Issues 28
EJEMPLOS DE CASOS DE USO: BANCA
Analizando el registro de
operaciones se puede relacionar
FIFO la venta con la compra y
aplicar la norma antireposición
para obtener una orientación
sobre el Impacto fiscal de una
operación de capital.
Detección Fraude en tarjetas:
• Tarjetas con denuncia de robo
no real.
• Uso de tarjetas no activadas en
manos de su verdadero usuario.
Análisis de texto libre.
Análisis del campo observaciones
incluido en cada operación (texto
libre) y extraer conclusiones
valiosas sobre la propia operación,
la relación con el cliente y para un
mejor perfilado. (semántico)
Monitorizar flujos de negocio.
Ante una operación de negocio y
definido su patrón, se puede hacer
seguimiento de las mismas a fin
de detectar de forma temprana,
detecciones anómalas, errores y
finalmente analítica y estadísticas
de sus circunstancias.
29. Solving Big Data Issues 29
EJEMPLOS DE CASOS DE USO: EMPRESAS
IOT (SCADA) - Sector industria (Mantenimiento)
Mediante la colocación de centralitas de medición en las máquinas y
dispositivos, y mediante predictivos, se puede ser muy preciso en:
• MTBF (Mean Time Between Failures)
• MTTR (Mean Time To Reparation)
• Intervenciones predictivas
• Órdenes de trabajo, gestión de expedientes.
Logística transporte
Mediante la colocación de centralitas de
medición, asociado a IOT o no, pero siempre
vía predictivos:
• Planificar de forma óptima las rutas.
• Rutas óptimas mediante la predicción de la
demanda.
• Derivar información a la agenda comercial.
• Detección de incidencias en las rutas tales como:
Paradas anómalas, sobrecargas, exceso de
velocidad.
Ahorro de costes: Migrando
información a analizar de BI (BD +
Entornos caros) a Big Data (BD +
Entornos baratos, se pueden obtener
ahorros de hasta un 90% a la vez
que se aceleran los tiempos de
consulta de la información
30. Solving Big Data Issues 30
EJEMPLOS DE CASOS DE USO: SANIDAD
Información genética: El análisis
de datos genéticos mediante Big
Data, permitirá detectar nuevas
mutaciones patológicas y
facilitará las técnicas de edición
genética.
En el ámbito de Urgencias Médicas, el
análisis en tiempo real de la información
generada en las pruebas complementarias
(analíticas, RMN, TAC, ECG...) mejora la
rapidez en el triaje y priorizaría el
tratamiento.
La información generada por los nuevos
dispositivos portátiles, económicos y sencillos de
utilizar por los propios pacientes se podrá enviar a
un repositorio centralizado y automatizar el
análisis y diagnóstico.
Mecanismos implantables inteligentes para
dosificación de medicación y medición de variables
biológicas, permitirán diagnosticos precoces,
evitar desplazamientos...
32. Solving Big Data Issues 32
DISYUNTIVA: ME CONSTRUYO YO LA PLATAFORMA O ME SUSCRIBO A UNA?
¿Qué hago, en que
escenario voy a hacer
Big Data?
A Me compongo yo mi propia
plataforma
B Trabajo con una plataforma de
mercado
33. Solving Big Data Issues 33
SI QUIERES CREAR TU PROPIA PLATAFORMA…
DEFINIR TU PROPIA
CADENA DE VALOR
BIG DATA
PARA CADA PASO
SELECIONAR UNO O MÁS
DE 1200 ELEMENTOS
DARLE FORMA… … Y QUE FUNCIONE
Y TÚ HACES
MANTENIMIENTO
CORRECTIVO Y EVOLUTIVO
AL FINAL ALGO FALLA
SEGURO Y LLAMAS A KEEDIO
1 2
3 4
5 6 7
35. Solving Big Data Issues 35
LA CADENA DE VALOR BIG DATA
INGESTIÓN
NoesETLtradicional,esadaptadoaBIGDATA
ALMACENAMIENTO
Datos en crudo, sin tratar HDFS
BBDD NoSQL
Computación y tratamiento de los datos
CONSULTA
VISUALIZACIÓN
APLICACIONES
EXTERNAS
MACHINE LEARNING Y
PREDICITVE
TRATAMIENTO
Computación y tratamiento de los datos.
Batch, Tiempo Real, Streaming.
36. Solving Big Data Issues 36
UNA PLATAFORMA Y SU DESCOMPOSICIÓN EN MÓDULOS
MESSAGE
BUS
BROKER
BATCH DATA
PROCESING
BATCH
REAL TIME DATA
PROCESSING
STREAM
MACHINE LEARNING & PREDICTIVE
NEURONA
LONG TERM DATA STORAGE
ARCHIVE
DATA
ORCHESTATION
WORKFLOW
OPERATIONAL
DATA
STORAGE
OPERATIONAL
DATA GOVERNANCE
AUDITOR
KEEDIO MANAGER & SECURITY
KEEDIO MANAGER
REST API KIO
BI Tools
Dashboards
& Reports
JDBC client
ODBC client
Data Science
Tools
DATA
INGESTION
ENTRY
37. Solving Big Data Issues 37
A TENER EN CUENTA AL ELEGIR UNA PLATAFORMA
No Vendor Lock-in
• Sólo se usan herramientas estables
ampliamente usadas y contrastadas
• Parches y plugins son liberados
como open source
Distribuciones a medida para cada
cliente
• Que se pueda adaptar a las necesidades
de cada cliente o caso de uso.
No reinventar la rueda
• Aprovechar la potencia y capacidad
de desarrollo de la comunidad para
cada módulo.
Integración entre módulos
• A pesar de poder desplegarse de
forma independiente, que exista
estrecha integración entre cada uno
de los módulos.
Analítica avanzada de datos en tiempo
real
• Batch, tiempo real, streaming y predictivo.
38. Solving Big Data Issues
Soluciones Big Data para crear
una plataforma común
La Iniciativa Plataforma Open Data (ODP) es
un esfuerzo de la industria para compartir y
promocionar las tecnologías Apache
Hadoop® y Big Data para la empresa
38
INICIATIVA OPEN DATA PLATFORM
39. Solving Big Data Issues 39
EL VECTOR DE LOS MUNDOS DE PLATAFORMAS:
PROPIETARIO OPEN
40. Solving Big Data Issues
PLATAFORMAS BIG DATA: COMMUNITY “VS” ENTERPRISE
OPCIONES COMMUNITY
SUSCRIPCIÓN
ENTERPRISE
Módulos
Mantenimiento
evolutivo
Soporte
40
41. Solving Big Data Issues 41
UNA DISTRIBUCIÓN BIG DATA PUEDE IR ON-PREMISE O EN LA NUBE
Replicación a 3
• Asegura tolerancia a fallos, evita single one point failure.
• No es necesario cabinas de discos ni sistemas RAID.
• Acelera la lectura de los datos.
ON-PREMISENUBE
Escalará horizontalmente cuando el procesamiento / almacenamiento aumente.
BIG DATA, distribuye sin limite el procesamiento en servidores sin limite.
42. Solving Big Data Issues 42
DISYUNTIVA: ME CONSTRUYO YO LA PLATAFORMA O ME SUSCRIBO A UNA?
¿Qué hago?
A Me compongo yo mi
propia plataforma
B Trabajo con una
plataforma de mercado
Ventajas: Precio,
absolutamente a medida.
Inconvenientes: Me la
mantengo yo, se va el que la ha
construido.
Ventajas: Mantenimiento correctivo
y evolutivo garantizado.
Inconvenientes: Pequeña factura de
suscripción, si es Vendor lock-in es un
gran problema.
44. Solving Big Data Issues 44
ERP
APLICACIONES PRODUCTOS
ERP
Comercial
UUN SISTEMA DE INFORMACIÓN ES UN HYBRID MODEL
Herramienta
analítica
RECONCILACIÓN DE
DATOS
45. Solving Big Data Issues 45
Legacy
Call
Center
Legacy
CRM
Campaign
Manager
Mobile
App E-
commerce
TPV App
Digital
Marketing
DATA
CENTRIC
FUTURO: DATO EN EL MEDIO PARA OPERACIONAL + ANALÍTICO
APLICACIONES PRODUCTOS
ÚNICA BASE
DE DATOS
46. Calle Virgilio 25
Edificio Ayessa I, Bajo D
Pozuelo de Alarcón
28223 Madrid
@keedioinfo@keedio.comwww.keedio.com keedio
Notas del editor
por qué se justifica nuestra experiencia en proyectos Big Data. ANTECEDENTES
hemos estado haciendo durante 10 años proyectos de innovación tecnológica y computación distribuida como grids de cómputo financiero y científicos, labotatorios de cálculo acelerado por GPU y despliegues de Clouds privados. Todo esto en ocasiones sin estar ni de moda las palabras. Entonces lo hilo con que en algún momento, se puede decir, que hemos estado haciendo Big Data sin saber que se llamaba Big Data, pero ahora con las mejores herramientas...
en un menor 18K, el Partner quería instalar y parametrizar
Reducción de costes: No para determinados organismos con poco apetito de riesgo. 175 K BigData vs 2000 K BI
El técnico de seguros que dinamita la reunión: “Somos expertos en destrozar reuniones”.
CIO y su cadena lo ven como una amenaza.
En ocasiones no somos capaces de demostrar valor.
Organismos oficiales 1 a 10 BI y rechazan BigData
Hay dos mundos radicalmente distintos en Bigdata: La aplicación al negocio / tecnología.
Hay que ingestar (Blogs, Foros y Redes Sociales).
Data Scientics = dar valor al dato; semántico.
Importante: Segmentar votantes; geolocalización, lenguaje, horas…
X Segmento = Pensar en el mensaje que va a calar
España 2016 - Los sondeos públicos predijeron 117 escaños para el PP, The Messina Group predijo 135, resultado final 137“
Conclusión = Fiabilidad + Precio
El triaje (del francés triage = clasificación) o protocolo de intervención, es un método de selección y clasificación de pacientes
Información genética: Anderson 1 hora
Conclusión a las tendencias: Customer centric + Fraude
Podemos montarnos una plataforma nosotros
Mantenimiento correctivo y evolutivo delicado.
Error, caso de Fracaso: Piensan en la plataforma sin pensar en los casos de uso que van a implementar / desarrollar.
Ya estamos convencidos de que hay que ir a una plataforma.
Error: Construirte la tuya… en ocasiones al final ha habido que suscribirse a una y “reescribir” todo el código.
Ál final de la mañana: Cómo empezamos + cómo se hace un proyecto
Lo está contando BdE / Caixabank etc…
Problema = Transaccional, no un CICS
No es un problema de BigData, es un problema de normalización de datos y de definición de Bases de Datos