OpenAnalytics - BigData por Ivan del Prado (Datasalt)

Iván de Prado Alonso – CEO of Datasalt
www.datasalt.es
@ivanprado
@datasalt

Big Data
Una visión pragmática

Consultoría y formación
Big Data

Success stories
Deep Knowledge
Analyzing credit
card transactions

Pangool
Revamped Hadoop API

Extracting insights
from Social Networks

Splout SQL
Making Hadoop data accessible

Dealing with thousands
of millions of classifieds

Managing billions
of events per day

Building the future

ICDM 2012

Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.

BIG
“MAC”
DATA

5 / 27

1. Definición de Big Data

2. Lo disruptivo

3. Ejemplos sectoriales

4. Conclusiones

Agenda

6 / 27

●

Datos
–
–
–

●

●

–

–

Variedad

Cruce de datos
●
●

Redes sociales
Sensores, etc

●

Esquemas en lectura

–

Velocidad

No tires ni un dato

–

Volumen

Inteligencia de negocio

Filosofía de desarrollo

Tolerancia a fallos humanos

Herramientas
–

Hadoop

–

NoSQL

–

Sistemas distribuidos

7 / 27


Definición del Big Data – 4 puntos de vista


Confusión

8 / 27

Big Da
ta

La “caja” del Big Data pinta muy bien ...

¿Pero hay algo realmente nuevo y disruptivo dentro?


2. Lo disruptivo


4. Conclusiones

Agenda

12 / 27

●

●

●
●

Big Data → Nuevas tecnologías relevantes
– Capaces de hacer viable lo que antes era inviable
Distribuidas
– Aprovechan el potencial de varias máquinas
– Abstraen al programador de las complejidades de
coordinación
● Pero siguen siendo complejas
Open Source (la mayoría)
De bajo coste

13 / 27


Tecnologías disruptivas


2. Lo disruptivo


4. Conclusiones

Agenda

16 / 27

●

Lo que se podía antes del Big Data
–

Hacer portales de clasificados (inmobiliarios, etc) a nivel de un país

–

Tecnologías principales:
●

●

Bases de datos relacionales (i.e. MySQL)

Lo que era casi imposible y ahora es muy razonable
–

Hacer un buscador de clasificados de escala mundial

–

●
●

●

Hadoop, Hbase, Storm
Solr, ElasticSearch

Ejemplos

17 / 27


Anuncios clasificados (I)


Anuncios clasificados (II)

18 / 27

●

–

Restringido al poder de una máquina (análisis locales)

–

●

Bases de datos relacionales (i.e. MySQL)

●

●

Analítica monomáquina

–

Analizar la influencia de todos los individuos en una red social

–

●

Hadoop, Hbase, Storm

●

NoSQL: Voldemort, Cassandra

●

●


Análisis de influencia online y en redes
sociales (I)

Hamma, Giraph

Ejemplos

19 / 27


Análisis de influencia online y en redes
sociales (II)

20 / 27

●

–

Datos en silos

–

Presos de los DW (muy poco flexibles)

–

●

●

EDW MPP

–

Explotar de nuevas maneras los datos y dar valor a terceros

–

●

Hadoop

●

NoSQL

●

●


Explotar datos agregados (I)

Gestores geográficos

Ejemplos

21 / 27


Explotar datos agregados (II)

22 / 27

●

–

Estadísticas básicas en Bds relacionales a clientes

–

Agregados de muy alto nivel (se pierde el grano fino)

–

●

●

Bds relacionales (i.e. MySql, Oracle)

–

No tirar un sólo dato

–

Estadísticas muy ricas y de gran detalle para cada cliente

–

●

Hadoop

●

●


Redes de anuncios (Ad networks)

NoSQL, Splout SQL

Ejemplos

23 / 27

●

–

Recibir y procesar el gran nivel de eventos era casi imposible

–

●

Bds relacionales (i.e. MySql, Oracle)

●

●

Sistema de colas con consumidores

–

Estadísticas y respuesta a eventos en tiempo real

–

●

Storm, Erlang

●

●


Juegos online

NoSQL

Ejemplos

24 / 27


2. Lo disruptivo


4. Conclusiones

Agenda

25 / 27

●
●

●

●

●

El Big Data es algo disruptivo
Razón principal: Nuevas tecnologías
– Que hacen posibles aplicaciones antes casi imposibles
Tecnologías aún no maduras y muy dispersas
– Salvo Hadoop, con alto grado de madurez y que resuelve gran parte de
problemas
Oportunidad: arriesgar y abrazar estas tecnologías
– Hay cierto riesgo (bajo grado de madurez)
– Pero puede suponer una ventaja estratégica
– Apostar por equipos pequeños pero capaces
No centrarse únicamente en tecnología
– Preparar equipos humanos Big Data (científicos de datos)

26 / 27


Conclusión

Gracias

Creative Commons images:
http://www.flickr.com/photos/83633410@N07/7658298768/
http://www.flickr.com/photos/meatheadmovers/5346219239/in/photostream/
http://www.flickr.com/photos/meatheadmovers/5346220901/in/photostream/
http://www.flickr.com/photos/jepoirrier/8319130269/

Iván de Prado Alonso
ivan@datasalt.com
@ivanprado
www.datasalt.com

OpenAnalytics - BigData por Ivan del Prado (Datasalt)

Recomendados

Recomendados

Más contenido relacionado

Similar a OpenAnalytics - BigData por Ivan del Prado (Datasalt)

Similar a OpenAnalytics - BigData por Ivan del Prado (Datasalt) (20)

Más de OpenAnalytics Spain

Más de OpenAnalytics Spain (10)

Último

Último (20)

OpenAnalytics - BigData por Ivan del Prado (Datasalt)