Presentamos el análisis de datos con HD Insight

1. HD Insight
Ing. Eduardo Castro, PhD
MVP de SQL Server

2. Agenda
Big Data Hadoop HDInsight Azure
Escalabilidad
Escenarios de
uso
Demostraciones

3. Presentación de Big Data

4. Introducción a Big Data y Hadoop
Big data es una colección de conjuntos de datos tan grande y
complejo que se vuelve difícil para trabajar con el uso de
herramientas de gestión de base de datos tradicionales. Las
dificultades incluyen la captura, almacenamiento, búsqueda,
intercambio, análisis y visualización

5. Presentación de Big Data
Soluciones de datos con complejidades de:
VOLUMEN
(Tamaño)
VARIEDAD
(Estructura)
VELOCIDAD
(Speed)

6. Presentación de Big Data
Internet de las Cosas
Audio Video
Archivos
De
Registro
Texto / Imagen
Sentimiento Social
Market Data Feeds
eGov Feeds
Tiempo
Wikis / Blogs
Click Analisis
Sensores / RFID /
Dispositivos
Espacial y Coordenadas GPS
WEB 2.0Móvil
Publicidad ColaboracióneCommerce
Publicidad Digital
Search Marketing
Web Logs
Recomendaciones
ERP / CRM
Canalización de
ventas
Cuentas
por Pagar
Nómina
Inventario
Contactos
Seguimiento
Trato
Terabytes
(10E12)
Gigabytes
(10E9)
Exabytes
(10E18)
Petabytes
(10E15)
Velocity - Variedad
Volumen
1980
190.000 $
2010
0.07 $
1990
9000 $
2000
15 $
Almacenamiento / GB
ERP / CRM WEB 2.0 Internet de las Cosas

7. Presentación de Big Data
Escenarios comunes

8. Big Data escenarios de aplicación
Respuesta a las nuevas preguntas
¿Cómo puedo optimizar mis
servicios sobre la base de
patrones de clima, tráfico, etc.?
¿Cuál es el sentimiento social
de mi producto?
¿Cómo puedo predecir mejor
los resultados futuros?

9. Big Data Algoritmos comunes
c

10. Big Data algoritmos comunes
Minería de datos y flujos de datos

11. Big Data algoritmos comunes
Búsqueda de elementos similares o complementarias

12. Big Data Común Algoritmos
Conjuntos de elementos frecuentes - Análisis de carrito
de compras

13. ¿Qué es Hadoop?
•Colección de proyectos de código abierto de Apache
para el almacenamiento / procesamiento de grandes
volúmenes de datos (grande, semi-estructurado)
•La base del "kernel" de HDInsight

14. Hadoop Capacidades
Aprendizaje
Automático
Procesamient
o
Cálculo
Distribuido
Extraer Cargar
Transformar
Análisis
Predictivo

15. Hadoop aspectos básicos
Hadoop sirve analizar grandes cantidades de datos
Se trata de un conjunto de proyectos de código abierto que
transforman hardware normal en un servicio que puede:
Almacenar petabytes de datos de forma fiable
Permitir enormes cálculos distribuidos
Atributos clave:
Código abierto
Altamente escalable
Se ejecuta en hardware básico
(Sin pérdida de datos) redundante y confiable
El procesamiento por lotes - utilizando “Map-Reduce" como paradigma de procesamiento

16. Hadoop Introduciendo
RDBMS TRADICIONAL HADOOP
Tamaño de
datos
Acceso
Actualizaciones
Estructura
Integridad
Escala
Relación de
DBA

17. Cómo funciona

18. Cómo funciona
ServidorServidor
ServidorServidor
DURACIÓN

19. Demostración

20. Hadoop Ecosystem
Distributed Storage
(HDFS)
Query
(Hive)
Distributed Processing
(MapReduce)
ODBC
Legenda
Red = Core
Hadoop
Blue = Data
processing
Purple =
Microsoft
integration
points and
value adds
Orange = Data
Movement
Green =
Packages

21. Introduciendo HDInsight
HDInsight es 100% de Microsoft y compatible Apache Hadoop
Disponible como servicio en Microsoft Azure
Permite a las organizaciones contar con nuevos puntos de vista sobre
los datos no estructurados, mientras que conecta con las herramientas
de BI de Microsoft

22. Introduciendo HDInsight
100% de solución Hadoop en la nube
Análisis a través de Excel
Agilidad de implementación
Desarrolla en.NET y Java
Construida sobre Hortonworks Plataforma de
Datos (HDP)
Puede ser automatizado con PowerShell y
línea de comandos

23. Flujo de datos tradicional E-Commerce

24. Nuevo E-Commerce Gran flujo de datos

25. Windows Azure HDInsight Service

26. Windows Azure HDInsight Service

27. Almacenamiento de datos en
HDInsight

28. Consumo de HDInsight Result Sets
Destino Herramienta - Biblioteca Requiere Active HDInsight
Cluster
SQL Server,
Azure SQL DB
Sqoop (Hadoop ecosystem project) Si
Excel Codename “Data Explorer” No
Another Blob Storage
Account
Azure Blob Storage REST APIs (Copy Blob, etc) No
SQL Server Analysis
Services
Hive ODBC Driver Si
Existing BI Apps Hive ODBC Driver Si

29. DEMO
Creación de un clúster Hadoop, Explorar
Sistema de Archivos

30. Hadoop Flujo De Datos
HadoopDatos Analítica

31. Demostración

32. Programación con HDInsight
Hive, Pig, Mahout, Cascading, Scalding, Scoobi, Pegasus…
C#, F# Map/Reduce, LINQ to Hive, .NET management clients
JavaScript Map/Reduce, Browser hosted console, Node.js management clients
PowerShell, Cross Platform CLI tools, SSIS Custom tasks

33. Resumen
Data Knowledge Action