Azure Data Factory no es muy conocido pero...¡vamos a darle la vuelta a esta situación! Queremos explicarte para qué sirve exactamente este orquestador de servicios de Big Data y cómo utilizarlo de una manera muy sencilla.

1. SOLIDQ SUMMIT MADRID 2017
#SQSummit17
Azure Data Factory
en la práctica
Javier Amago | DPS | jamago@solidq.com
Daniel Gil | DPE | dgil@solidq.com

2. SOLIDQ SUMMIT MADRID 2017

3. SOLIDQ SUMMIT MADRID 2017

4. SOLIDQ SUMMIT MADRID 2017

5. SOLIDQ SUMMIT MADRID 2017

6. SOLIDQ SUMMIT MADRID 2017

8. SOLIDQ SUMMIT MADRID 2017
Categoría Origen
Azure Azure Blob storage
Azure Data Lake Store
Azure SQL Database
Azure SQL Data Warehouse
Azure Table storage
Azure DocumentDB
Azure Search Index
Bases de datos SQL Server
Oracle
MySQL
DB2
Teradata
PostgreSQL
Sybase
Cassandra
MongoDB
Amazon Redshift
Ficheros File System
HDFS
Amazon S3
FTP
Otros Salesforce
Generic ODBC
Generic OData
Web Table (table from
HTML)
GE Historian

9. SOLIDQ SUMMIT MADRID 2017
Categoría Destino
Azure Azure Blob storage
Azure Data Lake Store
Azure SQL Database
Azure SQL Data Warehouse
Azure Table storage
Azure DocumentDB
Azure Search Index
Bases de datos SQL Server
Oracle
Ficheros File System

10. SOLIDQ SUMMIT MADRID 2017
Actividad de transformación Entorno
Hive HDInsight [Hadoop]
Pig HDInsight [Hadoop]
MapReduce HDInsight [Hadoop]
Hadoop Streaming HDInsight [Hadoop]
Machine Learning activities:
Batch Score and Update Model
Azure VM
Stored Procedure Azure SQL
Azure SQL Data Warehouse
SQL Server
Data Lake Analytics U-SQL Azure Data Lake Analytics
.Net custom activity HDInsight [Hadoop]
Azure Batch

11. SOLIDQ SUMMIT MADRID 2017

12. SOLIDQ SUMMIT MADRID 2017

13. SOLIDQ SUMMIT MADRID 2017

14. SOLIDQ SUMMIT MADRID 2017

15. SOLIDQ SUMMIT MADRID 2017

16. SOLIDQ SUMMIT MADRID 2017

17. SOLIDQ SUMMIT MADRID 2017
pasado

18. SOLIDQ SUMMIT MADRID 2017

19. SOLIDQ SUMMIT MADRID 2017
salida
definen

20. SOLIDQ SUMMIT MADRID 2017
{0:yyyyMMdd-HH}
WindowStart

22. SOLIDQ SUMMIT MADRID 2017
Actividad de transformación Entorno
Hive HDInsight [Hadoop]
Pig HDInsight [Hadoop]
MapReduce HDInsight [Hadoop]
Hadoop Streaming HDInsight [Hadoop]
Machine Learning activities:
Batch Execution and Update Resource
Azure VM
Stored Procedure Azure SQL
Azure SQL Data Warehouse
SQL Server
Data Lake Analytics U-SQL Azure Data Lake Analytics
.Net custom activity HDInsight [Hadoop]
Azure Batch

23. SOLIDQ SUMMIT MADRID 2017

25. SOLIDQ SUMMIT MADRID 2017

26. SOLIDQ SUMMIT MADRID 2017

27. SOLIDQ SUMMIT MADRID 2017

28. SOLIDQ SUMMIT MADRID 2017

29. SOLIDQ SUMMIT MADRID 2017
• +500h de trabajo
• Clases 100% ONLINE en directo
• Proyecto fin de máster real para tu empresa
• Tutorías bajo demanda
• Laboratorios virtuales guiados paso a paso
• Invitación 1 día al SolidQ Summit Madrid
• Te ayudamos en tus proyectos de BI & Analytics
CONTENIDOS
• BI & Analytics Overview
• Data Warehousing y Modelo Dimensional
• Obtención de datos. ETL e Integración
• Soluciones Analíticas
• Análisis y Visualización de la información
• Proyecto Fin de Máster
“Con la evolución de los tiempos, es imprescindible estudiar todo lo que tiene que ver con real-time,
analytics y el mundo de los datos. Por lo que, consideré que tener formación en BI me podría ser muy útil
y me venía muy bien personalmente, porque nuestro sistema trata con muchísimas transacciones y
muchísima carga y ‘el relacional’ ya se nos estaba quedando pequeño.
El máster nos dio una visión bastante general de cómo implementar un proyecto y gestionarlo tú mismo y
cómo ver las soluciones de distintas maneras. Aunque tenía mis dudas de hacer una formación online, la
valoración es bastante positiva, las clases son muy interactivas y al final salió todo muy bien.”
Adolfo Gabriel
VP Software
Development, Payvision
Máster en BI & Analytics
Alumni
¡Plazas Limitadas!
Más información:
http://www.solidq.com/es/masterbi
CONTENIDOS
• BI & Analytics Overview
• Data Warehousing y Modelo Dimensional
• Obtención de datos. ETL e Integración
• Soluciones Analíticas
• Análisis y Visualización de la información
• Proyecto Fin de Máster

30. SOLIDQ SUMMIT MADRID 2017