Descargado 35 veces
Subido porÁngel Rayo
Big data con Hadoop y SSIS 2016
El documento aborda el uso de Hadoop y HDInsight junto con SQL Server Integration Services (SSIS) 2016 para el procesamiento de grandes volúmenes de datos. Se detallan las características y componentes de Hadoop, así como las integraciones posibles con SSIS 2016, que permite la gestión y análisis de datos. Además, se menciona el uso de Azure para la administración de clústeres y la creación de soluciones de Big Data.
Más contenido relacionado
Similar a Big data con Hadoop y SSIS 2016
Big data con Hadoop y SSIS 2016
- 1. ##SQLSatMadrid Big Data conHadoop en SQL Server SSIS 2016 Ángel M. Rayo
- 2. ##SQLSatMadrid ¿Quién soy? ÁngelM. Rayo twitter.com/oyara Technology Lead Expert en Netmind Más de 9.000 horas de experiencia formativa Microsoft Certified Trainer desde 2005 MCDBA SQL 2000 – MCSA SQL 2014
- 3. ##SQLSatMadrid Agenda Hadoop HDInsight SQL Server SSIS 2016 Referencias
- 4. ##SQLSatMadrid HADOOP Big Data conHadoop en SQL Server SSIS 2016
- 5. ##SQLSatMadrid Hadoop Procesado distribuido Grandes conjuntos de datos Clústeres de ordenadores Modelosde programación sencillos Apache™ Hadoop®
- 6. ##SQLSatMadrid Hadoop • 2003 –Google File System • 2004 – MapReduce • 2006 – Hadoop 0.1.0 • 2011 – Hadoop 1.0 • 2015 – Hadoop 1.7 • 25 de agosto de 2016 – Hadoop 2.7.3
- 7. ##SQLSatMadrid Hadoop – Componentes Hadoop Common Hadoop Distributed FileSystem (HDFS™) Hadoop YARN Hadoop MapReduce Apache™ Hadoop®
- 8. ##SQLSatMadrid Hadoop – Otroscomponentes
- 9.
- 10. ##SQLSatMadrid HDINSIGHT Big Data conHadoop en SQL Server SSIS 2016
- 11. ##SQLSatMadrid HDInsight • Servicio Hadoopalojado en Microsoft Azure • Gestión de clústeres • Framework diseñado para: • Gestión • Análisis • Reporting • Utiliza la distribución Hortonworks Data Platform (HDP)
- 12.
- 13. ##SQLSatMadrid HDInsight – Uso •Hadoop as a Service (HaaS) • Crear soluciones y servicios Big Data • Administrar y monitorizar clústeres Hadoop • Analizar y generar estadísticas de: • Disponibilidad • Utilización
- 14.
- 15. ##SQLSatMadrid SQL SERVER SSIS2016 Big Data con Hadoop en SQL Server SSIS 2016
- 16. ##SQLSatMadrid SQL Server • ¿Hacefalta decir qué es? ;-) • Sistema gestor de bases de datos relacionales Microsoft • 1989 – SQL Server 1.0 • 1 de junio de 2016 – SQL Server 2016 (14.0)
- 17. ##SQLSatMadrid SQL Server 2016– Servicios y herramientas Service Broker Replication Services Analysis Services Reporting Services Notification Services Visual Studio Integration Services SQL Server Management Studio Full Text Search Service Business Intelligence Dev Studio SQLCMD
- 18. ##SQLSatMadrid SQL Server 2016SSIS • Plataforma de integración datos y aplicaciones de flujos de trabajo • Herramienta Data Warehouse rápida y flexible • ETL • Extraction • Transformation • Loading
- 19. ##SQLSatMadrid SQL Server 2016SSIS Data Transformation Services (DTS) SQL Server Integration Services (SSIS) Disponible desde SQL Server 6.5 a SQL Server 2000 Disponible desde SQL Server 2005 .NET como base de ejecución Control Flow Data Flow Event Handlers Package Explorer
- 20. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Situación desde SQL Server 2016 • Se incluye Hadoop como fuente de datos • SSIS 2016 se integra con soluciones Big Data Situación hasta SQL Server 2014 • Podemos utilizar Hadoop mediante conexión ODBC • Acceso a recursos con scripts PowerShell
- 21. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Gestor de conexiones • WebHCat – API REST Apache™ Hive • WebHDFS – API REST HDFS
- 22. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Tareas de flujo de control (Control Flow) Hadoop File System Task Hadoop Hive Task Hadoop Pig Task
- 23. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Hadoop File System Task Funcionamiento • Obtiene, copia o mueve ficheros • Utiliza la API REST del clúster • El acceso es directo al almacén HDFS
- 24. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Hadoop File System Task
- 25. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Hadoop Hive Task Funcionamiento • Envía consultas HiveQL • Utiliza la API REST WebHCat (aka Templeton) • Funcionamiento mediante sistema de colas
- 26. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Hadoop Hive Task
- 27. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Hadoop Pig Task Funcionamiento • Envía scripts Pig • Pig Latin + API REST de WebHCat (aka Templeton) • Funcionamiento mediante sistema de colas
- 28. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Hadoop Pig Task
- 29. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Tareas de flujo de datos (Control Flow) HDFS File Source HDFS File Destination
- 30. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop HDFS File Source
- 31. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop HDFS File Destination
- 32. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Otros componentes • Azure Feature Pack for Integration Services (SSIS) • Componentes: • Gestores de conexiones Azure • Tareas • Componentes de flujo de datos (Data Flow) • Azure Blob Enumerator • https://www.microsoft.com/en-us/download/details.aspx?id=49492
- 33. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Gestores de conexiones Azure Azure Storage Connection Manager Azure Subscription Connection Manager
- 34. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Tareas Azure HDInsight Hive Task Azure HDInsight Pig Task Azure HDInsight Create Cluster Task Azure HDInsight Delete Cluster Task Azure Blob Upload Task Azure Blob Download Task
- 35. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Componentes Data Flow Azure Blob Source Azure Blob Destionation
- 36. ##SQLSatMadrid SQL Server 2016SSIS + Hadoop Azure Blob Enumerator
- 37. ##SQLSatMadrid Referencias Hadoop • http://hadoop.apache.org/ HDInsight • https://azure.microsoft.com/es-es/services/hdinsight/ SQLServer 2016 • http://www.microsoft.com/es-es/server-cloud/products/sql-server/default.aspx
- 38.
- 39. ##SQLSatMadrid BIG Thanks toSQLSatMadrid Sponsors
- 40. ##SQLSatMadrid 4 Sponsor Sessionsat 11:40 Don’t miss them, they might be getting distributing some awesome prizes! HPE SolidQ KABEL TSD Consulting Also BIG Raffle prizes at the end of the event provided by: Plainconcepts, SolidQ, Kabel, TSD Consulting, Pyramid Analytics & sqlpass.es