Publicidad
Check these out next
Carga y procesamiento de datos en HDInsight
7 de Jan de 2015•0 recomendaciones•1,261 vistas
1 recomendaciones
Sé el primero en que te guste
ver más
vistas
Total de vistas
0
En Slideshare
0
De embebidos
0
Número de embebidos
0
Descargar para leer sin conexión
Denunciar
Tecnología
En esta sesión veremos diferentes métodos para cargar datos en un cluster de HDInsight (Hadoop). Veremos como cada método es válido para: datos desde origenes OLTP, datos desde origenes sin estructura y datos a los que se dota estructura para presentarselos a HDInsight. En cada escenario se debe considerar el uso posterior que se le dará al dato para hacerlo de la forma más eficiente. Habrá casos en los que el dato se serializa con librerías .NET y en otros casos el dato se procesará como texto puro
Eladio Rincón HerreraSeguir
Director Depto. Relacional en SolidQPublicidad
Publicidad
Publicidad
Recomendados
Big Data BeginsHector Martinez
DocumentDB la base de datos NoSql de Microsoft AzureGustavo Alzate Sandoval
Procesamiento masivo de datos en MongoDBStratio
Taller de Big Data y Ciencia de Datos en COLMEX dia 2Abel Alejandro Coronado Iruegas
De AGRIS a OpenAGRISAIMS (Agricultural Information Management Standards)
Sql server 2016 novedades para desarrolladoresEnrique Catala Bañuls
Carga y procesamiento de datos en HDInsight
- Carga y procesamiento de datos en HDInsight @erincon Eladio Rincón Director Área Relacional erincon@solidq.com @yolrod Yolanda Olmedo DPS yolmedo@solidq.com @Daniel_Seara Daniel Seara Mentor dseara@solidq.com
- Agenda • Almacenamiento en HDInsight • Carga de datos • Herramientas para la carga de datos • Estructurados • No estructurados • Especiales • Transformaciones • Hive • Pig • Map Reduce • Obteniendo resultados 2
- • Azure HDInsight cluster • Hortonworks Data Platform • Arquitectura HDInsight Almacenamiento 3
- HDInsight Ecosistema 4 Distributed Storage (HDFS) Distributed Processing (Map Reduce) ODBC World’s Data (Azure Data Marketplace) Windows Azure Storage
- • Bibliotecas .Net que facilitan la tarea • Serialización • JSON • AVRO – Interacción con HDInsight y Azure Carga de Datos Herramientas para la carga de Datos 5
- DEMO 6 Encontrando lo que necesitamos con NuGet
- Escenario Datos de clima y consumo de cerveza Analizar grandes volúmenes de información respecto del clima y su correlación de consumo, relacionado con períodos estacionales 7
- • Sqoop • Importación/exportación RDMS Hadoop • Azure PowerShell • Extensión de PowerShell para interactuar con Azure • AzureHDInsightSqoopJobDefinition • … Carga de Datos Estructurados 8
- DEMO 9 Importando datos de base de datos a HDInsight
- • ¡Serialización! • AVRO • JSON • CSV • ORC (Optimized Row Columnar) • Transformar y almacenar • Herramientas de serialización • Herramientas de almacenamiento en la nube Carga de Datos No Estructurados 10
- DEMO 11 Llevando datos no estrcuturados a HDInsight
- • Definir la estructura de datos necesarios • “Copiar” entre el origen e instancias de la estructura • Serializar Carga de Datos Casos especiales 12
- DEMO 13 Llevando datos diferentes a HDInsight
- • Núcleo de Hadoop • Procesamiento paralelo • Divide trabajo en pequeñas tareas • Tolerancia a fallos Transformaciones MapReduce 14
- Transformaciones MapReduce 15 MapReduce Mapper Mapper Mapper Reducer Reducer Reducer Mezcla y ordena
- • Sistema Data Warehouse para Hadoop • Consultas Ad-hoc • Lenguaje de consulta como SQL: HiveQL • Por detrás ejecuta MapReduce Transformaciones Hive 16
- • Lenguaje de scripting de alto nivel • Fácil programación extensible • Ejecuta trabajos MapReduce Transformaciones Pig 17
- Obteniendo resultados Leyendo del cluster 18
- ¿Preguntas? 19
- Siéntate a comer con nosotros o tómate un café y aclara tus dudas ¡Gracias! 20 @erincon Director Área Relacional Eladio Rincón @yolrod DPS Yolanda Olmedo @Daniel_Seara Mentor Daniel Seara
- Si quieres disfrutar de las mejores sesiones de nuestros mentores de España y Latino América, ésta es tu oportunidad. http://summit.solidq.com Síguenos: 21
Publicidad