Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Conociendo los servicios adicionales en big data

429 visualizaciones

Publicado el

Todos han empezado a usar y a conocer Hadoop y HDInsight, en parte los lenguajes usados para su consumo, pero poco se hablado de los servicios complementarios que pueden enriquecer la experiencia BigData, conozca estos servicios y su aplicación.

Publicado en: Tecnología
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Conociendo los servicios adicionales en big data

  1. 1. Conociendo los servicios adicionales en BigData 26 de Agosto 2015 (12 pm GMT -5) Freddy Angarita Resumen: Todos han empezado a usar y a conocer Hadoop y HDInsight, en parte los lenguajes usados para su consumo, pero poco se hablado de los servicios complementarios que pueden enriquecer la experiencia BigData, conozca estos servicios y su aplicación. Está por comenzar: Moderador: Kenneth Ureña Próximos Eventos 09 de Setiembre Warner Chaves SQL Server Rápido y Furioso 02 de Setiembre Alejandro Cordero SQL Monitoring 16 de Setiembre Javier Villegas SQL como un servicio en la nube
  2. 2. Distributed Storage (HDFS) Query (Hive) Distributed Processing (MapReduce) DataIntegration (ODBC/SQOOP/REST) EventPipeline (EventHub/ Flume) Legend Red = Core Hadoop Blue = Data processing Gray= Microsoft integration points and value adds Orange = Data Movement Green = Packages HDInsight and Hadoop ecosystem YARN
  3. 3. Similar a Base de Datos • HBASE • Base de datos no relacional • Escrita en Java • Usa HDFS como Sistema de archivos • Escenario más usado: Encontrar pequeños bloques datos en grandes volúmenes de datos • Ejemplo: Los 20 elementos más costosos entre 5 mil millones de objetos • Facebook lo usa para su plataforma de mensajería • HCatalog • Capa de administración de almacenamiento para Hadoop • Su idea es tener buscar una representación de datos relacionales en Hadoop 3
  4. 4. Lenguajes • Pig • Plataforma para la creación de Jobs Map-Reduce • Piglatin similar a TSql • Puede ser extendido usando varios lenguajes, incluyendo Javascript • Creado por Yahoo luego pasa a la fundación Apache en 2006. • Hive • Ayuda a proveer capacidades BI sobre Hadoop • Lenguaje HiveQL similar a TSql • Scala • Nuevo lenguaje para ejecutar instrucciones in-memory • Usa Spark 4
  5. 5. Conexión • Polybase • Permite a los usuarios de SqlServer PDW ejecutar consultas contra datos almacenados en Hadop • Es possible hacer un JOIN con datos almacenados en HADOOP • Hive ODBC • Es un driver ODBC para conectar HADOOP con productos Microsoft • Excel • PowerPivot • SharePoint • Sqoop • Enviar y recibir grandes volúmenes de información desde y hacia bases de datos relacionales • REST – WebHDFS • Cualquier producto puede conectarse con HADOOP usando el API Rest (Móviles, Web..) 5
  6. 6. Minería de Datos • Mahout • Contiene una seria de algoritmos de minería de datos para análisis predictivo y descriptivo sobre información almacenada en Hadoop • Rhadoop • Implementación especial de R • R • Es possible instalar R en las máquinas virtuales de HADOOP, como resultado, podemos interactuar con HADOOP para hacer análisis estadístico avanzado usando R 6
  7. 7. WorkFlow • Oozie • Permite la definición y ejecución de Workflows • Usa MapReduce y Jobs PIG • Flume • Colección, agregación y movimiento de grandes volúmenes de datos • Especializado en el procesamiento de LOGs 7
  8. 8. DEMO 8
  9. 9. Manténgase conectado a nosotros! Visítenos en http://globalspanish.sqlpass.org /SpanishPASSVC lnkd.in/dtYBzev /user/SpanishPASSVC /SpanishPASSVC
  10. 10. 10
  11. 11. 11 Oportunidades de Voluntariado PASS no pudiera existir sin personas apasionadas y dedicadas de todas partes del mundo que dan de su tiempo como voluntarios. Se un voluntario ahora!! Para identificar oportunidades locales visita volunteer.sqlpass.org Recuerda actualizar tu perfil en las secciones de “MyVolunteering” y MyPASS para mas detalles.
  12. 12. Sigan Participando! • Obtén tu membresía gratuita en sqlpass.org • Linked In: http://www.sqlpass.org/linkedin • Facebook: http://www.sqlpass.org/facebook • Twitter: @SQLPASS • PASS: http://www.sqlpass.org
  13. 13. Conociendo los servicios adicionales en BigData 26 de Agosto de 2015 Freddy Angarita Títulos y reconocimientos. Moderador: Kenneth Ureña
  14. 14. SQL Server Rápido y Furioso 02 de Setiembre (12 pm GMT -5) Alejandro Cordero Resúmen: En esta sesión analizaremos experiencias de la vida real como consultor en trabajos de mejora de rendimiento. Veremos mejores prácticas para la configuración de SQL Server, tips para un mejor T-SQL y un ejercicio de como monitorear mi servidor de base de datos con Performance Counters, un SQL Server Express y un Excel con Power Pivot. Próximo Evento

×