SlideShare una empresa de Scribd logo
www.datalytics.com   18D – Pentaho Big Data Architecture
Un punto de inflexión

           LOS DATOS SE
      40   DUPLICAN CADA 2 AÑOS                                        80%
      35                                                               DE LA INFORMACIÓN ES NO
      30                                                               ESTRUCTURADA
                                                                                               (Gartner, December 2011)
      25
 ZB
      20

      15                                                               LAS EMPRESAS MANEJARÁN
      10                                                               50X MÁS DATOS
       5                                                               EN LA PRÓXIMA DÉCADA
            2005       2010        2015      2020
                                                                                    (IDC Digital Universe Study, June 2011)
       0
           (IDC Digital Universe Study, June 2011)


“El aumento exponencial en la cantidad de información disponible ha hecho que las empresas recurran
a nuevas herramientas y procesos para recopilar datos (tanto estructurados como no estructurados) y
para almacenar, administrar, manipular, analizar, e integrar datos. ”
J|M|P Securities, Big Data and How BI Got Its Groove Back, Nov. 2011
Qué es Big Data?
   Big Data es el nombre que se le da a conjuntos de información que crecen de una
    manera tan exponencial que resulta prohibitivo almacenarlos y/o procesarlos con
    métodos o técnicas tradicionales del mundo de base de datos relacionales.
   Big Data son tres V’s y una C:
        Velocidad: los datos se generan a un ritmo exponencial.
        Volumen: la irrupción de Big Data dejó en el
         pasado el Terabyte para hablar de Petabytes y
         Zetabytes.
        Variedad: datos estructurados y no estructurados,
         proveniente de la web 2.0, sensores, logs, etc.
        Complejidad: volumen de datos tal que no
         permite procesarlo con técnicas tradicionales
De dónde viene?
   Información transaccional
        Operaciones bancarias
        Servicios financieros, portales de bolsa
        Tiendas virtuales / e-commerce
   La nube
        World Wide Web / Blogs
        Redes sociales: Twitter, Facebook, LinkedIn
   Machine-generated data (MGD)
        Weblogs
        Centrales telefónicas
        Sensores de todo tipo
        Logs de aplicaciones
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Bases de datos Transaccionales
   Utilizadas en la mayoría de las empresas en la actualidad
                                                                           Atomicidad
   Motores transaccionales, diseñados y desarrollados para
    soportar transacciones y trabajar con pocos registros por
    operación.                                                    Durabilidad      Consistencia

   Las soluciones de Business Intelligence involucran cientos
    de miles (e inclusive millones) de registros en una única
                                                                            Isolación
    operación, y deben responder en un tiempo adecuado.
   Las bases de datos transaccionales no fueron diseñadas para responder a consultas
    analíticas sobre grandes volúmenes de información.
   La irrupción de Big Data comienza a dejar en evidencia estas falencias, debiendo utilizar
    complejos índices, tablas agregadas, tablas particionadas, etc., aumentando el costo de
    desarrollo y mantenimiento, obteniendo tiempos
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Bases de datos NoSQL
   Distintos tipos de bases para distintos tipos de aplicaciones: documentales, grafos, clave/valor,
    orientadas a objetos, tabulares, …
   Características
        SQL: Sin (o muy poco) soporte para SQL.
              Datos accedidos a través de programas Java, no consultas
        ACID: Sin integridad referencial, poco soporte transaccional
        Definición de estructuras de datos flexibles (sobre la marcha)
   Beneficios
        Facilidad de escalamiento horizontal (clusters baratos)
        Almacenamiento de grandes volúmenes (no generan cuellos de botella)
        Excelentes para lecturas masivas de registros tipo clave/valor.
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Bases de datos Analíticas
   Bases de datos diseñadas específicamente para ser utilizadas como motores de Data
    Warehouse.




   Estas bases de datos logran procesar grandes volúmenes de información a velocidades
    asombrosas, gracias a la aplicación de diferentes conceptos y tecnologías:
        Almacenamiento en columnas en lugar de filas (registros)
        Massively parallel processing (MPP)
        In-Memory Analytics
   Históricamente estas bases de datos tan especializadas tenían un costo muy elevado,
    pero hoy el mercado nos ofrece varias alternativas que se adaptan al presupuesto de
    cada organización.
Presentando a
   Infobright es una compañía que desarrolla un motor de base de datos analítico orientada a
    columnas de alta performance que entrega rápidos tiempos de respuesta a consultas ad-
    hoc sobre grandes volúmenes de información (BIG DATA) con mínimo esfuerzo de
    administración, mantenimiento y costo de propiedad.
   Fundada en 2006, Infobright tiene HQ en Toronto (Canadá) y cuenta con oficinas en
    Boston (USA), Irlanda y Polonia.
   A diferencia de otras bases analíticas, la mejor performance de Infobright esta basada en
    modelos matemáticos, no en hardware.
   Modelo de negocios “Try & Buy” basado en una versión Enterprise (Infobright Enterprise
    Edition, IEE) y una versión Open Source (Infobright Community Edition, ICE).
   Socio tecnológico de varias empresas de BI como MicroStrategy, Pentaho, Informática, etc.
   Base de clientes en aumento, incluyendo empresas como Yahoo!, Xerox, Bwin, etc.
Características de Infobright

                Base de datos columnar orientada al análisis de información
                Excelente performance:
                     Análisis ad-hoc de grandes volúmenes de información
                     Tiempos de carga de 2TB/hour
                     Tasas de compresión de 10:1 a 40:1 (o aún más)
                Fácil administración e implementación:
                     Elimina la necesidad de mantener índices, tablas particionadas,
                      tablas agregadas, etc
                     Auto-tunning: la base va “aprendiendo” de las consultas que recibe
                     Se instala en minutos, y no tiene grandes requisitos de HW
                     Basada en arquitectura MySQL (BD más utilizada en el mundo)
                     Es una base relacional, por lo que dialoga SQL
                Modelo de suscripción Low Cost
Y por qué resulta mejor para BI?

     Base de datos      Potencia basada en    Administración
      orientada a       inteligencia, no en    simplificada
       columnas              Hardware

     Diseñada para                              No existe el
                          Knowledge Grid
    análisis de datos                          tuning manual


                                                 Tareas de
    Excelente tasa de
                          Motor iterativo      administración
       compresión
                                                 mínimas
Almacenamiento en columnas, no filas
 ID       Tarea      Departamento    Ciudad                      1          Envío       Operaciones   Medellín

 #                                                               2       Recepción      Operaciones   Medellín
 #                                                               3       Registración    Finanzas     Bogotá
 #
 #                                                        El almacenamiento en filas sirve si…
 #
 #
                                                           Todas las columnas son necesarias
                                                                Por ejemplo, el detalle de una compra de supermercado
                                                           Ideal para un mundo transaccional donde usualmente
                                                            se necesita todo el detalle de una entidad

                  Almacenamiento
                    en Columnas                           El almacenamiento en columnas sirve si…
                                                           Sólo se requieren algunas columnas para el análisis
      1              Envío       Operaciones   Medellín         Por ejemplo, el total vendido del producto X en cada una
                                                                  de las sucursales en los últimos 3 meses.
      2           Recepción      Operaciones   Medellín
                                                           Información consolidada (sumas, cantidades,
      3           Registración      Finanzas   Bogotá
                                                            promedios, …)
                                                           Ideal para un mundo analítico, donde la información se
                                                            concentra en métrica de distintas entidades
Almacenamiento en filas vs. columnas
                                                           30 columnas
Ejemplo de aplicación:
 50 días con información; 30
  columnas/variables por
  cada registro; un millón de
  registros por cada día
 El acceso a disco es un
  problema
 El almacenamiento en filas    50 millones de registros
  obliga a recuperar la
  información de todas las
  columnas
 Al incrementarse el tamaño
  de la tabla, se incrementan
  los índices
 La velocidad de carga se
  degrada dado que los
  índices deben recrearse al
  incorporarse nuevos datos
Almacenamiento en filas vs. columnas
                                                                              30 columnas
Objetivo: obtener el total de
ventas de una semana del
año.
 La consulta SQL sería algo
  como:
  Select sum(ventas)
  from tabla
  where semana = X              50 millones de registros




                                                           Día de la semana




                                                                                     Venta diaria
Almacenamiento en filas vs. columnas
                                                                                           30 columnas
Utilizando un esquema de
 almacenamiento en filas
 (esquema tradicional)
  Se recorren 7 millones de
   registros (un millón por cada
   día)
  Para acceder a un valor en
                                   50 millones de registros
   particular (el valor de la




                                                                        Día de la semana
   venta) es necesario leer las




                                                                                                  Venta diaria
   30 columnas, aún cuando                                    Información recuperada para el cálculo
   no tengan información                                            (210 millones de variables!)
   relevante.
  Se procesan TODAS las
   columnas (210 millones,
   30 x 7), y se DESCARTAN
   TODAS MENOS una.
  Es decir se procesó un 93%
   más de información.
Almacenamiento en columnas, no filas
Utilizando un esquema de
 almacenamiento en columnas
 (esquema utilizado por
 Infobright)
   Se recorren 7 millones de
    registros (un millón por cada
    día)
                                50 millones de registros
   Se procesan sólo las 2




                                                           Día de la semana




                                                                              Venta diaria
    columnas necesarias: día y
    venta diaria.
   Es decir, sólo se procesa la
    información necesaria.
   La inteligencia está en la
    forma de almacenamiento y
    en el algoritmo usado para                                                               93% menos de información
    extraer los datos.                                                                             recuperada!
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
         de negocio que requieran de grandes volúmenes de información.
                                                                                            Big Data

        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Hadoop (HDFS, Map/Reduce, Hive, Pig, …)
   Origen (Google): cómo hacer para indexar la web sin morir en el intento?
   Solución: arquitectura masivamente paralela, que incluye un sistema de archivos y
     un esquema de procesamiento distribuido.
   Permite almacenar y procesar grandes volúmenes de cualquier tipo
    de información
   Ideal para:
        Grandes volumenes de datos no
         estructurados que no cuadran en
         bases de datos transaccionales o
         NoSQL
        Emails, tweets, imágenes, logs,
         videos, …
   Hadoop = Almacenamiento + procesamiento (consultas)


                     HDFS + programas Map/Reduce (Java)
Ejemplo: Map/Reduce


       Cuantas veces
     aparece la palabra
       Datalytics en                                          Contá las
        Archivo.txt?                                        repeticiones
                                                           de Datalytics
                                                           en el Bloque C




          (*)             (*)                      (*)



         Cantidad = 3     Cantidad = 0             Cantidad = 11


                                     Archivo.txt

                                                    (*) Deben programarse en Java! 
Ejemplo: Map/Reduce


                                                         Sumá
                                                       “Datalytics”




        Resultados.txt     (*)
       (Datalytics = 14)



                           Datalytics   =0
      (*)                  (*)               (*)




                                                   (*) Deben programarse en Java! 
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
                                                                                            Big Data
         de negocio que requieran de grandes volúmenes de información.
        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
Tipos de bases de datos
   El concepto de base de datos que utilizábamos hasta hace 2 años cambió
   Distintos tipos de bases de datos, para distintos tipos de necesidades.
        Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en
         las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)
        NoSQL: para capturar de manera segura y escalable, grandes volúmenes
         de información continua generados por eventos.
        Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas
                                                                                               Big Data
         de negocio que requieran de grandes volúmenes de información.
        Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de
         información estructurada o semi-estructurada.
   Desafíos…
        Son de distintos vendedores y no están integradas
        Estos tipos de DB’s se utilizan por lo general en conjunto
        Se utilizan y administran de distinta manera; utilizan distintos lenguajes: no SQL!
        Dependencia de sistemas: vuelta a las raíces?
Tipos de bases de datos
Tipos de bases de datos
Integración con Big Data
 Fuentes de                                     Repositorios
  BIG DATA                                       BIG DATA

    DATOS
ESTRUCTURADOS


                                                   Hadoop

CRM, POS, ERP, etc.




   DATOS NO
ESTRUCTURADOS                                      NoSQL
                                                  Databases
                              Cargar
                      Manipular & Transformar
                             Integrar
                                                   Analytic
                              Acceso              Databases
                            Modelado
Integración con Big Data




     Integración,       Enterprise & Ad Hoc           Data Discovery,
Manipulaciónn & Carga        Reporting                 Visualización     Análisis predictivo




            Hadoop                            NoSQL                     Analíticas
Integración con Big Data




                            Pasar de un desarrollo lento,
                           complejo y permeable a errores
Integración con Big Data




                           Desarrollo visual, hecho por el
                                     area de BI
Integración con Big Data
   Pentaho reduce drásticamente el tiempo para diseñar, desarrollar e implementar soluciones de Big
    Data llegando a ser hasta 15 veces más rápido
        Desarrollo 100% visual, 0% programación Java
        Procesos de análisis simplificado de punta a
         punta
        Plataforma completa, desde la extracción
         hasta las herramientas de análisis.
        Alta performance, incluyendo capacidad de
         ejecución dentro de Hadoop.
Integración con Big Data
   Pentaho reduce drásticamente el tiempo para diseñar, desarrollar e implementar soluciones de Big
    Data llegando a ser hasta 15 veces más rápido
        Toda la solución (ETL, cubos, reportes) se conecta con las distribuciones más importantes de
         Hadoop y las principales bases NoSQL y Analíticas
        Lenguaje visual unificado para todos los desarrollos
        Cargar/extraer archivos de Hadoop en un cluster local,
         en la nube, …
        Ejecutar desde PDI jobs de Map/Reduce o scripts en
         Pig desarrollados en PDI o Java dentro del cluster
        Integrar los distintos motores DB’s sin perder el
         foco en el usuario y en BI
Ejecución dentro del cluster Hadoop


                          PDI está desarrollado en Java: puede
                        ejecutarse dentro del cluster de Hadoop




                          Desarrollo fácil, misma performance
Enfoque tradicional vs. Pentaho


    Ejecutivos
                                                                                       Explo-
                                                                                       ración
  Usuario final

                                                                                                Predi-
     Analistas                                                                                  cción

                                                                              Mode-
                                                               DM / DW
       IT/DBA                                                                  lado


                       Extracción/Carga       Transformación
Programadores
                   0                      5                    10                     15
                                 20                    25                30                     35 Días

     Enfoque tradicional
Arquitectura de solución


   Structured Data
                                                                Column Store or MPP
                                                                     Database

                                                                                                      Dashboard
                                            PDI
                                      PDI           PDI


Semi-structured Data    PDI                               PDI                              Metadata    Report

                                     PDI          PDI
                                            PDI
                                                                                                      Analyzer

               Pentaho Data Integration                         Pentaho Data Integration

                        Carga                               Limpieza / Enriquecimiento

           Paseo / Validación / Consolidación              Administración de dimensiones

                       Workflow                                  Carga masiva a DB’s

                                                                       Workflow
Instaview: acceso rápido a fuentes complejas
                                                Sencillo, orientado al usuario final
                                                     Herramienta desktop para analistas de negocio
                                                     Simplifica drásticamente el acceso a fuentes de
                                                      información “Complejas” (Hadoop, NoSQL,
1. Selección de fuente de información                 fuentes de tiempo real, …)
                                                Big Data Analytics
                                                     Permite al analista acceder a fuentes de tiempo
                                                      real o complejas enmascarando la complejidad
                                                      subyacente.
 2. Preparado automático para análisis
                                                     Analistas consultan su información sin
                                                      intermediarios.




3. Visualización y exploración interactiva
Data Quality
   PDI cuenta con un plugin que permite realizar tareas avanzadas de Data Quality,
    incluyendo:
        Data Profiling: análisis de la calidad de la información.
        Data Cleaning: limpieza de la información.
        Data Monitoring: monitoreo y análisis de la evolución de la calidad de la información.
Muchas Gracias!

Más contenido relacionado

La actualidad más candente

Data Warehouse Concepts and Architecture
Data Warehouse Concepts and ArchitectureData Warehouse Concepts and Architecture
Data Warehouse Concepts and Architecture
Mohd Tousif
 
Modern Data architecture Design
Modern Data architecture DesignModern Data architecture Design
Modern Data architecture Design
Kujambu Murugesan
 
The ABCs of Treating Data as Product
The ABCs of Treating Data as ProductThe ABCs of Treating Data as Product
The ABCs of Treating Data as Product
DATAVERSITY
 
Data Quality Best Practices
Data Quality Best PracticesData Quality Best Practices
Data Quality Best Practices
DATAVERSITY
 
Business Intelligence (BI) and Data Management Basics
Business Intelligence (BI) and Data Management  Basics Business Intelligence (BI) and Data Management  Basics
Business Intelligence (BI) and Data Management Basics
amorshed
 
03. Business Information Requirements Template
03. Business Information Requirements Template03. Business Information Requirements Template
03. Business Information Requirements Template
Alan D. Duncan
 
Modern Data Architecture
Modern Data Architecture Modern Data Architecture
Modern Data Architecture
Mark Hewitt
 
Activate Data Governance Using the Data Catalog
Activate Data Governance Using the Data CatalogActivate Data Governance Using the Data Catalog
Activate Data Governance Using the Data Catalog
DATAVERSITY
 
LDM Webinar: Data Modeling & Business Intelligence
LDM Webinar: Data Modeling & Business IntelligenceLDM Webinar: Data Modeling & Business Intelligence
LDM Webinar: Data Modeling & Business Intelligence
DATAVERSITY
 
Building End-to-End Delta Pipelines on GCP
Building End-to-End Delta Pipelines on GCPBuilding End-to-End Delta Pipelines on GCP
Building End-to-End Delta Pipelines on GCP
Databricks
 
Introducing Databricks Delta
Introducing Databricks DeltaIntroducing Databricks Delta
Introducing Databricks Delta
Databricks
 
Data Catalog as the Platform for Data Intelligence
Data Catalog as the Platform for Data IntelligenceData Catalog as the Platform for Data Intelligence
Data Catalog as the Platform for Data Intelligence
Alation
 
Do-It-Yourself (DIY) Data Governance Framework
Do-It-Yourself (DIY) Data Governance FrameworkDo-It-Yourself (DIY) Data Governance Framework
Do-It-Yourself (DIY) Data Governance Framework
DATAVERSITY
 
Metadata Strategies - Data Squared
Metadata Strategies - Data SquaredMetadata Strategies - Data Squared
Metadata Strategies - Data Squared
DATAVERSITY
 
Introduction To Data Warehousing
Introduction To Data WarehousingIntroduction To Data Warehousing
Introduction To Data Warehousing
Alex Meadows
 
How to Structure the Data Organization
How to Structure the Data OrganizationHow to Structure the Data Organization
How to Structure the Data Organization
Robyn Bollhorst
 
Linked Open Data Tutorial
Linked Open Data TutorialLinked Open Data Tutorial
Linked Open Data Tutorial
Myungjin Lee
 
Plano Geral de Governança de Dados
Plano Geral de Governança de DadosPlano Geral de Governança de Dados
Plano Geral de Governança de Dados
Gustavo Alexandre
 
LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...
LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...
LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...
DATAVERSITY
 
Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...
Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...
Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...
DATAVERSITY
 

La actualidad más candente (20)

Data Warehouse Concepts and Architecture
Data Warehouse Concepts and ArchitectureData Warehouse Concepts and Architecture
Data Warehouse Concepts and Architecture
 
Modern Data architecture Design
Modern Data architecture DesignModern Data architecture Design
Modern Data architecture Design
 
The ABCs of Treating Data as Product
The ABCs of Treating Data as ProductThe ABCs of Treating Data as Product
The ABCs of Treating Data as Product
 
Data Quality Best Practices
Data Quality Best PracticesData Quality Best Practices
Data Quality Best Practices
 
Business Intelligence (BI) and Data Management Basics
Business Intelligence (BI) and Data Management  Basics Business Intelligence (BI) and Data Management  Basics
Business Intelligence (BI) and Data Management Basics
 
03. Business Information Requirements Template
03. Business Information Requirements Template03. Business Information Requirements Template
03. Business Information Requirements Template
 
Modern Data Architecture
Modern Data Architecture Modern Data Architecture
Modern Data Architecture
 
Activate Data Governance Using the Data Catalog
Activate Data Governance Using the Data CatalogActivate Data Governance Using the Data Catalog
Activate Data Governance Using the Data Catalog
 
LDM Webinar: Data Modeling & Business Intelligence
LDM Webinar: Data Modeling & Business IntelligenceLDM Webinar: Data Modeling & Business Intelligence
LDM Webinar: Data Modeling & Business Intelligence
 
Building End-to-End Delta Pipelines on GCP
Building End-to-End Delta Pipelines on GCPBuilding End-to-End Delta Pipelines on GCP
Building End-to-End Delta Pipelines on GCP
 
Introducing Databricks Delta
Introducing Databricks DeltaIntroducing Databricks Delta
Introducing Databricks Delta
 
Data Catalog as the Platform for Data Intelligence
Data Catalog as the Platform for Data IntelligenceData Catalog as the Platform for Data Intelligence
Data Catalog as the Platform for Data Intelligence
 
Do-It-Yourself (DIY) Data Governance Framework
Do-It-Yourself (DIY) Data Governance FrameworkDo-It-Yourself (DIY) Data Governance Framework
Do-It-Yourself (DIY) Data Governance Framework
 
Metadata Strategies - Data Squared
Metadata Strategies - Data SquaredMetadata Strategies - Data Squared
Metadata Strategies - Data Squared
 
Introduction To Data Warehousing
Introduction To Data WarehousingIntroduction To Data Warehousing
Introduction To Data Warehousing
 
How to Structure the Data Organization
How to Structure the Data OrganizationHow to Structure the Data Organization
How to Structure the Data Organization
 
Linked Open Data Tutorial
Linked Open Data TutorialLinked Open Data Tutorial
Linked Open Data Tutorial
 
Plano Geral de Governança de Dados
Plano Geral de Governança de DadosPlano Geral de Governança de Dados
Plano Geral de Governança de Dados
 
LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...
LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...
LDM Slides: Conceptual Data Models - How to Get the Attention of Business Use...
 
Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...
Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...
Self-Service Data Analysis, Data Wrangling, Data Munging, and Data Modeling –...
 

Destacado

Upsa abril2014
Upsa abril2014Upsa abril2014
Upsa abril2014
Luis Joyanes
 
Aplicaciones de BI con Pentaho
Aplicaciones de BI con PentahoAplicaciones de BI con Pentaho
Aplicaciones de BI con Pentaho
Datalytics
 
投資事業瞭望台(1) - 破迷思
投資事業瞭望台(1) - 破迷思投資事業瞭望台(1) - 破迷思
投資事業瞭望台(1) - 破迷思
City Cheng
 
Una base de datos de red
Una base de datos de redUna base de datos de red
Una base de datos de red
weneliza99
 
Base de datos Transaccional
Base de datos TransaccionalBase de datos Transaccional
Base de datos Transaccional
Johanna Caragolla
 
Modelo Relacional
Modelo RelacionalModelo Relacional
Modelo Relacional
Jesús Rojas
 
Modelo relacional
Modelo relacionalModelo relacional
Modelo relacional
Avocats & Associés
 
Inteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en R
Inteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en RInteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en R
Inteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en R
Luis Joyanes
 
Modelo entidad relacion de base de datos
Modelo entidad relacion de base de datosModelo entidad relacion de base de datos
Modelo entidad relacion de base de datos
jinethmarcelasanchez
 
Modelos de red
Modelos de redModelos de red
Modelos de red
Geraldyne Chavez Roldan
 
Presentacion de Modelo entidad -relación de Base de Datos
Presentacion de Modelo entidad -relación de Base de Datos Presentacion de Modelo entidad -relación de Base de Datos
Presentacion de Modelo entidad -relación de Base de Datos
Yarquiri Claudio
 
Modelo relacional
Modelo relacionalModelo relacional
Modelo relacional
gerardo_gauna
 
Modelo entidad relación de base de datos
Modelo entidad relación de base de datosModelo entidad relación de base de datos
Modelo entidad relación de base de datos
ani_tuza
 

Destacado (13)

Upsa abril2014
Upsa abril2014Upsa abril2014
Upsa abril2014
 
Aplicaciones de BI con Pentaho
Aplicaciones de BI con PentahoAplicaciones de BI con Pentaho
Aplicaciones de BI con Pentaho
 
投資事業瞭望台(1) - 破迷思
投資事業瞭望台(1) - 破迷思投資事業瞭望台(1) - 破迷思
投資事業瞭望台(1) - 破迷思
 
Una base de datos de red
Una base de datos de redUna base de datos de red
Una base de datos de red
 
Base de datos Transaccional
Base de datos TransaccionalBase de datos Transaccional
Base de datos Transaccional
 
Modelo Relacional
Modelo RelacionalModelo Relacional
Modelo Relacional
 
Modelo relacional
Modelo relacionalModelo relacional
Modelo relacional
 
Inteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en R
Inteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en RInteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en R
Inteligencia de negocios (BI) y Analítica de negocios (BA): Un enfoque en R
 
Modelo entidad relacion de base de datos
Modelo entidad relacion de base de datosModelo entidad relacion de base de datos
Modelo entidad relacion de base de datos
 
Modelos de red
Modelos de redModelos de red
Modelos de red
 
Presentacion de Modelo entidad -relación de Base de Datos
Presentacion de Modelo entidad -relación de Base de Datos Presentacion de Modelo entidad -relación de Base de Datos
Presentacion de Modelo entidad -relación de Base de Datos
 
Modelo relacional
Modelo relacionalModelo relacional
Modelo relacional
 
Modelo entidad relación de base de datos
Modelo entidad relación de base de datosModelo entidad relación de base de datos
Modelo entidad relación de base de datos
 

Similar a Big Data Architecture con Pentaho

Presentación semana académica unam big data abril 2015
Presentación semana académica unam big data abril 2015Presentación semana académica unam big data abril 2015
Presentación semana académica unam big data abril 2015
Peter Kroll
 
Business intelligence (bi) y big data0
Business intelligence (bi) y big data0Business intelligence (bi) y big data0
Business intelligence (bi) y big data0
Pedro Contreras Flores
 
Big Data - Infraestrucutra de BI para soluciones de BI
Big Data - Infraestrucutra de BI para soluciones de BIBig Data - Infraestrucutra de BI para soluciones de BI
Big Data - Infraestrucutra de BI para soluciones de BI
Datalytics
 
Presentación big data
Presentación big dataPresentación big data
Presentación big data
Leyda Maria Alzate Gomez
 
Exposicion big data
Exposicion big dataExposicion big data
Exposicion big data
mateo luquez
 
Que debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre HadoopQue debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre Hadoop
Eduardo Castro
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
CICE, La Escuela Profesional de Nuevas Tecnologías
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
CICE
 
Big Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasBig Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivas
Joseph Lopez
 
Laboratorio 3 formato ieee "Tecnologias de Big Data"
Laboratorio 3 formato ieee "Tecnologias de Big Data"Laboratorio 3 formato ieee "Tecnologias de Big Data"
Laboratorio 3 formato ieee "Tecnologias de Big Data"
Javier Peña
 
DATAWAREHOUSE, importancia del almacén de datos
DATAWAREHOUSE, importancia del almacén de datosDATAWAREHOUSE, importancia del almacén de datos
DATAWAREHOUSE, importancia del almacén de datos
María Isabel Bautista
 
SQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerSQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight Server
Eduardo Castro
 
Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...
Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...
Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...
Luis Fernando Aguas Bucheli
 
Big Data para analizar las redes sociales
Big Data para analizar las redes socialesBig Data para analizar las redes sociales
Big Data para analizar las redes sociales
DatKnoSys
 
HD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot ExcelHD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot Excel
Eduardo Castro
 
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleoPonencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
CICE
 
Desmitificando el Big Data
Desmitificando el Big DataDesmitificando el Big Data
Desmitificando el Big Data
Stratebi
 
Big data
Big dataBig data
Big data
Manuel Fritz
 
Big data y hadoop
Big data y hadoopBig data y hadoop
Big data y hadoop
Milner Dante Cortavitarte
 
"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas
EOI Escuela de Organización Industrial
 

Similar a Big Data Architecture con Pentaho (20)

Presentación semana académica unam big data abril 2015
Presentación semana académica unam big data abril 2015Presentación semana académica unam big data abril 2015
Presentación semana académica unam big data abril 2015
 
Business intelligence (bi) y big data0
Business intelligence (bi) y big data0Business intelligence (bi) y big data0
Business intelligence (bi) y big data0
 
Big Data - Infraestrucutra de BI para soluciones de BI
Big Data - Infraestrucutra de BI para soluciones de BIBig Data - Infraestrucutra de BI para soluciones de BI
Big Data - Infraestrucutra de BI para soluciones de BI
 
Presentación big data
Presentación big dataPresentación big data
Presentación big data
 
Exposicion big data
Exposicion big dataExposicion big data
Exposicion big data
 
Que debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre HadoopQue debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre Hadoop
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Big Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasBig Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivas
 
Laboratorio 3 formato ieee "Tecnologias de Big Data"
Laboratorio 3 formato ieee "Tecnologias de Big Data"Laboratorio 3 formato ieee "Tecnologias de Big Data"
Laboratorio 3 formato ieee "Tecnologias de Big Data"
 
DATAWAREHOUSE, importancia del almacén de datos
DATAWAREHOUSE, importancia del almacén de datosDATAWAREHOUSE, importancia del almacén de datos
DATAWAREHOUSE, importancia del almacén de datos
 
SQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerSQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight Server
 
Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...
Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...
Aplicaciones DIfusas: Limpieza de datos, resolución de entidades, integración...
 
Big Data para analizar las redes sociales
Big Data para analizar las redes socialesBig Data para analizar las redes sociales
Big Data para analizar las redes sociales
 
HD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot ExcelHD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot Excel
 
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleoPonencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
 
Desmitificando el Big Data
Desmitificando el Big DataDesmitificando el Big Data
Desmitificando el Big Data
 
Big data
Big dataBig data
Big data
 
Big data y hadoop
Big data y hadoopBig data y hadoop
Big data y hadoop
 
"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas
 

Más de Datalytics

Data Visualization con Pentaho
Data Visualization con PentahoData Visualization con Pentaho
Data Visualization con Pentaho
Datalytics
 
Dashboards con MicroStrategy
Dashboards con MicroStrategyDashboards con MicroStrategy
Dashboards con MicroStrategy
Datalytics
 
Integración de Datos sin límites con Pentaho
Integración de Datos sin límites con PentahoIntegración de Datos sin límites con Pentaho
Integración de Datos sin límites con Pentaho
Datalytics
 
Charla Pentaho - UTN
Charla Pentaho - UTNCharla Pentaho - UTN
Charla Pentaho - UTN
Datalytics
 
Whats new in Pentaho 3.8
Whats new in Pentaho 3.8Whats new in Pentaho 3.8
Whats new in Pentaho 3.8
Datalytics
 
Pentaho Roadmap 2011
Pentaho Roadmap 2011Pentaho Roadmap 2011
Pentaho Roadmap 2011
Datalytics
 

Más de Datalytics (6)

Data Visualization con Pentaho
Data Visualization con PentahoData Visualization con Pentaho
Data Visualization con Pentaho
 
Dashboards con MicroStrategy
Dashboards con MicroStrategyDashboards con MicroStrategy
Dashboards con MicroStrategy
 
Integración de Datos sin límites con Pentaho
Integración de Datos sin límites con PentahoIntegración de Datos sin límites con Pentaho
Integración de Datos sin límites con Pentaho
 
Charla Pentaho - UTN
Charla Pentaho - UTNCharla Pentaho - UTN
Charla Pentaho - UTN
 
Whats new in Pentaho 3.8
Whats new in Pentaho 3.8Whats new in Pentaho 3.8
Whats new in Pentaho 3.8
 
Pentaho Roadmap 2011
Pentaho Roadmap 2011Pentaho Roadmap 2011
Pentaho Roadmap 2011
 

Último

Herramientas para los abogados, 3 herramientas
Herramientas para los abogados, 3 herramientasHerramientas para los abogados, 3 herramientas
Herramientas para los abogados, 3 herramientas
yessicacarrillo16
 
Excel Avanzado_ Diagrama de Pareto .pdf
Excel Avanzado_  Diagrama de Pareto .pdfExcel Avanzado_  Diagrama de Pareto .pdf
Excel Avanzado_ Diagrama de Pareto .pdf
IsabellaLugo3
 
Estructuras básicas_ conceptos básicos de programación (1).pdf
Estructuras básicas_ conceptos básicos de programación  (1).pdfEstructuras básicas_ conceptos básicos de programación  (1).pdf
Estructuras básicas_ conceptos básicos de programación (1).pdf
AnaSofaRosmaya
 
verbo to be en ingles una manera facil de aprenderlos
verbo to be en ingles una manera facil de aprenderlosverbo to be en ingles una manera facil de aprenderlos
verbo to be en ingles una manera facil de aprenderlos
YendierMosqueralemus
 
trabajo 2do perido.pdf diagrama de pareto
trabajo 2do perido.pdf diagrama de paretotrabajo 2do perido.pdf diagrama de pareto
trabajo 2do perido.pdf diagrama de pareto
BRIANHERNANDEZVALENC
 
Estructuras básicas_ conceptos básicos de programación (1).pdf
Estructuras básicas_ conceptos básicos de programación  (1).pdfEstructuras básicas_ conceptos básicos de programación  (1).pdf
Estructuras básicas_ conceptos básicos de programación (1).pdf
MaraJos722801
 
C1B3RWALL La red de cooperación de Madrid.pptx
C1B3RWALL La red de cooperación de Madrid.pptxC1B3RWALL La red de cooperación de Madrid.pptx
C1B3RWALL La red de cooperación de Madrid.pptx
Guillermo Obispo San Román
 
Programas relacionados con la telemática.pdf
Programas relacionados con la telemática.pdfProgramas relacionados con la telemática.pdf
Programas relacionados con la telemática.pdf
DiegoPinillo
 
UiPath and Dream to Succeed Student Account Session
UiPath and Dream to Succeed Student Account SessionUiPath and Dream to Succeed Student Account Session
UiPath and Dream to Succeed Student Account Session
DianaGray10
 
Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...
Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...
Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...
RazeThefox
 
Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...
Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...
Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...
KukiiSanchez
 
analisis de grafica Realizado por Juliana Diaz Cardona.pdf
analisis de grafica Realizado por Juliana Diaz Cardona.pdfanalisis de grafica Realizado por Juliana Diaz Cardona.pdf
analisis de grafica Realizado por Juliana Diaz Cardona.pdf
RazeThefox
 
trabajo monografico sobre el yandex .jim
trabajo monografico sobre el yandex .jimtrabajo monografico sobre el yandex .jim
trabajo monografico sobre el yandex .jim
jhonyaicaterodriguez
 
El uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptxEl uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptx
jgvanessa23
 
informe de diagrama de pareto actividad segundo periodo 11-2
informe de diagrama de pareto actividad segundo periodo 11-2informe de diagrama de pareto actividad segundo periodo 11-2
informe de diagrama de pareto actividad segundo periodo 11-2
SofaNava1
 
Ingeniería en Telemática y ejercicios.pdf
Ingeniería en Telemática y ejercicios.pdfIngeniería en Telemática y ejercicios.pdf
Ingeniería en Telemática y ejercicios.pdf
Camila301231
 
Plantilla carrier y tecnologia de TIGO.pptx
Plantilla carrier y tecnologia de TIGO.pptxPlantilla carrier y tecnologia de TIGO.pptx
Plantilla carrier y tecnologia de TIGO.pptx
edwinedsonsuyo
 
saludos en ingles de una forma mas facil y divertida
saludos en ingles de una forma mas facil y divertidasaludos en ingles de una forma mas facil y divertida
saludos en ingles de una forma mas facil y divertida
YendierMosqueralemus
 
Gobernanza con SharePoint Premium de principio a fin
Gobernanza con SharePoint Premium de principio a finGobernanza con SharePoint Premium de principio a fin
Gobernanza con SharePoint Premium de principio a fin
Juan Carlos Gonzalez
 
Diagrama de pareto.docx trabajo de tecnologia
Diagrama de pareto.docx trabajo de tecnologiaDiagrama de pareto.docx trabajo de tecnologia
Diagrama de pareto.docx trabajo de tecnologia
RazeThefox
 

Último (20)

Herramientas para los abogados, 3 herramientas
Herramientas para los abogados, 3 herramientasHerramientas para los abogados, 3 herramientas
Herramientas para los abogados, 3 herramientas
 
Excel Avanzado_ Diagrama de Pareto .pdf
Excel Avanzado_  Diagrama de Pareto .pdfExcel Avanzado_  Diagrama de Pareto .pdf
Excel Avanzado_ Diagrama de Pareto .pdf
 
Estructuras básicas_ conceptos básicos de programación (1).pdf
Estructuras básicas_ conceptos básicos de programación  (1).pdfEstructuras básicas_ conceptos básicos de programación  (1).pdf
Estructuras básicas_ conceptos básicos de programación (1).pdf
 
verbo to be en ingles una manera facil de aprenderlos
verbo to be en ingles una manera facil de aprenderlosverbo to be en ingles una manera facil de aprenderlos
verbo to be en ingles una manera facil de aprenderlos
 
trabajo 2do perido.pdf diagrama de pareto
trabajo 2do perido.pdf diagrama de paretotrabajo 2do perido.pdf diagrama de pareto
trabajo 2do perido.pdf diagrama de pareto
 
Estructuras básicas_ conceptos básicos de programación (1).pdf
Estructuras básicas_ conceptos básicos de programación  (1).pdfEstructuras básicas_ conceptos básicos de programación  (1).pdf
Estructuras básicas_ conceptos básicos de programación (1).pdf
 
C1B3RWALL La red de cooperación de Madrid.pptx
C1B3RWALL La red de cooperación de Madrid.pptxC1B3RWALL La red de cooperación de Madrid.pptx
C1B3RWALL La red de cooperación de Madrid.pptx
 
Programas relacionados con la telemática.pdf
Programas relacionados con la telemática.pdfProgramas relacionados con la telemática.pdf
Programas relacionados con la telemática.pdf
 
UiPath and Dream to Succeed Student Account Session
UiPath and Dream to Succeed Student Account SessionUiPath and Dream to Succeed Student Account Session
UiPath and Dream to Succeed Student Account Session
 
Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...
Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...
Ejercicio Resuelto del Diagrama de Pareto Realizado por Hanna Isabella Garcia...
 
Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...
Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...
Morado y Verde Animado Patrón Abstracto Proyecto de Grupo Presentación de Edu...
 
analisis de grafica Realizado por Juliana Diaz Cardona.pdf
analisis de grafica Realizado por Juliana Diaz Cardona.pdfanalisis de grafica Realizado por Juliana Diaz Cardona.pdf
analisis de grafica Realizado por Juliana Diaz Cardona.pdf
 
trabajo monografico sobre el yandex .jim
trabajo monografico sobre el yandex .jimtrabajo monografico sobre el yandex .jim
trabajo monografico sobre el yandex .jim
 
El uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptxEl uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptx
 
informe de diagrama de pareto actividad segundo periodo 11-2
informe de diagrama de pareto actividad segundo periodo 11-2informe de diagrama de pareto actividad segundo periodo 11-2
informe de diagrama de pareto actividad segundo periodo 11-2
 
Ingeniería en Telemática y ejercicios.pdf
Ingeniería en Telemática y ejercicios.pdfIngeniería en Telemática y ejercicios.pdf
Ingeniería en Telemática y ejercicios.pdf
 
Plantilla carrier y tecnologia de TIGO.pptx
Plantilla carrier y tecnologia de TIGO.pptxPlantilla carrier y tecnologia de TIGO.pptx
Plantilla carrier y tecnologia de TIGO.pptx
 
saludos en ingles de una forma mas facil y divertida
saludos en ingles de una forma mas facil y divertidasaludos en ingles de una forma mas facil y divertida
saludos en ingles de una forma mas facil y divertida
 
Gobernanza con SharePoint Premium de principio a fin
Gobernanza con SharePoint Premium de principio a finGobernanza con SharePoint Premium de principio a fin
Gobernanza con SharePoint Premium de principio a fin
 
Diagrama de pareto.docx trabajo de tecnologia
Diagrama de pareto.docx trabajo de tecnologiaDiagrama de pareto.docx trabajo de tecnologia
Diagrama de pareto.docx trabajo de tecnologia
 

Big Data Architecture con Pentaho

  • 1. www.datalytics.com 18D – Pentaho Big Data Architecture
  • 2. Un punto de inflexión LOS DATOS SE 40 DUPLICAN CADA 2 AÑOS 80% 35 DE LA INFORMACIÓN ES NO 30 ESTRUCTURADA (Gartner, December 2011) 25 ZB 20 15 LAS EMPRESAS MANEJARÁN 10 50X MÁS DATOS 5 EN LA PRÓXIMA DÉCADA 2005 2010 2015 2020 (IDC Digital Universe Study, June 2011) 0 (IDC Digital Universe Study, June 2011) “El aumento exponencial en la cantidad de información disponible ha hecho que las empresas recurran a nuevas herramientas y procesos para recopilar datos (tanto estructurados como no estructurados) y para almacenar, administrar, manipular, analizar, e integrar datos. ” J|M|P Securities, Big Data and How BI Got Its Groove Back, Nov. 2011
  • 3. Qué es Big Data?  Big Data es el nombre que se le da a conjuntos de información que crecen de una manera tan exponencial que resulta prohibitivo almacenarlos y/o procesarlos con métodos o técnicas tradicionales del mundo de base de datos relacionales.  Big Data son tres V’s y una C:  Velocidad: los datos se generan a un ritmo exponencial.  Volumen: la irrupción de Big Data dejó en el pasado el Terabyte para hablar de Petabytes y Zetabytes.  Variedad: datos estructurados y no estructurados, proveniente de la web 2.0, sensores, logs, etc.  Complejidad: volumen de datos tal que no permite procesarlo con técnicas tradicionales
  • 4. De dónde viene?  Información transaccional  Operaciones bancarias  Servicios financieros, portales de bolsa  Tiendas virtuales / e-commerce  La nube  World Wide Web / Blogs  Redes sociales: Twitter, Facebook, LinkedIn  Machine-generated data (MGD)  Weblogs  Centrales telefónicas  Sensores de todo tipo  Logs de aplicaciones
  • 5. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 6. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 7. Bases de datos Transaccionales  Utilizadas en la mayoría de las empresas en la actualidad Atomicidad  Motores transaccionales, diseñados y desarrollados para soportar transacciones y trabajar con pocos registros por operación. Durabilidad Consistencia  Las soluciones de Business Intelligence involucran cientos de miles (e inclusive millones) de registros en una única Isolación operación, y deben responder en un tiempo adecuado.  Las bases de datos transaccionales no fueron diseñadas para responder a consultas analíticas sobre grandes volúmenes de información.  La irrupción de Big Data comienza a dejar en evidencia estas falencias, debiendo utilizar complejos índices, tablas agregadas, tablas particionadas, etc., aumentando el costo de desarrollo y mantenimiento, obteniendo tiempos
  • 8. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 9. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 10. Bases de datos NoSQL  Distintos tipos de bases para distintos tipos de aplicaciones: documentales, grafos, clave/valor, orientadas a objetos, tabulares, …  Características  SQL: Sin (o muy poco) soporte para SQL.  Datos accedidos a través de programas Java, no consultas  ACID: Sin integridad referencial, poco soporte transaccional  Definición de estructuras de datos flexibles (sobre la marcha)  Beneficios  Facilidad de escalamiento horizontal (clusters baratos)  Almacenamiento de grandes volúmenes (no generan cuellos de botella)  Excelentes para lecturas masivas de registros tipo clave/valor.
  • 11. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 12. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 13. Bases de datos Analíticas  Bases de datos diseñadas específicamente para ser utilizadas como motores de Data Warehouse.  Estas bases de datos logran procesar grandes volúmenes de información a velocidades asombrosas, gracias a la aplicación de diferentes conceptos y tecnologías:  Almacenamiento en columnas en lugar de filas (registros)  Massively parallel processing (MPP)  In-Memory Analytics  Históricamente estas bases de datos tan especializadas tenían un costo muy elevado, pero hoy el mercado nos ofrece varias alternativas que se adaptan al presupuesto de cada organización.
  • 14. Presentando a  Infobright es una compañía que desarrolla un motor de base de datos analítico orientada a columnas de alta performance que entrega rápidos tiempos de respuesta a consultas ad- hoc sobre grandes volúmenes de información (BIG DATA) con mínimo esfuerzo de administración, mantenimiento y costo de propiedad.  Fundada en 2006, Infobright tiene HQ en Toronto (Canadá) y cuenta con oficinas en Boston (USA), Irlanda y Polonia.  A diferencia de otras bases analíticas, la mejor performance de Infobright esta basada en modelos matemáticos, no en hardware.  Modelo de negocios “Try & Buy” basado en una versión Enterprise (Infobright Enterprise Edition, IEE) y una versión Open Source (Infobright Community Edition, ICE).  Socio tecnológico de varias empresas de BI como MicroStrategy, Pentaho, Informática, etc.  Base de clientes en aumento, incluyendo empresas como Yahoo!, Xerox, Bwin, etc.
  • 15. Características de Infobright  Base de datos columnar orientada al análisis de información  Excelente performance:  Análisis ad-hoc de grandes volúmenes de información  Tiempos de carga de 2TB/hour  Tasas de compresión de 10:1 a 40:1 (o aún más)  Fácil administración e implementación:  Elimina la necesidad de mantener índices, tablas particionadas, tablas agregadas, etc  Auto-tunning: la base va “aprendiendo” de las consultas que recibe  Se instala en minutos, y no tiene grandes requisitos de HW  Basada en arquitectura MySQL (BD más utilizada en el mundo)  Es una base relacional, por lo que dialoga SQL  Modelo de suscripción Low Cost
  • 16. Y por qué resulta mejor para BI? Base de datos Potencia basada en Administración orientada a inteligencia, no en simplificada columnas Hardware Diseñada para No existe el Knowledge Grid análisis de datos tuning manual Tareas de Excelente tasa de Motor iterativo administración compresión mínimas
  • 17. Almacenamiento en columnas, no filas ID Tarea Departamento Ciudad 1 Envío Operaciones Medellín # 2 Recepción Operaciones Medellín # 3 Registración Finanzas Bogotá # # El almacenamiento en filas sirve si… # #  Todas las columnas son necesarias  Por ejemplo, el detalle de una compra de supermercado  Ideal para un mundo transaccional donde usualmente se necesita todo el detalle de una entidad Almacenamiento en Columnas El almacenamiento en columnas sirve si…  Sólo se requieren algunas columnas para el análisis 1 Envío Operaciones Medellín  Por ejemplo, el total vendido del producto X en cada una de las sucursales en los últimos 3 meses. 2 Recepción Operaciones Medellín  Información consolidada (sumas, cantidades, 3 Registración Finanzas Bogotá promedios, …)  Ideal para un mundo analítico, donde la información se concentra en métrica de distintas entidades
  • 18. Almacenamiento en filas vs. columnas 30 columnas Ejemplo de aplicación:  50 días con información; 30 columnas/variables por cada registro; un millón de registros por cada día  El acceso a disco es un problema  El almacenamiento en filas 50 millones de registros obliga a recuperar la información de todas las columnas  Al incrementarse el tamaño de la tabla, se incrementan los índices  La velocidad de carga se degrada dado que los índices deben recrearse al incorporarse nuevos datos
  • 19. Almacenamiento en filas vs. columnas 30 columnas Objetivo: obtener el total de ventas de una semana del año.  La consulta SQL sería algo como: Select sum(ventas) from tabla where semana = X 50 millones de registros Día de la semana Venta diaria
  • 20. Almacenamiento en filas vs. columnas 30 columnas Utilizando un esquema de almacenamiento en filas (esquema tradicional)  Se recorren 7 millones de registros (un millón por cada día)  Para acceder a un valor en 50 millones de registros particular (el valor de la Día de la semana venta) es necesario leer las Venta diaria 30 columnas, aún cuando Información recuperada para el cálculo no tengan información (210 millones de variables!) relevante.  Se procesan TODAS las columnas (210 millones, 30 x 7), y se DESCARTAN TODAS MENOS una.  Es decir se procesó un 93% más de información.
  • 21. Almacenamiento en columnas, no filas Utilizando un esquema de almacenamiento en columnas (esquema utilizado por Infobright)  Se recorren 7 millones de registros (un millón por cada día) 50 millones de registros  Se procesan sólo las 2 Día de la semana Venta diaria columnas necesarias: día y venta diaria.  Es decir, sólo se procesa la información necesaria.  La inteligencia está en la forma de almacenamiento y en el algoritmo usado para 93% menos de información extraer los datos. recuperada!
  • 22. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 23. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Big Data  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 24. Hadoop (HDFS, Map/Reduce, Hive, Pig, …)  Origen (Google): cómo hacer para indexar la web sin morir en el intento?  Solución: arquitectura masivamente paralela, que incluye un sistema de archivos y un esquema de procesamiento distribuido.  Permite almacenar y procesar grandes volúmenes de cualquier tipo de información  Ideal para:  Grandes volumenes de datos no estructurados que no cuadran en bases de datos transaccionales o NoSQL  Emails, tweets, imágenes, logs, videos, …  Hadoop = Almacenamiento + procesamiento (consultas) HDFS + programas Map/Reduce (Java)
  • 25. Ejemplo: Map/Reduce Cuantas veces aparece la palabra Datalytics en Contá las Archivo.txt? repeticiones de Datalytics en el Bloque C (*) (*) (*) Cantidad = 3 Cantidad = 0 Cantidad = 11 Archivo.txt (*) Deben programarse en Java! 
  • 26. Ejemplo: Map/Reduce Sumá “Datalytics” Resultados.txt (*) (Datalytics = 14) Datalytics =0 (*) (*) (*) (*) Deben programarse en Java! 
  • 27. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas Big Data de negocio que requieran de grandes volúmenes de información.  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.
  • 28. Tipos de bases de datos  El concepto de base de datos que utilizábamos hasta hace 2 años cambió  Distintos tipos de bases de datos, para distintos tipos de necesidades.  Bases de datos transaccionales: para almacenar información crítica del negocio, con origen en las aplicaciones de siempre (CRM, ERP, sistemas legacy, …)  NoSQL: para capturar de manera segura y escalable, grandes volúmenes de información continua generados por eventos.  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas Big Data de negocio que requieran de grandes volúmenes de información.  Hadoop (HDFS & Hive): para almacenar y procesar grandes volúmenes de información estructurada o semi-estructurada.  Desafíos…  Son de distintos vendedores y no están integradas  Estos tipos de DB’s se utilizan por lo general en conjunto  Se utilizan y administran de distinta manera; utilizan distintos lenguajes: no SQL!  Dependencia de sistemas: vuelta a las raíces?
  • 29. Tipos de bases de datos
  • 30. Tipos de bases de datos
  • 31. Integración con Big Data Fuentes de Repositorios BIG DATA BIG DATA DATOS ESTRUCTURADOS Hadoop CRM, POS, ERP, etc. DATOS NO ESTRUCTURADOS NoSQL Databases Cargar Manipular & Transformar Integrar Analytic Acceso Databases Modelado
  • 32. Integración con Big Data Integración, Enterprise & Ad Hoc Data Discovery, Manipulaciónn & Carga Reporting Visualización Análisis predictivo Hadoop NoSQL Analíticas
  • 33. Integración con Big Data Pasar de un desarrollo lento, complejo y permeable a errores
  • 34. Integración con Big Data Desarrollo visual, hecho por el area de BI
  • 35. Integración con Big Data  Pentaho reduce drásticamente el tiempo para diseñar, desarrollar e implementar soluciones de Big Data llegando a ser hasta 15 veces más rápido  Desarrollo 100% visual, 0% programación Java  Procesos de análisis simplificado de punta a punta  Plataforma completa, desde la extracción hasta las herramientas de análisis.  Alta performance, incluyendo capacidad de ejecución dentro de Hadoop.
  • 36. Integración con Big Data  Pentaho reduce drásticamente el tiempo para diseñar, desarrollar e implementar soluciones de Big Data llegando a ser hasta 15 veces más rápido  Toda la solución (ETL, cubos, reportes) se conecta con las distribuciones más importantes de Hadoop y las principales bases NoSQL y Analíticas  Lenguaje visual unificado para todos los desarrollos  Cargar/extraer archivos de Hadoop en un cluster local, en la nube, …  Ejecutar desde PDI jobs de Map/Reduce o scripts en Pig desarrollados en PDI o Java dentro del cluster  Integrar los distintos motores DB’s sin perder el foco en el usuario y en BI
  • 37. Ejecución dentro del cluster Hadoop PDI está desarrollado en Java: puede ejecutarse dentro del cluster de Hadoop Desarrollo fácil, misma performance
  • 38. Enfoque tradicional vs. Pentaho Ejecutivos Explo- ración Usuario final Predi- Analistas cción Mode- DM / DW IT/DBA lado Extracción/Carga Transformación Programadores 0 5 10 15 20 25 30 35 Días Enfoque tradicional
  • 39. Arquitectura de solución Structured Data Column Store or MPP Database Dashboard PDI PDI PDI Semi-structured Data PDI PDI Metadata Report PDI PDI PDI Analyzer Pentaho Data Integration Pentaho Data Integration Carga Limpieza / Enriquecimiento Paseo / Validación / Consolidación Administración de dimensiones Workflow Carga masiva a DB’s Workflow
  • 40. Instaview: acceso rápido a fuentes complejas  Sencillo, orientado al usuario final  Herramienta desktop para analistas de negocio  Simplifica drásticamente el acceso a fuentes de información “Complejas” (Hadoop, NoSQL, 1. Selección de fuente de información fuentes de tiempo real, …)  Big Data Analytics  Permite al analista acceder a fuentes de tiempo real o complejas enmascarando la complejidad subyacente. 2. Preparado automático para análisis  Analistas consultan su información sin intermediarios. 3. Visualización y exploración interactiva
  • 41. Data Quality  PDI cuenta con un plugin que permite realizar tareas avanzadas de Data Quality, incluyendo:  Data Profiling: análisis de la calidad de la información.  Data Cleaning: limpieza de la información.  Data Monitoring: monitoreo y análisis de la evolución de la calidad de la información.