SlideShare una empresa de Scribd logo
1 de 12
Software Guru Data Day 2019
Francisco Padilla
 Ingeniero en Tecnologías Computacionales – Mención Honorífica
 Tec de Mty Campus Monterrey ’07
 10 años de experiencia en Estados Unidos en Inteligencia de Negocios
 Gobierno Federal de Estados Unidos (U.S. E.P.A.)
 Toys ”R” Us, The Home Depot, Citibank, AIG
 Cofundador y CTO de Konfío
 Fintech, 42 MM USD levantados de Capital, 60 MM USD de Deuda
 150 Empleados, 70 en Tecnología
 Si una empresa tiene bases de datos de capacidad industrial, ¿Porqué le sería
relevante validar el tamaño de los datasets con los que trabaja?
 La ley de Moore indica que el poder de procesamiento se duplica cada 2 años.
 ¿Una Arquitectura de clusters debería de poder resolverlo? No siempre.
OLTP
CDMX
OLTP
GDL
OLTP
MTY
OLTP
POS
CDMX
POS GDL POS MTY
12 AM – 7 AM
RW 7 AM – 12 AM
BI Reporting
RO
• Únicamente Datos Estructurados en la
Fuente
• Puntos ciegos operativos durante el día
• Agregación cada 30 minutos
• BD y BI Systems Caros (Enterprise)
HOT: Datos que requieran ingestión y procesamiento instantáneo, por lo general para alimentar
Modelos de AI de decisión crítica (Si falla el modelo, el negocio pierde dinero)
WARM: Datos que requieran ingestión y procesamiento intradía, por lo general para alimentar
decisiones tácticas (mini – micro batches): Operaciones, Finanzas, MKT
MILD: Proceso histórico tradicional, se puede consumir el dato analizado al día siguiente
COLD: Dato que se consume unas cuantas veces al mes, por lo general en grandes volúmenes
FROZEN: Dato que se consume unas cuantas veces al año, por lo general en grandes volúmenes
Predictability
Insight
Functionality
Consistency
Infrastructure
OLTP 1
OLTP n
FB Analytics
Google
Twitter
Public DBs
Call Center
Payroll
ODBC
API / WS
Streaming
FTP
Data Lake
ETL
Lambda
Files
OLTP
API
DWH
BI
Files
Fuentes Ingesta Almacenamiento Procesamiento Consumo
OLTP 1
OLTP n
FB Analytics
Google
Twitter
Public DBs
Call Center
Payroll
ODBC
API / WS
Streaming
FTP
Data Lake
ETL
Lambda
Files
OLTP
API
DWH
BI
Files
Fuentes Ingesta Almacenamiento Procesamiento Consumo
 El costo de almacenamiento está en el punto más bajo de su historia, y seguirá
bajando, crea las replicas que sean necesarias para poder trabajar con tus flujos.
 Gobierno de datos será más crítico que nunca
 Gestionar calidad en datos no estructurados es más complicado
 El impacto a negocio es mayor que nunca por AI
 El numero de fuentes y consumidores solo crecerá, hay que adoptar una
estructura diseñada para crecer
Como lidiar con el crecimiento exponencial de los datos

Más contenido relacionado

Similar a Como lidiar con el crecimiento exponencial de los datos

Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
CICE, La Escuela Profesional de Nuevas Tecnologías
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
CICE
 

Similar a Como lidiar con el crecimiento exponencial de los datos (20)

Cbs big data-fundamentals-1
Cbs big data-fundamentals-1Cbs big data-fundamentals-1
Cbs big data-fundamentals-1
 
Universidad de Concepción - EDUTIC 2011
Universidad de Concepción - EDUTIC 2011Universidad de Concepción - EDUTIC 2011
Universidad de Concepción - EDUTIC 2011
 
Big Data para la Gestión Eficiente de la Información (Presentación webinar)
Big Data para la Gestión Eficiente de la Información (Presentación webinar)Big Data para la Gestión Eficiente de la Información (Presentación webinar)
Big Data para la Gestión Eficiente de la Información (Presentación webinar)
 
NEGOCIOS INTEWLIGENTES
NEGOCIOS INTEWLIGENTESNEGOCIOS INTEWLIGENTES
NEGOCIOS INTEWLIGENTES
 
Paper c1
Paper c1Paper c1
Paper c1
 
Cómo implementar una solución Big Data
Cómo implementar una solución Big DataCómo implementar una solución Big Data
Cómo implementar una solución Big Data
 
Inteligencia de Negocios BI
Inteligencia de Negocios BIInteligencia de Negocios BI
Inteligencia de Negocios BI
 
"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Hs 2020-ibmi-marketplace-spanish v3
Hs 2020-ibmi-marketplace-spanish v3Hs 2020-ibmi-marketplace-spanish v3
Hs 2020-ibmi-marketplace-spanish v3
 
Copy of Charla Cibertec DAT.ppt
Copy of Charla Cibertec DAT.pptCopy of Charla Cibertec DAT.ppt
Copy of Charla Cibertec DAT.ppt
 
Expert Day 2013 - Trabaja al tope con tus datos BIG DATA
Expert Day 2013 - Trabaja al tope con tus datos BIG DATAExpert Day 2013 - Trabaja al tope con tus datos BIG DATA
Expert Day 2013 - Trabaja al tope con tus datos BIG DATA
 
Análisis más rápidos, empresas más inteligentes
Análisis más rápidos, empresas más inteligentesAnálisis más rápidos, empresas más inteligentes
Análisis más rápidos, empresas más inteligentes
 
Big data aplicado el negocio CRISP-DM
Big data aplicado el negocio CRISP-DMBig data aplicado el negocio CRISP-DM
Big data aplicado el negocio CRISP-DM
 
Aplicaciones de BI con Pentaho
Aplicaciones de BI con PentahoAplicaciones de BI con Pentaho
Aplicaciones de BI con Pentaho
 
2016 ULL Cabildo KEEDIO - Arquitecturas Big Data
2016 ULL Cabildo KEEDIO - Arquitecturas Big Data2016 ULL Cabildo KEEDIO - Arquitecturas Big Data
2016 ULL Cabildo KEEDIO - Arquitecturas Big Data
 
Business intelligence through big data and cloud computing
Business intelligence through big data and cloud computingBusiness intelligence through big data and cloud computing
Business intelligence through big data and cloud computing
 
Fundamentos de datawarehouse
Fundamentos de datawarehouseFundamentos de datawarehouse
Fundamentos de datawarehouse
 
ppt inteligencia de trabajo.pdf
ppt inteligencia de trabajo.pdfppt inteligencia de trabajo.pdf
ppt inteligencia de trabajo.pdf
 

Más de Software Guru

Más de Software Guru (20)

Hola Mundo del Internet de las Cosas
Hola Mundo del Internet de las CosasHola Mundo del Internet de las Cosas
Hola Mundo del Internet de las Cosas
 
Estructuras de datos avanzadas: Casos de uso reales
Estructuras de datos avanzadas: Casos de uso realesEstructuras de datos avanzadas: Casos de uso reales
Estructuras de datos avanzadas: Casos de uso reales
 
Building bias-aware environments
Building bias-aware environmentsBuilding bias-aware environments
Building bias-aware environments
 
El secreto para ser un desarrollador Senior
El secreto para ser un desarrollador SeniorEl secreto para ser un desarrollador Senior
El secreto para ser un desarrollador Senior
 
Cómo encontrar el trabajo remoto ideal
Cómo encontrar el trabajo remoto idealCómo encontrar el trabajo remoto ideal
Cómo encontrar el trabajo remoto ideal
 
Automatizando ideas con Apache Airflow
Automatizando ideas con Apache AirflowAutomatizando ideas con Apache Airflow
Automatizando ideas con Apache Airflow
 
How thick data can improve big data analysis for business:
How thick data can improve big data analysis for business:How thick data can improve big data analysis for business:
How thick data can improve big data analysis for business:
 
Introducción al machine learning
Introducción al machine learningIntroducción al machine learning
Introducción al machine learning
 
Democratizando el uso de CoDi
Democratizando el uso de CoDiDemocratizando el uso de CoDi
Democratizando el uso de CoDi
 
Gestionando la felicidad de los equipos con Management 3.0
Gestionando la felicidad de los equipos con Management 3.0Gestionando la felicidad de los equipos con Management 3.0
Gestionando la felicidad de los equipos con Management 3.0
 
Taller: Creación de Componentes Web re-usables con StencilJS
Taller: Creación de Componentes Web re-usables con StencilJSTaller: Creación de Componentes Web re-usables con StencilJS
Taller: Creación de Componentes Web re-usables con StencilJS
 
El camino del full stack developer (o como hacemos en SERTI para que no solo ...
El camino del full stack developer (o como hacemos en SERTI para que no solo ...El camino del full stack developer (o como hacemos en SERTI para que no solo ...
El camino del full stack developer (o como hacemos en SERTI para que no solo ...
 
¿Qué significa ser un programador en Bitso?
¿Qué significa ser un programador en Bitso?¿Qué significa ser un programador en Bitso?
¿Qué significa ser un programador en Bitso?
 
Colaboración efectiva entre desarrolladores del cliente y tu equipo.
Colaboración efectiva entre desarrolladores del cliente y tu equipo.Colaboración efectiva entre desarrolladores del cliente y tu equipo.
Colaboración efectiva entre desarrolladores del cliente y tu equipo.
 
Pruebas de integración con Docker en Azure DevOps
Pruebas de integración con Docker en Azure DevOpsPruebas de integración con Docker en Azure DevOps
Pruebas de integración con Docker en Azure DevOps
 
Elixir + Elm: Usando lenguajes funcionales en servicios productivos
Elixir + Elm: Usando lenguajes funcionales en servicios productivosElixir + Elm: Usando lenguajes funcionales en servicios productivos
Elixir + Elm: Usando lenguajes funcionales en servicios productivos
 
Así publicamos las apps de Spotify sin stress
Así publicamos las apps de Spotify sin stressAsí publicamos las apps de Spotify sin stress
Así publicamos las apps de Spotify sin stress
 
Achieving Your Goals: 5 Tips to successfully achieve your goals
Achieving Your Goals: 5 Tips to successfully achieve your goalsAchieving Your Goals: 5 Tips to successfully achieve your goals
Achieving Your Goals: 5 Tips to successfully achieve your goals
 
Acciones de comunidades tech en tiempos del Covid19
Acciones de comunidades tech en tiempos del Covid19Acciones de comunidades tech en tiempos del Covid19
Acciones de comunidades tech en tiempos del Covid19
 
De lo operativo a lo estratégico: un modelo de management de diseño
De lo operativo a lo estratégico: un modelo de management de diseñoDe lo operativo a lo estratégico: un modelo de management de diseño
De lo operativo a lo estratégico: un modelo de management de diseño
 

Último

EPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveEPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial Uninove
FagnerLisboa3
 
Proyecto integrador. Las TIC en la sociedad S4.pptx
Proyecto integrador. Las TIC en la sociedad S4.pptxProyecto integrador. Las TIC en la sociedad S4.pptx
Proyecto integrador. Las TIC en la sociedad S4.pptx
241521559
 
POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
silviayucra2
 

Último (10)

International Women's Day Sucre 2024 (IWD)
International Women's Day Sucre 2024 (IWD)International Women's Day Sucre 2024 (IWD)
International Women's Day Sucre 2024 (IWD)
 
Desarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdfDesarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdf
 
guía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Josephguía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Joseph
 
EPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveEPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial Uninove
 
Presentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptxPresentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptx
 
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft FabricGlobal Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
 
Proyecto integrador. Las TIC en la sociedad S4.pptx
Proyecto integrador. Las TIC en la sociedad S4.pptxProyecto integrador. Las TIC en la sociedad S4.pptx
Proyecto integrador. Las TIC en la sociedad S4.pptx
 
Trabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnologíaTrabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnología
 
POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNIT
 

Como lidiar con el crecimiento exponencial de los datos

  • 1. Software Guru Data Day 2019 Francisco Padilla
  • 2.  Ingeniero en Tecnologías Computacionales – Mención Honorífica  Tec de Mty Campus Monterrey ’07  10 años de experiencia en Estados Unidos en Inteligencia de Negocios  Gobierno Federal de Estados Unidos (U.S. E.P.A.)  Toys ”R” Us, The Home Depot, Citibank, AIG  Cofundador y CTO de Konfío  Fintech, 42 MM USD levantados de Capital, 60 MM USD de Deuda  150 Empleados, 70 en Tecnología
  • 3.  Si una empresa tiene bases de datos de capacidad industrial, ¿Porqué le sería relevante validar el tamaño de los datasets con los que trabaja?  La ley de Moore indica que el poder de procesamiento se duplica cada 2 años.  ¿Una Arquitectura de clusters debería de poder resolverlo? No siempre.
  • 4. OLTP CDMX OLTP GDL OLTP MTY OLTP POS CDMX POS GDL POS MTY 12 AM – 7 AM RW 7 AM – 12 AM BI Reporting RO • Únicamente Datos Estructurados en la Fuente • Puntos ciegos operativos durante el día • Agregación cada 30 minutos • BD y BI Systems Caros (Enterprise)
  • 5.
  • 6.
  • 7. HOT: Datos que requieran ingestión y procesamiento instantáneo, por lo general para alimentar Modelos de AI de decisión crítica (Si falla el modelo, el negocio pierde dinero) WARM: Datos que requieran ingestión y procesamiento intradía, por lo general para alimentar decisiones tácticas (mini – micro batches): Operaciones, Finanzas, MKT MILD: Proceso histórico tradicional, se puede consumir el dato analizado al día siguiente COLD: Dato que se consume unas cuantas veces al mes, por lo general en grandes volúmenes FROZEN: Dato que se consume unas cuantas veces al año, por lo general en grandes volúmenes
  • 9. OLTP 1 OLTP n FB Analytics Google Twitter Public DBs Call Center Payroll ODBC API / WS Streaming FTP Data Lake ETL Lambda Files OLTP API DWH BI Files Fuentes Ingesta Almacenamiento Procesamiento Consumo
  • 10. OLTP 1 OLTP n FB Analytics Google Twitter Public DBs Call Center Payroll ODBC API / WS Streaming FTP Data Lake ETL Lambda Files OLTP API DWH BI Files Fuentes Ingesta Almacenamiento Procesamiento Consumo
  • 11.  El costo de almacenamiento está en el punto más bajo de su historia, y seguirá bajando, crea las replicas que sean necesarias para poder trabajar con tus flujos.  Gobierno de datos será más crítico que nunca  Gestionar calidad en datos no estructurados es más complicado  El impacto a negocio es mayor que nunca por AI  El numero de fuentes y consumidores solo crecerá, hay que adoptar una estructura diseñada para crecer