Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
Big Data en el Entorno
Bancario
Martín Cabrera
Technology Director
Everis, an NTT DATA Company
@dmcabrera
martin.cabrera.a...
Enteprise Data
Warehouse
Cubos
Sistemas
Transaccionales
(OLTP)
Integración y
Consolidación
Operaciones y
Analítica
Arquite...
Gaps de la Arquitectura de Datos Tradicional
• Soporte de volúmenes de datos limitado a
nivel de los sistemas OLTP
• Integ...
Arquitectura de Datos Moderna
Hadoop Distributed File System (HDFS)
Otro
EDW
DM
DM
Data Access APIs
OLTP OLTP OLTP
Workloa...
¿Cómo resuelve los gaps la Arquitectura de Datos Moderna?
• Eliminando la separación conceptual y física de
los datos OLTP...
Resumen Comparativo
• Volúmenes de datos limitados y
capacidad de escalamiento vertical.
• Separación conceptual y física ...
Web/Móvil
Sucursales
Callcente
r
ETL
Enteprise Data
Warehouse
Inteligencia
de Clientes
Modelos
Predictivos
Campañas Push
M...
Carga incremental (en near-real-
time) de todas las fuentes de
información relevantes.
Carga de fuentes no estructuradas
c...
¿Cuáles serían los casos de uso
más comunes de Big Data en la
Banca y la arquitectura sugerida?
Enterprise Data Warehouse offloading
Enterprise Data
Warehouse
OLTP
ETL
1
2
Movemos información de
menor valor y/o históri...
Enterprise Data Lake
Enterprise Data
Warehouse
(EDW)
ETL
1
Equipos
Explotació
n
3
4
OLTP
OLTP
Las bases de datos
OLTP más
...
Enterprise Data Lake + Nuevas Fuentes
Enterprise Data
Warehouse
(EDW)
ETL
1
Equipos
Explotación
4
5
OLTP
El Data Lake
inco...
Near-Real-Time Data Ingestion
Enterprise Data
Warehouse (EDW)
Equipos
Explotació
n
4
5
OLTP
Los agentes de Flume
hacen str...
Real-Time Analytics con HBase
OLTP
Logs
OLTP
Logs
Flume
Agent
Flume
Agent
Flume
Agent
En el proceso de ingesta de
datos, s...
Real-Time Analytics con HBase+Spark
OLTP
Logs
OLTP
Logs
Flume
Agent
Flume
Agent
Flume
Agent
1
Real-Time
Analytics
Services...
Ejemplo Digital Journey soportado por BigData
Web
Red Social
El usuario se
conecta a
www.banco.cl
La aplicación le
indica ...
Resumiendo
• Los Bancos (y todos los negocios digitales) necesitan una
Arquitectura de Datos Moderna que soporte el
proces...
Big Data en el Entorno
Bancario
Martín Cabrera
Technology Director
Everis, an NTT DATA Company
@dmcabrera
martin.cabrera.a...
Próxima SlideShare
Cargando en…5
×

Big Data en el entorno Bancario

2.999 visualizaciones

Publicado el

En el último año, Big Data se ha transformado en uno de los pilares más importantes de la estrategia de negocio de los Bancos de Chile y el mundo. En un entorno cada vez más competitivo y con altos niveles de regulación, las organizaciones deben comenzar a tomar decisiones en función de los datos y no de la intuición. Para tomar dichas decisiones, se vuelve necesario procesar grandes volúmenes de información de manera eficiente, incorporando nuevas fuentes de datos y automatizando las decisiones a través de algoritmos analíticos avanzados. Durante esta presentación, analizaremos qué deben hacer los Bancos para transformar su arquitectura de datos tradicional, en una arquitectura de datos moderna con soporte para big data y así estar preparados para abordar los nuevos desafíos que plantea la transformación digital del negocio financiero.

Publicado en: Tecnología
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Responder 
    ¿Estás seguro?    No
    Tu mensaje aparecerá aquí

Big Data en el entorno Bancario

  1. 1. Big Data en el Entorno Bancario Martín Cabrera Technology Director Everis, an NTT DATA Company @dmcabrera martin.cabrera.aguilar@everis.com
  2. 2. Enteprise Data Warehouse Cubos Sistemas Transaccionales (OLTP) Integración y Consolidación Operaciones y Analítica Arquitectura de Datos Tradicional CRM ERP Web Channel Call Center ETL Datamart Datamart ETL Reportes Operativos y Analíticos CRM ERP Modelamiento y minería de datos ETL Auditoría
  3. 3. Gaps de la Arquitectura de Datos Tradicional • Soporte de volúmenes de datos limitado a nivel de los sistemas OLTP • Integración y consolidación compleja a través de procesos ETL • Excesiva normalización y rigidez a nivel de los esquemas de datos • No es compatible con la carga de fuentes de datos no estructuradas • No soporta naturalmente la implementación de real-time analytics • Capacidad de escalamiento y elasticidad limitados y de alto costo • Pensada principalmente para el mundo on- premise, lo que dificulta su extensión hacia el Cloud 30% 50% 20% Workloads ETL Operaciones Analíticos No esta preparada para la Transformación Digital
  4. 4. Arquitectura de Datos Moderna Hadoop Distributed File System (HDFS) Otro EDW DM DM Data Access APIs OLTP OLTP OLTP Workload Interactivo Workload Real-time Workload Batch Workload Analítico Fuentes de Datos No Estructuradas Documentos y Correos Web Logs & Click Streams Social Networks Cloud-based Services Sensors Data Geo-location Data
  5. 5. ¿Cómo resuelve los gaps la Arquitectura de Datos Moderna? • Eliminando la separación conceptual y física de los datos OLTP y los datos Analíticos a partir de una Arquitectura de Datos unificada • Eliminando las clásicas limitaciones de manejo de volúmenes de información restringidos • Soportando bajo una misma plataforma todos los workloads requeridos actualmente, Interactivo, Real-time, Batch y Analítico • Integrándose con los activos de datos existentes como el EDW, los DataMarts y las bases de datos OLTP más las fuentes de datos no estructuradas. • Generando la figura de un Enterprise Data Lake disponible para toda la corporación. • Siendo compatible con arquitecturas de tipo Cloud-Híbrida 20% 40% 40% Workloads ETL Operaciones Analíticos Siendo un habilitador fundamental para la implementación de productos y servicios digitales
  6. 6. Resumen Comparativo • Volúmenes de datos limitados y capacidad de escalamiento vertical. • Separación conceptual y física de datos OLTP y datos analíticos rellenorellenorellen.o • Excesiva normalización y rigidez a nivel de los esquemas de datos. • Limitaciones importantes para resolver workloads de Real-time analytics rellenorellenorelleno • No preparada para soportar el desarrollo de productos y servicios digitales • Pensada principalmente para el mundo on-premise. Arquitectura de Datos Tradicional • Volúmenes de datos ilimitados con capacidad de escalamiento horizontal. • Arquitectura de datos Unificada que integra fuentes de datos estructuradas y no estructuradas. • Esquemas flexibles diseñados para cambiar frecuentemente. • Diseñada para soportar cualquier tipo de workload, Interactivo, Real-time, Batch y Analítico. • Fundamental para la implementación de productos y servicios digitales • Compatible con cualquier arquitectura Cloud (privada, pública, híbrida). Arquitectura de Datos Moderna
  7. 7. Web/Móvil Sucursales Callcente r ETL Enteprise Data Warehouse Inteligencia de Clientes Modelos Predictivos Campañas Push Modelos Riesgo Reportes Pérdida de Información al momento de transformar los datos Existen datos que no estamos procesando (ej: logs) No soporta la implementación de servicios de Real-Time Analytics Capacidad Analítica limitada a los datos disponibles Baja capacidad de impulsar la práctica de Data Discovery Escenario actual en la Banca Riesgo Canales Operacione s
  8. 8. Carga incremental (en near-real- time) de todas las fuentes de información relevantes. Carga de fuentes no estructuradas como logs, correos e información de redes sociales. Escenario futuro (Big Data) Real-time Analytics API Campañas Real-time Data Insight Discovery Logs Logs Logs Big Data Enterprise Platform (Data Lake) EL ETL Web/Móvil Sucursales Callcente r ETL Enteprise Data Warehouse Modelos Predictivos Campañas Push Modelos Riesgo Reportes Data Scientists Capacidad analítica potenciada por nuevas fuentes de información Soporta la implementación de servicios real-time y la práctica de Discovery de datos Machine Learning based models Inteligenci a de Clientes Riesgo Canales Operacione s
  9. 9. ¿Cuáles serían los casos de uso más comunes de Big Data en la Banca y la arquitectura sugerida?
  10. 10. Enterprise Data Warehouse offloading Enterprise Data Warehouse OLTP ETL 1 2 Movemos información de menor valor y/o histórica desde el EDW a Hadoop ocupando Sqoop También podemos replicar la información en Hadoop para derivar carga de explotación Equipos Explotació n 3 4 Los equipos explotan la información con las mismas herramientas que ocupan actualmente.
  11. 11. Enterprise Data Lake Enterprise Data Warehouse (EDW) ETL 1 Equipos Explotació n 3 4 OLTP OLTP Las bases de datos OLTP más importantes se cargan as-is en Hadoop en modalidad Batch ETL 2 El EDW puede ser cargado desde el Data Lake en Hadoop a través de procesos ETL
  12. 12. Enterprise Data Lake + Nuevas Fuentes Enterprise Data Warehouse (EDW) ETL 1 Equipos Explotación 4 5 OLTP El Data Lake incorpora fuentes de datos No Estructuradas en modalidad Batch ETL 3 Logs OLTP Logs 2 Data Scientists Data Insight Discovery (Aster Data) Advanced Analytics (Mahout, R) Cognitive Analytics (IBM Watson)
  13. 13. Near-Real-Time Data Ingestion Enterprise Data Warehouse (EDW) Equipos Explotació n 4 5 OLTP Los agentes de Flume hacen streaming de la información generada ETL 3 Logs OLTP Logs Flume Agent Flume Agent Flume Agent Los Interceptors de Flume permiten enriquecer la ingesta de datos para finalmente guardarla en HDFS (Hadoop) 1 2 Data Scientists Data Insight Discovery (Aster Data) Advanced Analytics (Mahout, R) Cognitive Analytics (IBM Watson)
  14. 14. Real-Time Analytics con HBase OLTP Logs OLTP Logs Flume Agent Flume Agent Flume Agent En el proceso de ingesta de datos, se guarda información en HBase que posteriormente servirá como input para los servicios Real-Time (ej: el consumo acumulado diario por rubro de un cliente con tarjeta de crédito). 1 Real-Time Analytics Services API 2 3 El servicio real-time (expuesto como API) es consumido por ejemplo por la aplicación móvil cada vez que el cliente realiza un pago con tarjeta. Con la estructura clave-valor en HBase, el servicio puede advertir al cliente de un consumo excesivo en su tarjeta e inclusive compararlo con meses y años anteriores.
  15. 15. Real-Time Analytics con HBase+Spark OLTP Logs OLTP Logs Flume Agent Flume Agent Flume Agent 1 Real-Time Analytics Services API 3 Spark permite crear un Resilient Distributed Dataset (RDD) a partir de datos en HDFS, HBase, etc. Su capacidad de representar los datos en memoria y de procesar los mismos de manera distribuida, permite crear servicios de real-time analytics avanzados que requieran procesar grandes volúmenes de datos. 2
  16. 16. Ejemplo Digital Journey soportado por BigData Web Red Social El usuario se conecta a www.banco.cl La aplicación le indica que se registre con sus credenciales de Twitter / Facebook o Linkedin El usuario selecciona Linkedin y la aplicación solicita permisos para acceder a su perfil y su lista de contactos La aplicación le muestra sus datos, le solicita que ingrese su número de móvil, una clave segura y le envía por SMS un código de enrolamiento para su dispositivo. Móvil El usuario recibe el código de enrolamiento para confirmar su regsitro El usuario confirma su registro y ya es “Cliente Registrado”. La aplicación le da la Bienvenida y la indica que 36 de sus contactos en Linkedin ya son clientes del Banco y que 22 de ellos tienen Cta Cte y Tarjeta de Crédito, mientras que 18 tienen productos de inversión, invitándolo a contratar dichos productos Email El cliente recibe un correo de bienvenida, con la misma información de sus contactos que está viendo en la aplicación web y con la invitación a seguir explorando los productos del Banco
  17. 17. Resumiendo • Los Bancos (y todos los negocios digitales) necesitan una Arquitectura de Datos Moderna que soporte el procesamiento de grandes volúmenes de información (Big Data). • El foco inicial debe estar puesto en la implementación de una Plataforma de Big Data Corporativa, tanto para fines analíticos como operativos. • Los casos de uso más implementados son: • Database offloading • Enterprise Data Lake • Near-Real-Time Data Ingestion • Real-Time Analytics
  18. 18. Big Data en el Entorno Bancario Martín Cabrera Technology Director Everis, an NTT DATA Company @dmcabrera martin.cabrera.aguilar@everis.com

×