KEEDIO: Proyecto y Roles Big Data INDICE Lo que es Big Data y su futuro La cadena de valor de Big Data Casos de uso – Con éxitos y fracasos Roles de Big Data y el cambio en las organizaciones Cómo lo hacemos: Con una plataforma y metodología

1. Roles y Proyectos
Big Data
Daniel Tardón
dtardon@keedio.com
@danikeedio

2. ROLES EN BIG DATA
PRINCIPALES NUEVOS ACTORES EN LOS
PROYECTOS BIG DATA

3. Solving Big Data Issues
ROLES EN BIG DATA
Data Engineer Data Scientist Architect
DevOps Project/Data Science Manager CDO

4. Solving Big Data Issues
Principalmente se dedican a la construcción de diferentes elementos como las BBDD, algunos servicios/servidores, los
algoritmos que acaban corriendo en producción y se encargan de proporcionar datos para el posterior análisis.
Hacen menos de la analítica real – Hecha por el Data Scientist
INGENIERO DE DATOS: PERFIL Y TAREAS
DATA ENGINEER
<trabaja con/mantiene>
Arquitectura
Big Data
Infraestructura Datos
HW/SW

5. Solving Big Data Issues
Analiza, visualiza y comunica los resultados a los Data Managers
y otros roles en la organización.
DATA SCIENTIST: PERFIL Y TAREAS
DATA SCIENTIST
Limpieza de Datos Prototipado de
Algoritmos
Comunicación de
los hallazgos
Análisis de Datos

6. Solving Big Data Issues
DATA SCIENTIST: EN BÚSQUEDA DE UNICORNIOS

7. Solving Big Data Issues
Diseñar basándose en el objetivo final de una infraestructura que está destinada a, garantizar la interoperabilidad sin
fisuras entre todos los componentes, coordinar la configuración de los cambios.
Conocimiento de administración de sistemas y desarrollo software.
ARQUITECTO BIG DATA: PERFIL Y TAREAS
ARCHITECT
<perspectiva abajo-arriba>
GRAN FOTO
Diseño de los pipelines de
datos:
Seleccionar los módulos y
herramientas apropiados.
ATENCIÓN A LOS DETALLES
Consciente de los desafios
de integración y los posibles
problemas de ajuste en los
rendimientos

8. Solving Big Data Issues
Su nombre viene a raíz de una metodología.
Puede jugar un papel de ingeniero de operaciones o como un desarrollador con perspectiva global de sistemas y
software juntos.
DEVOPS: PERFIL Y TAREAS
DevOps
Ciclo de vida de la
ingeniería del SW
OPERACIONES
Administración y
Sysconfig
Integración y QA
<Desarrollo Agile>

9. Solving Big Data Issues
MANAGER: PERFIL Y TAREAS
Foto técnica: infraestructura, SW, matemáticas, estadística y ML.
Gestión: Objetivos y prioridades, control del proceso global, interfaz con otros departamentos, grupos y
clientes.
PROJECT/DATA SCIENCE MANAGER
<perspectiva global>
Gran foto técnica Gestión

10. Solving Big Data Issues
Gobierno: Calidad del dato, normativa y regulaciones.
Estrategia: Convertir la información en ingresos o activos.
Es el profesional de más alto rango en la compañía (a nivel de gestión de datos)
Normalmente reporta directamente al CEO (Chief Executive Officer)
CDO (CHIEF DATA OFFICER): PERFIL Y TAREAS
Gobierno del Dato Estrategia alrededor
de los datos
CDO – CHIEF DATA OFFICER

11. Solving Big Data Issues 11Solving Big Data Issues
¿QUÉ PASA EN
1 MINUTO
EN INTERNET?
Actividad
Mundial en
Internet en
2016
60SEGUNDOS
69.444
horas
visionadas
701.389
logins en
Facebook
527.760
fotos compartidas
en Snapchat
51.000
descargas desde
App Store
2,78
millones
de vídeos vistos
972.222
swipes en Tinder
2,4 millones
de búsquedas
+120
cuentas nuevas
de Linkedin
203.596$
en ventas
38.052
horas de música
en Spotify
347.222
nuevos tuits
38.194
posts
1.389
carreras
150
millones
emails
enviados
+20,8
millones
de mensajes
en Whatsapp
1,04
millones
de loops en Vine

12. Solving Big Data Issues 12
Todo lo que se pueda digitalizar
se digitalizará
Todo lo que se pueda conectar
se conectará
Todo lo que se pueda analizar
se analizará
Solving Big Data Issues

13. Solving Big Data Issues 13
IT Y NEGOCIO DEBEN ESTAR ALINEADOS
NO PUEDE SER QUE IT SOSTENGA EL NEGOCIO SIN LAS HERRAMIENTAS ADECUADAS
IT

14. CICLO DEL DATO
FASES E INTERACCIÓN ENTRE LOS
ROLES
14

15. Solving Big Data Issues
CICLO DEL DATO
001 101
01 0
1
1
11
1
01 10
i
1. ANALYSIS AND DESIGN 2. PLATAFORM DEPLOYMENT
5. DATA PROCESSING 4. SECURITY DATA GOVERNANCE 3. DATA INGESTION
6. ANALYTICS 7. DATA VISUALIZATION/EXPLOITATION
Casos de Uso
Estado del Arte
Arquitectura
Architect
Data Scientist
DS Manager
KEEDIO Data Stack
Proveedores Cloud
On-Premise
Architect
Data Engineer
DevOps
Real Time
Batch
OpStore (NoSQL)
DevOps
Data Engineer
BI Analytics
Machine Learning
Analítica
Exploratoria
Data Scientist
Data Engineer
BI Tools
OLAP
Sistemas Externos
UI/DevOps
Data Scientist
Legacy BI
Autenticación
Trazabilidad
Linaje
CDO
DS Manager
Data Engineer
DevOps
Identificación
Recolección
Enriquecimiento
Data Engineer
DevOps
Data Scientist

16. METODOLOGÍA
DIFERENTES APROXIMACIONES PERO
SIEMPRE UNA CLAVE: AGILE!
16

17. Solving Big Data Issues 17
FASES DE PROYECTO – MODELO CLÁSICO – HITOS BIG DATA

18. ¿METODOLOGÍAS ÁGILES?

19. Solving Big Data Issues 19
CLAVES DE SCRUM

20. Solving Big Data Issues 20
SENTIDO COMÚN Y FLEXIBILIDAD
SCRUM
XTREME PROGRAMMING
KANBAN
SCRUMBAN
MANY MORE…
METODOLOGÍAS
ÁGILES

21. RESUMEN
Lo que es Big Data y su futuro
La cadena de valor de Big Data
Casos de uso – Con éxitos y fracasos
Roles de Big Data y el cambio en las organizaciones
Cómo lo hacemos: Con una plataforma y metodología

22. We’re hiring!

23. ¡Gracias!
¿Tenéis
Preguntas?
Tenemos
Respuestas

24. Calle Virgilio 25
Edificio Ayessa I, Bajo D
Pozuelo de Alarcón
28223 Madrid
@keedioinfo@keedio.comwww.keedio.com keedio