¿quieres saber lo que hace un ingeniero de datos? en este PPT se describe el tipo de tareas que se realiza en ese campo

1. Confidential
Perfil de empleo
DESARROLLADOR DE APLICACIONES MÓVILES
Mayo de 2021

2. Confidential
Sobre mí y mi perfil laboral

3. Confidential
Hola, me llamo
Andrés Linares
y trabajo como
Desarrollador de Big Data

4. Confidential
Sobre mí y mi perfil laboral
En mi caso estudie dos ciclos formativos de FP:
• FP Medio (Sistemas Microinformáticos y redes).
• FP Superior (Desarrollo de aplicaciones Multiplataforma).
Una vez que que acabé los estudios decidí encaminar mi carrera profesional al
mundo del Big Data y a día de hoy pertenezco al departamento de ingeniería de la
parte Cloud Privada del Grupo Santander.
Soy una persona muy interesada en el mundo de la tecnología y sobre todo en el
mundo del Big Data.
Tengo una experiencia de mas de 8 años dedicada en mis inicios a la parte del
soporte informático, y la administración de sistemas, después durante mas de dos
años como Desarrollador Big Data y actualmente como Ingeniero de sistemas Big
Data.

5. Confidential
Pero, ¿a qué me dedico realmente?

6. Confidential
Primero empecemos por algo importante… ¿Qué es el Big Data?
El Big Data consiste en un proceso que analiza e interpreta grandes volúmenes de datos.
Todo ello sirve para que el gran volumen de datos almacenados puedan ser utilizados de forma remota,
generalmente para la toma de decisiones de las empresas.
Pero, ¿a qué me dedico realmente?

7. Confidential
Pero, ¿a qué me dedico realmente?

8. Confidential
Se pueden hacer infinidad de acciones con todos los datos, como por
ejemplo, un proyecto en el que trabajé y que me parece muy
interesante contaros.
• Teníamos que detectar si había fraude en cualquiera de las
transferencias inmediatas que se realizaban en una entidad
bancaria.
• Inicialmente hacíamos una criba de los datos en el Data Lake para
poder tener los datos que realmente necesitábamos filtrados.
• Después, con la ayuda de un experto científico de datos se realizó
un modelo de predicción.
• Para ello trabajamos con Python y con la librería Pandas.
Pero, ¿a qué me dedico realmente?

9. Confidential
Aparte de la criba de datos entre otras cosas necesitábamos:
• Si la transferencia se hacía desde el mismo origen habitual.
• Si antes de conseguir acceder a la plataforma bancaria, había
habido errores de autenticación previos.
• Si era habitual el destinatario de esa transferencia.
Este modelo de predicción finalmente indicaba como resultado si
la transferencia era fraudulenta o no.
Pero, ¿a qué me dedico realmente?

10. Confidential
Empecemos por sentar algún concepto clave ¿Que es un Data Lake?
Un Data Lake es un repositorio de almacenamiento centralizado que contiene Big
Data (gran volumen de datos) que proviene los datos de de varias fuentes.
Dichos datos están en bruto y serán de 3 posibles tipologías:
• Estructurados
• Semiestructurados
• No estructurados.
La adquisición de datos puede provenir de diferentes sistemas (como CRM o
sistemas de gestión de clientes) ERP (sistemas de gestión de recursos
empresariales), o de fuentes externas, como equipos conectados al Internet de las
Cosas y datos de redes sociales.
Pero, ¿a qué me dedico realmente?
1111111
1111111
1111111
0011010101
1111
000
111
1
1
1
1 0
1
0
0
1

11. Confidential
Que es un Data Lake
La capacidad puede variar en función de la necesidad
del cliente, pero normalmente hablamos que va a
contener terabytes (TBs) de datos.
Para que nos hagamos a la idea, un teléfono móvil de
gama media tiene unos 64GB de almacenamiento total
para el teléfono.
En este caso, un Data Lake de 10 TB tendrá solo de
datos, el equivalente al de150 teléfonos móviles.
Pero, ¿a qué me dedico realmente?

12. Confidential
Cómo obtengo información del Data Lake
En este proceso se formularan las consultas pertinentes al Data Lake, para poder extraer de todos esos
millones de datos, JUSTO los datos que necesitamos.
En el ejemplo de la imagen podemos ver una consulta al Data Lake es una sentencia que está en lenguaje
SQL, esta es la manera que tendremos de comunicarnos con el Data Lake.
Pero, ¿a qué me dedico realmente?

13. Confidential
Vamos a profundizar poniendo un ejemplo real de la necesidad de una empresa:
• El departamento de Marketing de una empresa de supermercados necesita saber cual de sus tiendas
es la que mas vende, y que producto es el que mas vende.
• En este caso, se creara un proceso con tecnologías Big Data atacando al Data Lake que es el que
mantiene todos estos datos.
• Todos estos datos (las ventas, entre otros) son ingestados en los propios Data Lakes de las empresas
con una periodicidad bastante elevada, en este caso cada 5 minutos se ingesta en dicho Data Lake los
nuevos datos, manteniendo los anteriores.
• De esta forma podremos crear un proceso para que diariamente se envíe un informe al departamento
de marketing de la cadena de supermercados, indicándoles, por ejemplo, el TOP 10 de productos
vendidos y el TOP 10 de tiendas que mas han facturado.
Pero, ¿a qué me dedico realmente?

14. Confidential
Pero, ¿a qué me dedico realmente?
Para ser desarrollador de Big Data utilizo:
➡ Ordenador portátil
➡ Monitor secundario
➡ Papel y boli
Ejemplos de software que utilizo en mi trabajo:
➡ Scala
➡ Spark
➡ Control – M
➡ Hadoop
➡ Python

15. Confidential
Un programador Big Data como es mi caso, tendrá que desarrollar un proceso "atacando" a un Data Lake
(demandando datos del mismo) con tecnologías Big Data, por ejemplo, con Scala y Spark.
En la imagen podemos ver que dentro de un entorno de desarrollo funciones de código para desarrollar un
proceso en el lenguaje Scala.
Pero, ¿a qué me dedico realmente?

16. Confidential
¿Que es Scala?
Es un lenguaje de programación moderno diseñado para expresar patrones
comunes de programación de una forma concisa.
Una de sus principales ventajas en la escalabilidad, por lo que es un lenguaje que
facilita al máximo el crecimiento de los equipos de desarrollo.
Pero, ¿a qué me dedico realmente?
¿Que es Spark?
Es un motor muy eficiente y rápido para el almacenamiento, procesamiento y análisis
de grandes volúmenes de datos.
Es de código abierto y se encuentra gestionado por la Apache Software Foundation.
Diferencia: Apache Spark sirve para ejecutar aplicaciones de análisis de datos a gran
escala, Es decir seria el motor de procesamiento. Por otro lado, Scala es un lenguaje
de programación. Se compila y ejecuta en Java Virtual Machine.

17. Confidential
Después de haber conseguido el resultado, a través de una tecnología de automatización, crearemos una
periocidad diaria con una hora especifica, para que este proceso entre en ejecución extraiga ese dato y lo
envíe al departamento de Marketing.
En la imagen podemos ver diferentes Jobs automatizados, cada cajita pertenece a una acción
automatizada
Pero, ¿a qué me dedico realmente?

18. Confidential
¿Que es Control-M?
Es una solución de automatización de procesos.
Pero, ¿a qué me dedico realmente?

19. Confidential
Hay muchas tecnologías Big Data. Es un mundo muy interesante y muy extenso.
Pero, ¿a qué me dedico realmente?

20. Confidential
Actualmente trabajo en la parte de infraestructuras de sistemas Big Data.
Creamos soluciones adecuadas a las necesidades del cliente, diseñamos y certificamos que el clúster donde
estará alojado el Data Lake del cliente es lo que el cliente necesita.
Es muy importante tener la infraestructura adecuada, para que en ningún momento falten recursos o sobren
de una manera desmesurada, podemos crear un conflicto de espacio o una perdida de recursos que se
convierte en si en perdida de dinero.
¿Qué es un Clúster?
Es un conjunto de maquinas (servidores) que van a dar funcionalidad en conjunto (como si fuera una sola
máquina).
Pero, ¿a qué me dedico realmente?

21. Confidential
Con el cluster se consigue implementar dentro de él un Data Lake, en el que cada maquina tenga una
función específica y de esa forma poder operar a posteriori con los datos.
Pero, ¿a qué me dedico realmente?

22. Confidential
Generalmente, trabajo con la tecnología Big Data Cloudera.
Pero ¿qué es Cloudera?
Es la empresa de software responsable de la distribución de Hadoop.
Su plataforma de Big Data se centra en proporcionar herramientas de
Machine Learning y Analítica de datos.
Pero, ¿qué es Hadoop?
Es una estructura de software para almacenar datos y ejecutar
aplicaciones en clústeres de hardware.
Proporciona almacenamiento masivo para cualquier tipo de datos, y
tiene enorme capacidad de procesamiento de tareas o trabajos
concurrentes (al mismo tiempo varios trabajos) virtualmente ilimitados.
Pero, ¿a qué me dedico realmente?

23. Confidential
En mi caso tengo un laboratorio con ciertos servidores tanto físicos
como virtuales que los utilizo para preparar y configurar los clústeres,
con el software, el hardware y el aplicativo necesario para después
poder levantar un Data Lake y poder hacer las pruebas necesarias para
confirmar que ese modelo seleccionado es bueno y eficiente para las
necesidades del cliente.
• Para ello primero tendremos que hacemos un primer análisis de que
infraestructura necesitamos con que prestaciones.
• Que software necesitamos (Sistema operativo, actualizaciones,
paquetería a instalar, etc.)
• Una vez tengamos todo eso, montaremos el clúster con el Data
Lake, y comenzaremos las pruebas para garantizar que por ejemplo
esa versión con ese dimensionado de datacenters es correcto.
Pero, ¿a qué me dedico realmente?

24. Confidential
Mi Horario es flexible , de L a V. y los viernes salgo a las 15.00.
Trabajo en la ciudad financiera del Banco Santander situada en Boadilla del monte.
Pero, ¿a qué me dedico realmente?

25. Confidential
¿Dónde me formé para trabajar en esto?

26. Confidential
En mi caso estudie dos ciclos formativos de FP:
• FP Medio (Sistemas Microinformáticos y redes). IES VIRGEN DELA PAZ (ALCOBENDAS)
• FP Superior (Desarrollo de aplicaciones Multiplataforma). C.E.S FUENCARRAL (MADRID)
¿Dónde me formé para trabajar en esto?

27. Confidential
Para trabajar en el mundo del Big Data vendría bien disponer de algúna titulación superior en informática,
carrera con Ingeniera informática, física o matemáticas.
Completado preferiblemente por un master en Big Data.
Mis recomendaciones son las siguientes:
• Iron Hack https://www.ironhack.com/es/data-analytics
• IMF Formación https://www.imf-formacion.com/masters-profesionales/master-big-data-business-intelligence
¿Dónde me formé para trabajar en esto?

28. Confidential
En mi caso tuve mucha suerte y me brindaron la oportunidad de
empezar en el mundo sin tener master ni carrera, empezando como
desarrollador Big Data Junior.
Gracias a esta oportunidad y lo que empecé a aprender de este
entorno conseguí ir dando pasos grandes y creciendo rápidamente.
¿Dónde me formé para trabajar en esto?

29. Confidential
Encantado de responder a tus preguntas a
través de nuestra herramienta online.
También podrás ver una entrevista personal que
me harán luego y estará colgada en la web.

30. Confidential
Mayo de 2021