Charla Codemotion 2016 - Altran

1. Big Data para
Javeros con
Apache Flink
Luis O. Roldán
@cloudhispano

2. Yo
• Desarrollando desde 1999
• Con Java desde 2001
• En Altran desde 2007
• Participando en proyectos de I+D desde 2013
• AGILE - BIG DATA - CLOUD - IOT - JAVA - MOBILE -
NOSQL - PERFORMANCE - WEB DEV - DEVOPS
18/11/2016 Big Data para Javeros con Apache Flink 3

3. ¿Por qué Flink?
• Java
• Big Data envy
• Cloud ready
• Comunidad
18/11/2016 Big Data para Javeros con Apache Flink 4

4. Historia de Flink
• 05/2011: Stratosphere 0.1
• 05/2014: Stratosphere 0.5 (Apache Incubator)
• 08/2014: Apache Flink 0.6-incubating
• 01/2015: Apache Flink 0.8-incubating
• 06/2015: Apache Flink 0.9
• 08/2016: Apache Flink 1.1
• 12/10/2016: Apache Flink 1.1.3
18/11/2016 Big Data para Javeros con Apache Flink 5

5. Intro de flink
• Apache Flink es una plataforma Open Source
• Procesado distribuido de datos tanto en
Stream como en Batch.
– Comunicación.
– Tolerancia a fallos.
– Gestión de memoria.
– Optimización del Job.
18/11/2016 Big Data para Javeros con Apache Flink 6

6. Deploy
• Local
• Cluster
– Standalone
– YARN
• Cloud
– GCE
– EC2
– Amazon Elastic MapReduce (EMR)
18/11/2016 Big Data para Javeros con Apache Flink 7

7. Core
18/11/2016 Big Data para Javeros con Apache Flink 8
• La capa de Runtime recibe un programa en
forma de gráfico de tareas. Un Job Graph es
un flujo de datos paralelo genérico con tareas
arbitrarias que consumen y producen flujos de
datos.

8. APIs: Batch y Streaming
Batch
• DataSet Transformations
• File systems:
– Hadoop Distributed File
System (HDFS)
– Amazon S3
– MapR file system
– Alluxio
– ¿MongoDB?
Streaming
• DataStream Windows
• Connectores:
– Apache Kafka (sink/source)
– Elasticsearch (sink)
– Elasticsearch 2x (sink)
– Hadoop FileSystem (sink)
– RabbitMQ (sink/source)
– Amazon Kinesis Streams
(sink/source)
– Twitter Streaming API (source)
– Apache NiFi (sink/source)
– Apache Cassandra (sink)
– Redis (sink)
18/11/2016 Big Data para Javeros con Apache Flink 9

9. Librerías
• El stack de Flink ofrece bibliotecas de alto
nivel para diferentes casos de uso:
– Procesamiento de eventos complejos (CEP)
– Aprendizaje automático (FlinkML)
– Análisis gráfico (Gelly)
– Consultas relacionales (Table)
18/11/2016 Big Data para Javeros con Apache Flink 10

10. Casos de uso: Play
18/11/2016 Big Data para Javeros con Apache Flink 11

11. Casos de uso: Bond
18/11/2016 Big Data para Javeros con Apache Flink 12

12. Casos de uso: Bond
18/11/2016 Big Data para Javeros con Apache Flink 13

13. HeatMap example
18/11/2016 Big Data para Javeros con Apache Flink 14

14. HeatMap example
18/11/2016 Big Data para Javeros con Apache Flink 15

15. HeatMap example
18/11/2016 Big Data para Javeros con Apache Flink 16

16. HeatMap example
18/11/2016 Big Data para Javeros con Apache Flink 17

17. Contras
• Apoyo de las distribuciones Hadoop
(Cloudera, MapR, etc)
• FlinkML: Faltan algoritmos “potentes”
• Third party packages: Evolucionando…
18/11/2016 Big Data para Javeros con Apache Flink 18

18. Pros
• Es JAVA!
• Streaming First
• Arquitectura Lambda
18/11/2016 Big Data para Javeros con Apache Flink 19

19. ¿Preguntas?
18/11/2016 Big Data para Javeros con Apache Flink 20

20. 18/11/2016 Big Data para Javeros con Apache Flink 21