Kafka infrastructure development

1. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
1
KAFKA INFRASTRUCTURE

2. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
1. $whoami
2. $whoareu
3. Developing with kafka
4. Rolling out for production
5. Monitoring the stack
6. Orchestration
7. PaaS solutions
2
$intro --help

3. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
Albert Olivar
CIO @ Lambdaloopers
aolivar@lambdaloopers.com
Find us @ https://github.com/lambdaloopers
https://www.lambdaloopers.com/
3
$whoami

4. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
SHARE YOUR EXPERIENCES!
4
$whoareu

5. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
5
CREATING A DEVELOPMENT
ENVIRONMENT FOR KAFKA PROJECTS

6. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
- Why docker?
- How does it help kafka?
- Experiences faced
6
EMBRACING DOCKER CONTAINERS

7. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
- Lightweight, stand-alone, executable package of
software to run specific services
- Runs on all major linux distributions
- Any infrastructure (VMs, bare-metal, cloud,...)
- The artifacts include everything (code, runtime,
libraries, configurations,...)
- Runs in its own isolated environment
7
WHAT IS A DOCKER CONTAINER?

8. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
8
WHY NOT JUST A VIRTUAL MACHINE ?

9. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
9
TIME TO GET UP TO DATE!
- Avoiding hardware virtualization
- Portability
- Focuses on app layer (packaging, dependencies,...)
- Kernel sharing
- Bootstrapping

10. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
10
YES, GREAT, BUT HOW DOES IT HELP KAFKA?
- Environment isolation & standardization
- Portability of the platform
- Higher resource optimization
- Agility & elasticity
- Orchestration

11. Oficinas en Madrid: C/ Francisco Silvela, 54 Duplicado 1ºD 28028
Telf: 91 080 82 44
Oficinas en Barcelona: C/ Madrazo 27-29 4ª 08006
Telf: 933 68 52 46
11
A DEMO, YOU SAY?
https://github.com/lambdaloopers/docker-spring-cqrs-es
https://github.com/lambdaloopers/docker-kafka