Palestra sobre o Apache mesos e suas vantagens

1. Willian Molinari (a.k.a PotHix)
Apache Mesos,
abstraindo o datacenter

3. Plaev.github.io

4. ❏ O que é o Apache Mesos
❏ Como funciona?
❏ Que problema resolve?
❏ Como usar?
Agenda

5. O que é o Mesos?

6. ❏ Criado em Berkeley
❏ Trabalho de PhD
❏ 1º apresentação em 2009
❏ Twitter começa a usar em 2010
O que é o Mesos?

9. Nota: Não foi só isso, mas ajudou bastante :)

10. Empresas que usam

11. #MesosCon

12. #MesosCon 2014
mais de 250+ participantes

13. #MesosCon 2015
mais de 700+ participantes

14. Que problema resolve?

15. Static Partitioning

24. n CPUs
n GBs (mem)
n GBs (disco)
atributos

25. Fairness

26. Módulo de alocação
DRF por padrão, mas extensível

27. dados do twitter da apresentação do Chris Aniszczyk

28. Como funciona?

29. baseado na comparação do feita pelo David Greenberg

30. Isolamento
Processos
Containers

31. Compartilhamento de recursos
Linux Scheduler
DRF

32. API comum
Syscalls
(open, connect, fork)
Mesos API
(killTask, lanchTasks)

33. http://mesos.apache.org/documentation/latest/mesos-architecture/

34. http://mesos.apache.org/documentation/latest/mesos-architecture/

35. http://mesos.apache.org/documentation/latest/mesos-architecture/

36. http://mesos.apache.org/documentation/latest/mesos-architecture/

37. http://mesos.apache.org/documentation/latest/mesos-architecture/

38. http://mesos.apache.org/documentation/latest/mesos-architecture/

39. http://mesos.apache.org/documentation/latest/mesos-architecture/

40. http://mesos.apache.org/documentation/latest/mesos-architecture/

41. http://mesos.apache.org/documentation/latest/mesos-architecture/
frameworks

42. http://mesos.apache.org/documentation/latest/mesos-architecture/
high availability

43. http://mesos.apache.org/documentation/latest/mesos-architecture/
master
election

44. http://mesos.apache.org/documentation/latest/mesos-architecture/

46. servidor

47. processo do mesos

48. executor
do framework

49. container

50. Containerizers

51. ❏ mesos (cgroups)
❏ docker
❏ external
Containerizers

52. ❏ mesos (cgroups)
❏ docker
❏ external
Containerizers
Faça o seu! :P

53. Como usar?

54. Frameworks
Vários disponíveis na Doc

55. Outros frameworks

56. Outros frameworks

61. API
vários endpoints, tudo pode ser feito por lá

62. POST /v2/apps: create and start
{
"cmd": "env && python3 -m http.server $PORT0",
"constraints": [
[
"hostname",
"UNIQUE"
]
],
"container": {
"docker": {
"image": "python:3"
},
"type": "DOCKER"
},
"cpus": 0.25,
"healthChecks": [
{
...
}
],
"id": "my-app",
"instances": 2,
"mem": 50,
"ports": [
0
],
"upgradeStrategy": {
"minimumHealthCapacity": 0.5,
"maximumOverCapacity": 0.5
}
}

64. apps & cron

65. http://aurora.apache.org/documentation/latest/user-guide/

66. aurora update

67. Preempting

68. Criação de tasks via Python!
hello_world_proc = Process(
name="hello_process",
cmdline="""
while true; do
echo -n "Hello world! The time is now: " && date
sleep 10
done
""")
hello_world_docker = Task(
name = 'hello docker',
processes = [hello_world_proc],
resources = Resources(cpu = 1, ram = 1*MB, disk=8*MB))
[...]
[...]
jobs = [
Service(cluster = 'devcluster',
environment = 'devel',
role = 'docker-test',
name = 'hello_docker',
task = hello_world_docker,
container = Container(docker = Docker(image =
'python:2.7')))]

69. Não curtiu esses?

70. Faça o seu framework! :)
❏ C++
❏ Java
❏ Python
❏ Go
❏ Scala

71. Vixe, muito trabalho...

75. Perguntas?
Willian Molinari
@PotHix
pothix@pothix.com
Slides: https://goo.gl/PNJjvR