docker improvements under load

1. Docker & Badoo:
никогда не останавливайся на
достигнутом
Антон Турецкий
Системный инженер, Badoo
@tyrchenok

2. Citius, altius, fortius!
• 300 000 000 пользователей
• ~ 3000 серверов
• 200 из 250 Docker хостов
• 1046 запущенных контейнеров

4. Docker: Why..?
Single Environment

5. Docker: Why..?
Single Environment
Monolithic

6. Docker: Why..?
Single Environment
Monolithic
Rollback guarantee

7. Docker: Why..?
Single Environment
Monolithic
Rollback guarantee
Resource utilisation

8. Docker main thing

9. Docker storage driver
AuFS
Out of kernel
Share memory

10. Docker storage driver
AuFS
Out of kernel
Share memory
Devicemapper
In mainline kernel
Knows everyone

11. Docker storage driver
AuFS
Out of kernel
Share memory
Devicemapper
In mainline kernel
Knows everyone
BTRFS
In mainline kernel

12. Docker storage driver
AuFS
Out of kernel
Share memory
Devicemapper
In mainline kernel
Knows everyone
BTRFS
In mainline kernel
ZFS
Kernel module
Stability

13. Docker storage driver
AuFS
Out of kernel
Share memory
Devicemapper
In mainline kernel
Knows everyone
BTRFS
In mainline kernel
ZFS
Kernel module
Stability
OverlayFS
Kernel >= 3.18
Fast

14. Device Mapper
(theory)
• CoW on block level

15. Device Mapper
(theory)
• CoW on block level
• Each container/image gets its own block device

16. Device Mapper
(theory)
• CoW on block level
• Each container/image gets its own block device
• Snapshot at any given time

18. Device Mapper
(in practice)
• Mountpoint is only mounted when the container is running

19. Device Mapper
(in practice)
• Mountpoint is only mounted when the container is running
• The data is stored in two files: data & metadata

20. Device Mapper
(in practice)
• Mountpoint is only mounted when the container is running
• The data is stored in two files: data & metadata
• Docker puts data and metadata on a loop device backed by a
sparse file

21. Device Mapper
(in practice)
• Mountpoint is only mounted when the container is running
• The data is stored in two files: data & metadata
• Docker puts data and metadata on a loop device backed by a
sparse file
Example about performance

22. Device Mapper
(на деле)

23. Device Mapper
(на деле)
• Развалилось довольно быстро

24. Device Mapper
(на деле)
• Развалилось довольно быстро
• Идём дальше!

25. BTRFS

26. BTRFS
(theory)
• CoW at the filesystem level

27. BTRFS
(theory)
• CoW at the filesystem level
• Create subvolume like mkdir :)

28. BTRFS
(theory)
• CoW at the filesystem level
• Create subvolume like mkdir :)
• Docker root must be BTRFS filesystem

29. BTRFS
(theory)
• CoW at the filesystem level
• Create subvolume like mkdir :)
• Docker root must be BTRFS filesystem
• Snapshot at any given time

30. BTRFS
(in practice)
• Mountpoint should be present even if the container
is not running

31. BTRFS
(in practice)
• Mountpoint should be present even if the container is
not running
• Performance ~ native/2 (data goes to the journal first)

32. BTRFS
(на деле)
Неподготовленному пользователю
крайне не рекомендуется трогать
btrfs tools
“Наши руки не для скуки!”

33. BTRFS
(на деле)
• Единственное нормально
работающее (~ 1.5 года назад)

34. BTRFS
(на деле)
• Единственное нормально
работающее
• Мы живём с этим уже 2+ года!

36. OverlayFS
(in practice)
• Performance ~ native

37. OverlayFS
(in practice)
• Performance ~ native
• Use the same EXT partition

38. OverlayFS
(in practice)
• Performance ~ native
• Use the same EXT partition
• Native tools for manage

39. OverlayFS
(keep in mind)
• high inode usage
• module called “overlay”

41. Грабли: docker pull

42. Грабли: docker pull
(результат)
• Падение docker демона

43. Грабли: docker pull
(результат)
• Падение docker демона
• “Радость”
Operations Team

44. Грабли: docker pull
(результат)
Лучший патч, что я видел!

45. Misc
EXT4 hardlink limit
65 534

46. Error response from daemon: could not find image: no such id: b33b7

47. Что мы еще сделали?
Monitoring container, который шлёт статистику в Graphite

48. Что мы еще сделали?
docker_build
для сборки образов в (полу-
)автоматическом режиме

49. Что мы еще сделали?
Docker для сборки RPM (мы знаем про OBS, да)

50. Что мы еще сделали?
Docker для сборки RPM (мы знаем про OBS, да)
- запуск “свежего” образа
- установка зависимостей
- сборка по spec файлу
- получили пакет

51. Что мы еще сделали?
**baDocker – оркестрация (в вечной разработке)

52. baDocker
Что у нас есть/было? Что хотели?

53. baDocker
Что у нас есть/было?
• Сервисы и их типы
• Версии
• Серверы
Что хотели?

54. baDocker
Что у нас есть/было?
• Сервисы и их типы
• Версии
• Серверы
Что хотели?
Стоп/Старт
Обновление
Всякое разное
и WebUI

56. • Client Less

57. • Client Less
• Get/Set data
via
docker API

58. • Client Less
• Get/Set data
via
docker API
• Монстр!

62. baDocker #2
• Что изменилось?
• Почему так?

63. baDocker #2
• Docker socket: упрощаем
взаимодействие

64. baDocker #2
• Docker socket: упрощаем
взаимодействие
• Puppet Facts: они уже есть

65. baDocker #2
• Docker socket: упрощаем
взаимодействие
• Puppet Facts: они уже есть
• Как это теперь работает?

66. Зачем всё это было?
• Видим цель – идём к ней!

67. Зачем всё это было?
• Видим цель – идём к ней!
• Чужой опыт – это полезно!

68. Зачем всё это было?
• Видим цель – идём к ней!
• Чужой опыт – это полезно!
• Можешь лучше – сделай!

70. Вопросы?
Антон Турецкий
a.turetsky@corp.badoo.com
@tyrchenok
@BadooDev
http://habrahabr.ru/company/badoo/
https://tech.badoo.com/
предыдущие доклады про Docker: https://goo.gl/KcIhwG