Роман Андриади, Яндекс Работает в департаменте эксплуатации Яндекса с 2005 года. С 2010 года – руководитель группы администрирования коммуникационных, контент- и внутренних сервисов. Тема доклада Администрирование небольших сервисов, или Один за всех и 100 на одного. Тезисы Администрирование коммуникационных сервисов начиналось в 2004 году с обслуживания десятка серверов и десятка сервисов, на них располагающихся. Со временем сервисов становилось все больше, увеличивалось число задач по ним, а десяток серверов вырос в парк из сотен машин, разделенных на множество разношерстных кластеров. В докладе будет рассказано, как с ростом объемов кластера эволюционировали приемы администрирования, какие инструменты при этом использовались, как мы написали свой инструмент управления, как и чем он научился помогать нам за эти годы.

1. Один за всех и 100 на одного: администрирование большого количества небольших сервисов Р оман Андриади руководитель группы администрирования коммуникационных, контент- и внутренних сервисов Yet Another Conference, Москва, 19 сентября 2011 года

2. О чем это? Какие проблемы доставляют небольшие сервисы?

3. О чем это? Какие проблемы доставляют небольшие сервисы? Что делать, чтобы всё работало?

4. О чем это? Какие проблемы доставляют небольшие сервисы? Что делать, чтобы всё работало? Что делать, когда всё сломалось?

5. О чем это? Какие проблемы доставляют небольшие сервисы? Что делать, чтобы всё работало? Что делать, когда всё сломалось? Что делать перед этим?

6. О чем это? Какие проблемы доставляют небольшие сервисы? Что делать, чтобы всё работало? Что делать, когда всё сломалось? Что делать перед этим? Как всё это успевать?

7. О чем это? Какие проблемы доставляют небольшие сервисы? Что делать, чтобы всё работало? Что делать, когда всё сломалось? Что делать перед этим? Как всё это успевать... ...так, чтобы ничего за это не было

8. Больше 1000 серверов Как с этим жить?

9. Больше 1000 серверов Около 250 сервисов Как с этим жить?

10. Больше 1000 серверов Около 250 сервисов Несколько тысяч компонентов Как с этим жить?

11. Больше 1000 серверов Около 250 сервисов Несколько тысяч компонентов До100 обновлений в день Как с этим жить?

12. Больше 1000 серверов Около 250 сервисов Несколько тысяч компонентов До100 обновлений в день Несколько новых сервисов в месяц Как с этим жить?

13. Больше 1000 серверов Около 250 сервисов Несколько тысяч компонентов До100 обновлений в день Несколько новых сервисов в месяц Несколько крупных релизов в неделю Как с этим жить?

14. 9 серверов Как всё начиналось 2004 г.

15. 9 серверов 10 сервисов Как всё начиналось 2004 г.

16. 9 серверов 10 сервисов Консоль + SSH Как всё начиналось 2004 г.

17. Но потом...

18. Проблемы множества сервисов? Доступ на сервера

19. Проблемы множества сервисов? Доступ на сервера Частые поломки

20. Проблемы множества сервисов? Доступ на сервера Частые поломки Нетривиальная диагностика

21. Проблемы множества сервисов? Доступ на сервера Частые поломки Нетривиальная диагностика Сложности понимания

22. Проблемы множества сервисов? Доступ на сервера Частые поломки Нетривиальная диагностика Сложности понимания Объём задач

23. Последовательный SSH — медленно Доступ на сервера

24. Последовательный SSH — медленно Много имён плохо запоминаются Доступ на сервера

25. Последовательный SSH — медленно Много имён плохо запоминаются Тип машины сложно вспомнить Доступ на сервера

26. Доступ на сервера Сохранили группировки машин

27. Доступ на сервера Сохранили группировки машин SSH везде в одну команду

28. Сохранили группировки машин SSH везде в одну команду Есть где узнать назначение сервера Доступ на сервера

29. Сохранили группировки машин SSH везде в одну команду Есть где узнать назначение сервера Web-интерфейс к хранилищу Доступ на сервера

30. Сохранили группировки машин SSH везде в одну команду Есть где узнать назначение сервера Web-интерфейс к хранилищу Легче работать нескольким людям Доступ на сервера

31. Больше сервисов — больше поломок Много поломок — медленно чинить Сервисы при этом должны работать Во время авралов плохо думается Частые поломки

32. Частые поломки Есть быстрые решения проблемы Подставляем костыли

33. Частые поломки Есть быстрые решения проблемы Подставляем костыли Не все костыли быстро вынимаются...

34. Есть быстрые решения проблемы Подставляем костыли Не все костыли быстро вынимаются... ...зато с ними мир устойчивей Частые поломки

35. Много логов — сложно читать Диагностика

36. Диагностика Много логов — сложно читать Искать атаки в логах - неэффективно

37. Диагностика Много логов — сложно читать Искать атаки в логах - неэффективно Много мониторингов — плохой сон

38. Диагностика Много логов — сложно читать Искать атаки в логах - неэффективно Много мониторингов — плохой сон Не все поломки интересны в 3 ночи

39. Диагностика Много логов — сложно читать Искать атаки в логах - неэффективно Много мониторингов — плохой сон Не все поломки интересны в 3 ночи Много компонентов — сложно понять

40. Собрали логи в одном месте Считаем быструю статистику Диагностика

42. Диагностика Собрали логи в одном месте Считаем быструю статистику Баним автоматически

43. Диагностика Собрали логи в одном месте Считаем быструю статистику Баним автоматически Кластерный мониторинг

44. Диагностика Собрали логи в одном месте Считаем быструю статистику Баним автоматически Кластерный мониторинг Приборно-диагностическая панель

52. Как развернуть? Сложности понимания

53. Как развернуть? Как смотреть? Сложности понимания

54. Как развернуть? Как смотреть? Где искать? Сложности понимания

55. Как развернуть? Как смотреть? Где искать? Как поднять? Сложности понимания

56. Как развернуть? Как смотреть? Где искать? Как поднять? Где хранить? Сложности понимания

57. Как развернуть? Как смотреть? Где искать? Как поднять? Где хранить? Что делать? Сложности понимания

58. Пакетирование Унифицируемся

59. Пакетирование Логирование Унифицируемся

60. Пакетирование Логирование Размещение софта Унифицируемся

61. Пакетирование Логирование Размещение софта Общие инструменты запуска Унифицируемся

62. Пакетирование Логирование Размещение софта Общие инструменты запуска Технологии хранения Унифицируемся

63. Пакетирование Логирование Размещение софта Общие инструменты запуска Технологии хранения И даже Cron не забыли Унифицируемся

64. Пакетирование Логирование Размещение софта Общие инструменты запуска Технологии хранения И даже Cron не забыли Роботам в такой обстановке проще Унифицируемся

65. Релизы и минорные обновления Объем задач

66. Релизы и минорные обновления Установка и настройка серверов Объем задач

67. Релизы и минорные обновления Установка и настройка серверов Реакция на поломки Объем задач

68. Релизы и минорные обновления Установка и настройка серверов Реакция на поломки Планирование новых сервисов Объем задач

69. Релизы и минорные обновления Установка и настройка серверов Реакция на поломки Планирование новых сервисов Много мелких вопросов Объем задач

70. Завели web-сервис для релизов Принимаем там заявки Автоматизируемся

72. Завели web-сервис для релизов Принимаем там заявки Храним конфиг для выкладок Автоматизируемся

74. Завели web-сервис для релизов Принимаем там заявки Храним конфиг для выкладок Меньше забываем Меньше работаем руками Больше управляем автоматами Автоматизируемся

75. И даже не боимся полностью автоматических релизов!

76. Будем расти и дальше Ставим на: Отказоустойчивость

77. Будем расти и дальше Ставим на: Отказоустойчивость Автоматизацию

78. Будем расти и дальше Ставим на: Отказоустойчивость Автоматизацию Унификацию

79. Будем расти и дальше Ставим на: Отказоустойчивость Автоматизацию Унификацию Объединение

80. Будем расти и дальше Ставим на: Отказоустойчивость Автоматизацию Унификацию Объединение Администрируем не сервисы, а платформу

81. Р оман Андриади Руководитель группы администрирования коммуникационных, контент- и внутренних сервисов [email_address]