1.
Мониторинг в
высоконагруженных (и
не только) проектах:
сравнительный анализ
существующих решений
Евгений Потапов
Антон Баранов

2.
О нас
Евгений Потапов
генеральный директор
компании ITSumma
Круглоcуточное удаленное
администрирование серверов
и техническая поддержка
сайтов
100 миллионов уникальных
посетителей в сутки
Штат – 50 человек
Более тысячи серверов на
поддержке

3.
О нас
Антон Баранов
системный администратор
Linux/Unix компании ITSumma
более 6 лет работы с Linux-
системами и web-проектами
различной сложности
Последние полтора года
тружусь над обеспечением
стабильной работы highload-
проектов для посетителей со
всего мира.

4.
О нас
На поддержке:

5.
Разделы
• Что именно необходимо мониторить в
высоконагруженном (и не только)
проекте 24/7?
• Обзор существующих open-source
(cacti,zabbix,graphite) систем
мониторинга.
• Какие существуют SAAS-решения для
мониторинга?

6.
Что нужно мониторить?
• Потребление ресурсов
• Работу серверного ПО
• Бизнес-логика приложения

7.
Ресурсы
Делятся на 2 группы:
• Критические
• Важные

8.
Критические ресурсы
Проблемы с ними
гарантированно
приведут к
неработоспособности
сервисов.

9.
Критические ресурсы
• CPU (idle,user,stalled/LA)
• Memory (free,used)
• Disk IO %
• Traffic In/Out
• Disk usage space (free,used)

10.
Важные ресурсы
Наблюдение за ними
позволяют предсказать
возникновение проблем

11.
Важные ресурсы
• SWAP
• Raid status (HW/SW)
• S.M.A.R.T. status
• IOPS (read/write)

12.
Важные ресурсы
• Disk avio
• Sockets
• CPU temperature
• CPU Fan Speed

13.
Серверное ПО
Самое главное: вы должны
четко представлять себе,
для чего необходимо
мониторить тот или иной
параметр.

14.
Серверное ПО
• Nginx (RPS,
reading/writing/keepalive reqs)
• PHP-FPM (RPS, кол-во
children’ов, кол-во «max
children reached»
• Sphinx (кол-во запросов,
наличие Fatal Error)

15.
Серверное ПО
• MySQL (кол-во запросов
select,update,insert/rows
processed/innodb buffer
pool usage/replica status)
• Exim (размер почтовой
очереди)

16.
Бизнес-логика
Все показатели работы
проекта, проблемы с
которыми являются
критичными для бизнеса

17.
Бизнес-логика
• Кол-во новых регистраций
• Корректность работы
процесса регистрации ( от
заполнения формы до
активации учетной записи)

18.
Бизнес-логика
• Кол-во скачиваний
приложения
• Кол-во показов
баннерной рекламы и
кликов по ней

19.
Бизнес-логика
• Доступность сервиса
компании-партнера, чей
контент используется на
сайте
• Статистика по запросам с
тем или иным реферером

20.
Да чему там ломаться?

21.
Мониторинг мониторинга!
• Работа подсистемы
уведомлений
• Возможность отправки
почты/смс/уведомлений
в jabber/slack/hipchat и
т.д.

22.
Open-source
мониторинг
• Zabbix
• Cacti
• Graphite

23.
Что мониторим?
• CPU
• Memory
• Nginx status
• Mysql status
• URL response time

24.
Zabbix
• Open-source
• Server-side:
PHP+[MySQL/PostgreSQL/S
QLite/Oracle]
• Client-side: zabbix-
agent/SNMP/external checks

25.
Zabbix
• Создаем хост в zabbix
• Устанавливаем на сервер
zabbix-agent

26.
Zabbix
• Добавляем шаблоны
• Импортируем
недостающие
• Настраиваем zabbix-agent
• Настраиваем web-
сценарий для проверки
URL

27.
Zabbix
Мониторинг nginx:
• Импорт шаблона
• Создание bash-скрипта для
парсинга nginx-статуса
• Прописывание инклуда в
конфиг zabbix-agent

28.
Zabbix

29.
Zabbix

30.
Zabbix
Уведомления
Шаблон => Триггер =>
Действие

31.
Zabbix
Выводы:
• Конфигурирование Zabbix -
достаточно сложно
• Zabbix-сервер
масштабируется так же, как
и любое другое веб-
приложение

32.
Zabbix
• Автоматизация
мониторинга новых узлов
возможна без проблем
любыми средствами
управления конфигурацией

33.
Cacti
• Open-source
• Server-side:
PHP+rrdtool+MySQL
• Client-side: SNMP

34.
Cacti
• Установить на сервер
snmpd
• Сконфигурировать
rocommunity в snmpd
• Добавить хост в Cacti

35.
Cacti

36.
Cacti
• По дефолту мониторинг
только основных ресурсов -
CPU/Memory/Network etc.
• Все остальное - плагины

37.
Cacti
• Nginx - Percona plugin
• MySQL - Percona Plugin
• URL - mURLin plugin
• Alerts - thold plugin
• Mail - settings plugin

38.
Cacti

39.
Cacti
• уведомления только на
email через плагин settings
(возможно есть и другие
плагины)

40.
Cacti

41.
Cacti
Выводы
• Мониторинг либо через
snmp (включая custom
OID), либо через плагины
• Кол-во способов
уведомления ограничено

42.
Cacti
Выводы
• Автоматизация возможна
только через cli скрипты
• Масштабируется как
обычное web-приложение

43.
Graphite
Server-side:
• Carbon
• Whisper
• Graphite webapp

44.
Graphite
carbon - a Twisted (an event-
driven networking engine
written in Python) daemon that
listens for time-series data

45.
Graphite
whisper - a simple database
library for storing time-series
data (similar in design to RRD)
graphite webapp - Django
webapp that renders graphs
on-demand using Cairo

46.
Graphite
Client-side: любое ПО,
которое сумеет отсылать
данные в нужном формате в
Graphite (Bucky, collectd,
Collectl, Diamond,
Ganglia,Logster, Sensu, statsd
etc.)

47.
Graphite
• Установка collectd.
• Включение нужных
плагинов
• Конфигурирование
плагинов
• Настройка отправки данных
в Graphite

48.
Graphite
<Plugin mysql>
<Database test1>
Host "127.0.0.1"
User "root"
Password "sohW2ax0Eenox9t"
Database "test1"
MasterStats false
</Database>
</Plugin>
<Plugin nginx>
URL "http://127.0.0.1/nginx-status"
</Plugin>

49.
Graphite
Мониторинг <название
метрики> возможен с
помощью чего угодно, что
может посылать данные на
carbon в нужном формате.

50.
Graphite

51.
Graphite
Уведомления через graphite-
beacon/graphite-pager и т.д.
Graphite-beacon:
1) добавить конфигурация нужного
типа уведомлений (SMTP, Hipchat,
Slack, Pagerduty, HTTP handlers)
2) Добавить условия генерации
уведомлений

52.
Graphite
"alerts": [
{
"name": "Memory",
"query": "aliasByNode(collectd.*.memory.memory-
free, 1)",
"interval": "1minute",
"format": "bytes",
"rules": ["warning: < 300MB", "critical: < 200MB"]
},

53.
Graphite

54.
Graphite
Выводы:
• Конфигурируется только ПО
отсылки данных в graphite.
Сложность зависит от ПО.
Collectd - прост.
• Гибкие настройки уведомлений.
• Автоматизация возможна и не
составит труда.

55.
Graphite
Масштабируется горизонтально
Движок хранения данных whisper имеет
недостатки, проявляющиеся на больших
количествах метрик, рекомендуют менять его,
если планируется очень много метрик
graphite-relay (решение, проксирующее
метрики на несколько процессов carbon-cache
для распараллеливания нагрузки) - весьма
требовательно к CPU, что порой требует
отдельного балансера для нескольких relay.

56.
SAAS-мониторинг
• ServerDensity
• DataDog HQ

57.
ServerDensity
• https://www.serverdensity.io
• Server-side: black-box
• Client-side: python-daemon

58.
ServerDensity
• Добавляем девайс в SD
• Устанавливаем клиента на сервер
тремя командами:
curl -LO
https://www.serverdensity.com/downloads/a
gent-install.sh
chmod +x agent-install.sh
./agent-install.sh -a
https://testrootconf.serverdensity.io -k
454981106adfae9b73cb42991ee05a6c

59.
ServerDensity
• Nginx: добавить url к nginx-
статусу в /etc/sd-agent/config.cfg
• MySQL: добавить данные
доступа в config.cfg
• Перезапустить sd-agent
• Добавить метрики в свойствах
девайса в панели SD

60.
ServerDensity

61.
ServerDensity

62.
ServerDensity
• URL для мониторинга добавляется
отдельно, в Services
• Проверка идет с точек со всего
мира (можно выбрать)
• Алерты создаются автоматически

63.
ServerDensity

64.
ServerDensity

65.
ServerDensity
• Автоматизация без
проблем
• Наличие API
• Уведомления через
почту/Slack/HipChat/SMS/P
agerDuty

66.
Datadog HQ
• http://datadoghq.com
• Server-side: black-box
• Client-side: python daemon

67.
Datadog HQ

68.
Datadog HQ
Nginx:
• Включить интеграцию
• Сделать копипасту в /etc/dd-agent/conf.d/nginx.yaml :
init_config:
instances:
- nginx_status_url: http://194.177.22.245/nginx-status
tags:
- instance:vm96153.local
• MySQL добавляется аналогично, через интеграцию
• Рестартовать dd-agent

69.
Datadog HQ

70.
Datadog HQ
• Мониторинг сайта добавляется как
http-проверка через /etc/dd-
agent/conf.d/http_check.yaml
• Уведомления настраиваются через
панель, в разделе «Monitors»

71.
Datadog HQ

72.
Datadog HQ
• Автоматизация без
проблем
• Наличие API
• Уведомления через
почту/PagerDuty + ручная
настройка чего угодно
через webhooks

73.
Мониторинг
Так что же выбрать?

74.
Контакты
Евгений Потапов
http://itsumma.ru
eapotapov@itsumma.ru
https://www.facebook.com/eapotapov
Антон Баранов
https://anton-baranov.me
abaranov@itsumma.ru
https://www.facebook.com/anton.s.baranov