Доклад Андря Саса на конференции Application Developer Days-4. г.Минск 13 декабря 2013

1. Хайлоад в рассылке почты:
как спать спокойно
Андрей Сас
Badoo

2. Кто вы?

3. Кто я?
1. Руковожу в Badoo системой уведомлений:
– email;
– push;
– sms.
2. Отвечаю за техническую и продуктовую
стороны.
3. Консультирую в области email-маркетинга,
push-уведомлений.

4. Бизнес-задачи
1. Предоставить прозрачный API нашим
программистам.
2. Обеспечить отправку почты в объёмах до
150М писем в день.
3. Обеспечить доставку почты в инбоксы
в 95%+ случаев.

5. И в чѐм же проблема?

6. И в чѐм же проблема?
1. Внезапно оказывается, что это хайлоад.
2. Требуется глубокая автоматизация.
3. Не мониторишь – не контролируешь.

7. Откуда хайлоад?
1. Письмо нужно сгенерировать:
–
–
–
данные из БД;
шаблоны;
переводы.
2. Письмо нужно отправить в сторонний
почтовый сервер.
3. Ресурсов на генерацию и отправку –
как на динамический хит на бэкенд.
4. * 150 миллионов писем.

8. Зачем автоматизация?
1. Спрятать всю работу после генерации
шаблона от разработчиков.
2. Не допустить поломок:
–
–
–
работоспособность ссылок;
правильный футер;
наличие заголовка и получателя.
3. Делать полезные дела в одном месте.
4. * 100 типов писем.

9. А мониторинг зачем?
Мониторинг нужен чтобы:
1. Обнаруживать проблемы:
–
–
быстро;
автоматически (даже в выходной).
2. Избежать повторения проблем.
3. Иметь вводную информацию для поиска
причины.

10. Графики

11. Триггеры

12. Наши ноу-хау

13. Архитектура
Машины,
создающие
письма
(PHP)
ssmtp
Почтовые
сервера –
MTA (Postfix,
CGP)
Internet
Сервисы
почты
(Hotmail,
Yahoo, Gmail)

14. Этапы отправки писем
Генерация писем
Очередь готовых
писем
Отправка в
локальный МТА
Пересылка во
внешний МТА

15. Этапы отправки писем
Генерация писем
Очередь готовых
писем
Отправка в
локальный МТА
Пересылка во
внешний МТА

16. Генерация
1. Асинхронно:
–
–
–
синхронно записываем события в БД*;
автоагрегация событий;
разбор накопившихся событий cron-скриптом на
другой машине.

17. Генерация
2. Конфиг для всех писем:
–
–
–
–
–
–
разработчик;
шаблон;
ссылка на описание;
принадлежность к группе писем;
тип футера;
приоритет.

18. Генерация
3. Делаем добрые дела:
–
–
–
–
–
параметры авторизации;
параметры статистики;
проверка целостности;
картинка для мониторинга открытий;
AB-тестирование.

19. Генерация
Условные обозначения:
• Т – автоматический триггер-уведомление;
• Г – график.
4. Мониторинг:
–
–
размер очереди событий (Г, Т);
время нахождения событий в этой очереди (Г).

20. Этапы отправки писем
Генерация писем
Очередь готовых
писем
Отправка в
локальный МТА
Пересылка во
внешний МТА

21. Очередь писем
1. В виде файлов:
–
–
–
–
содержат готовое тело письма и мета-данные;
не нужны внешние сервисы кроме МТА;
легко получать статистику;
просто реализовать повторные попытки.

22. Очередь писем
2. Мониторинг:
–
–
–
число файлов писем в ДЦ (Г, Т);
число файлов в разбивке по машинам (Г);
число старых файлов на машинах (Т).

23. Этапы отправки писем
Генерация писем
Очередь готовых
писем
Отправка в
локальный МТА
Пересылка во
внешний МТА

24. Отправка в локальный МТА
1. Опять асинхронно.
2. Выбор IP из PHP:
–
–
–
–
автоматический контроль работоспособности;
можно управлять через веб-интерфейс;
можно работать с внешними данными;
админ теперь* не нужен.
3. ssmtp:
–
–
–
вместо sendmail;
лѐгкий;
слегка доработан.

25. Отправка в локальный МТА
4. Мониторинг:
–
–
–
–
–
–
что скрипты-рассыльщики запускаются (Т);
среднее время жизни файла на диске (Г);
среднее время выполнения mail() (Г);
число повторов отправки (Г);
число ошибок отправки (Г, Т);
число отправленных за сутки, час (Г, Т).

26. Этапы отправки писем
Генерация писем
Очередь готовых
писем
Отправка в
локальный МТА
Пересылка во
внешний МТА

27. Пересылка наружу
Единственный хак – DNS-кэшер unbound.
В остальном – мониторинг:
–
–
–
–
очередь на каждом МТА, группе МТА (Г, Т);
среднее время отсылки в сторонние сервисы (Г);
наличие процессов МТА, DKIM, unbound (Т);
правильные hostname МТА (Т).

28. Этапы отправки писем
Генерация писем
Очередь готовых
писем
Отправка в
локальный МТА
Пересылка во
внешний МТА

29. МТА
Communigate Pro (CGP):
– быстрый (минимум 5М писем в сутки);
– достаточно конфигурируемый;
– веб-интерфейс (с глюками).
Postfix:
– полная конфигурируемость;
– тоже быстрый;
– бесплатный.

33. МТА
Требования:
–
–
–
–
важна только дисковая подсистема;
не требователен к CPU и RAM;
4 * SAS 10k диски в RAID 1+0;
хороший RAID-контроллер с «батарейкой».
Кластер * 2 ДЦ:
– 10 рассылающих машин;
– 4 принимающих машины.

34. МТА
Оптимизация:
–
–
–
–
–
–
–
файловая система (noatime/relatime)
число SMTP-воркеров;
число DNS-воркеров;
локальный кэшер DNS-запросов (unbound);
очередь в большом числе папок;
лимит на число соединений к MX;
лимит на число писем в сессии.

35. Прочий мониторинг
1. Число отправленных писем по типам (Г, Т).
2. Число отправленных писем по машинам (Г,
Т).
3. DNS: A, PTR, SPF, DMARC, MX (Т).
4. noatime/relatime (Т).

36. Логгирование
Зачем?
1. Статистика (техническая и продуктовая).
2. Поиск и решение проблем.
3. Проверка жалоб пользователей.
События: отправки, открытия, клики, отписки,
ошибки.

37. Логгирование
Что?
1. Получатель.
2. IP-адрес.
3. Язык, страна, пол.
4. Тип.
5. Уникальный ID письма.
6. Время создания, отправки.
7. Машина-создатель, скрипт-генератор.

39. Ваши вопросы
Андрей Сас
andrey.sas@gmail.com
www.deliverability.ru
Badoo
Habrahabr:
http://habrahabr.ru/compa
ny/badoo
Twitter: @BadooDev