5. А кто говорит?
Я:
•руковожу развитием почтовой рассылки, могу знать не
все детали;
•не админ (извините!).
Хвастаюсь:
•год без пролёжек почтовой инфраструктуры;
6. А кто говорит?
Я:
•руковожу развитием почтовой рассылки, могу знать не
все детали;
•не админ (извините!).
Хвастаюсь:
•год без пролёжек почтовой инфраструктуры;
•97% доставки в инбокс;
7. А кто говорит?
Я:
•руковожу развитием почтовой рассылки, могу знать не
все детали;
•не админ (извините!).
Хвастаюсь:
•год без пролёжек почтовой инфраструктуры;
•97% доставки в инбокс;
•среднее время доставки почты – 15 с.
13. Бизнес-задачи
1. Предоставить прозрачный API программистам.
2. Обеспечить отправку почты в объёмах до 150М
писем в день.
3. Обеспечить доставку почты во «Входящие» в 95%+
случаев.
14. О чём НЕ буду
рассказывать?
Как сделать так, чтобы ваши письма
не попадали в Spam
15. А что в этом сложного?
Казалось бы:
•поднял MTA (mail transfer agent)
•сделал mail()
•...
•PROFIT!
16. А что в этом сложного?
Казалось бы:
•поднял MTA (mail transfer agent)
•сделал mail()
Однако:
•отправка 1 письма = обработка 1 динамического хита
17. А что в этом сложного?
Казалось бы:
•поднял MTA (mail transfer agent)
•сделал mail()
Однако:
•отправка 1 письма = обработка 1 динамического хита
•а ведь письма ещё нужно сгенерировать
18. А что в этом сложного?
Казалось бы:
•поднял MTA (mail transfer agent)
•сделал mail()
Однако:
•отправка 1 письма = обработка 1 динамического хита
•а ведь письма ещё нужно сгенерировать
•смелость пойти и узнать правду!!1111
19. Откуда взялась цифра
150М?
• 50М – каждый день
• 70М – в пике
• 100М – просто красивая цифра
• 150М – «пасаны ваще ребята. молодцы, могёте!»
23. Порядок отправки
письма
1.Появляется необходимость создать письмо.
2.Постановка в очередь на создание письма.
3.Генерация письма по задачам из очереди на
создание.
4.Постановка в очередь на отправку.
5.Отсылка письма из очереди на отправку.
24. Очередь на отправку
Наша реализация – на файлах. Преимущества:
1.Возможна работа без внешних сервисов.
2.Простота манипулирования письмами.
3.Легко получить статистику / логи.
4.Просто реализуются многократные попытки отправки.
25. SSMTP вместо sendmail
Это SMTP-клиент, эмулирующий работу sendmail.
Нам он нравится, т.к.:
•ничего лишнего, только отсылает письмо в MTA (hub)
•супер простой конфиг
•мы его слегка допилили (таймауты + параметры)
26. Балансировка между
MTA
Первая версия – на базе железки F5 LTM:
•weighted round robin
•SMTP мониторинг
Текущая реализация – скрипты на PHP + мониторинг от
F5 LTM:
•автоматическое управление всей балансировкой
•красивый веб-интерфейс
•скрипач (админ) не нужен!
27. Автоматизация при
отправке
Хорошее место, чтобы делать добрые дела:
•подставлять:
• параметры для авторизации в ссылки
• параметры для статистики в ссылки
• картинки для мониторинга открытий
• технические заголовки
•проверять целостность и корректность письма
•и даже тестировать работоспособность ссылок!
29. Как тюнить MTA?
• оптимизировать файловую систему (noatime)
• увеличить число SMTP воркеров
• увеличить число DNS воркеров
• поставить локальный кэшер DNS-запросов (unbound)
• раскладывать очередь по большому числу
директорий
• увеличить лимиты на число соединений к одному MX
серверу
• выставить лимиты на число писем в сессии
30. Наши MTA
Исторически – Communigate Pro:
•надёжный
•ОЧЕНЬ быстрый
Для «проблемных» почтовых сервисов – Postfix:
•более конфигурируемый
•есть возможность доработать напильником
31. Хм, Communigate Pro?..
Но ведь есть Postfix, Exim,
Hurricane, Message Systems, Zrinity
и даже Exchange!
34. Однако, цифры
На старой машине с 1 диском SCSI 10k:
•5 миллионов писем в сутки
•до 100 писем в секунду в пике
35. Общее ощущение
+ чрезвычайно стабилен, вплоть до LA = 200 и очереди
в 1М писем
+ высокая производительность отправки писем
+ не требователен к памяти и CPU
+ достаточно настроек для большинства проектов
* платный
– нет возможности менять настройки для разных
почтовиков
– нет возможности допилить самим
– проблемы с выводом некоторых видов статистики
36. Статистика и
мониторинг
Пока не измеряешь – не контролируешь.
Что было в начале?
•графики по числу писем в очереди на каждом
почтовике
•сколько каких писем отправили за сутки
•статистика по LA / CPU usage / Memory usage в Zabbix
37.
38. Чего не хватало больше
всего?
1. Число файлов, ожидающих отправки в MTA
2. Среднее время отправки письма в MTA
3. Среднее время доставки почты во внешние
почтовые сервисы
А также:
• число ошибок отправки писем в MTA
• самые загруженные отправкой почты скриптовые
машины
39. Как реализовали?
Число файлов, ожидающих отправки в MTA:
• просто считаем файлы!
Число ошибок отправки в MTA:
• просто считаем файлы!
Самые загруженные отправкой почты скриптовые
машины:
• лог в MySQL
40. Как реализовали?
Среднее время отправки в MTA:
• время отправки письма минус время создания
Среднее время доставки почты во внешние почтовые
сервис:
• парсим логи MTA
• хитрая агрегационная структура (highload!!1111)
48. Dashboard нас спасёт?
1. Несколько dashboard’ов.
2. Даже dashboard’ы стали слишком сложными.
3. Детектировать аномалии даже на менее значимых
графиках автоматически.
50. И что же нового?
С осени 2011 года поменялось:
•Название!
•1 -> 2,5 года без пролёжек почтовой инфраструктуры;
•97% -> 98% inbox placement rate
•Мониторинг лендинга на мобильных версиях
•Лечение от single point of failure (SPoF)
51. И что же нового?
С осени 2011 года поменялось:
•тегирование ссылок для Google Analytics (легко!)
•выгрузка данных в систему business intelligence (BI)
•API для A/B тестирования
52. Выводы
1. Быть гуру не надо, достаточно хотеть разобраться.
2. Правильная архитектура без мониторинга не спасёт.
3. Внезапно: отправка почты – тоже highload!
4. Не стойте на месте, развивайте почту, если она для
вас важна.
5. …
6. PROFIT!!!
53. Ваши вопросы *
* Кроме вопросов о том, как
мы доставляемся в Inbox
