1. Мои модули и
патчи для nginx
Максим Дунин

2. nginx – модульность
• Без модулей – плохо
• Модульность:
– удобно развивать основной функционал
– легко решать специфические задачи

3. Модули бывают разные
• nginx – 3-й в мире, 2-й в России*
• много разного кода
Совет: изучайте внимательно то, что собираетесь
использовать.
* http://openstat.ru/counter/trends

4. Модули
• auth request http://mdounin.ru/
• bytes filter Все модули – простые.
• compose
• gunzip
• ip tos
• upstream keepalive

5. auth request
Авторизация через подзапрос.
Если подзапрос вернул 200 – доступ
разрешён, иначе – нет.
Что-то вроде fastcgi authorizers, ЕВПОЧЯ.

6. auth request
• auth_pam, auth_ldap – блокируются
• X-Accel-Redirect – хорошо, но неудобно

7. auth request
location /protected/ {
auth_request /auth;
...
}
location /auth {
proxy_pass ...
}

8. bytes filter
Возврат отдельных диапозонов данных из ответа. Аналог
range фильтра из стандартной поставки, но:
• Диапазоны не в заголовках, а непосредственно в
аргументах запроса.
• Обычный ответ с кодом 200.
• Работает с любым потоком данных, в т.ч. от proxy.

9. bytes filter
Использование:
location /store/ {
bytes on;
}
GET /store/file?bytes=0-999

10. bytes filter
Аналог flv (работает поверх proxy):
location /video/ {
bytes on;
if ($args ~ "start=(d+)") {
set $args "bytes=0-12,$1-";
}
}

11. compose filter
Возвращает ответ от нескольких подзапросов, но позволяет
указать Content-Length результата (и разрешает Range-запросы).
Зачем? Вместе с bytes filter позволяет художественно вставлять в
медиа-файлы другие медиа-файлы, сохраняя возможность
докачки.
Требует патчей:
http://mdounin.ru/hg/nginx-compose/

12. compose filter
location /audio/ { HTTP/1.1 200 OK
X-Compose-Length: 100500
compose on; X-Compose: /data/file1?bytes=0-999
proxy_pass ...; X-Compose: /data/file2
X-Compose: /data/file1?bytes=1000-
}
location /data/ {
bytes on;
}

13. gunzip
Разжимаем сжатые ответы на лету - если
клиент не понимает gzip.
Понимают gzip - более 95%.

14. gunzip
location / {
gunzip on;
proxy_pass ...
proxy_set_header Accept-Encoding gzip;
}
Экономим трафика к бекендам.

15. gunzip
location / {
gunzip on;
gzip_static always;
}
Экономим диск и память под файловый кеш.
Нужен патч для gzip_static always.

16. gunzip
location / {
gunzip on;
memcached_gzip_flag 2;
memcached_pass ...;
}
Экономим память в memcached. Нужен патч для
memcached_gzip_flag.

17. gunzip
Бонус: патч для perl-модуля, чтобы разжимались сжатые ответы из
embedded perl.
Все три описанных патча периодически проскакивают в рассылке
nginx-devel@nginx.org. Последний раз они замечены тут:
http://nginx.org/pipermail/nginx-devel/2011-February/000734.html
http://nginx.org/pipermail/nginx-devel/2011-February/000735.html
http://nginx.org/pipermail/nginx-devel/2011-February/000736.html

18. ip tos
Позволяет ставить IP TOS байт для ответов.
Потом можно лимитировать /
приоритизировать трафик вашим любымым
firewall'ом.

19. ip tos
ip_tos 0x00;
location /video/ {
ip_tos 0x10;
}

20. upstream keepalive
Поддержка постоянных соединений с
бекендами.
Без патчей - хорошо работает
с memcached.

21. upstream keepalive
upstream memd {
server 127.0.0.1:11211;
keepalive 10;
}
location / {
memcached_pass memd;
}

22. Почему нет keepalive'а с бекендами?
• Типичное время генерации ответа бекендом - 20 ms (будем
верить в хорошее).
• Хорошее RTT до пользователя – 30 ms (ADSL). В среднем > 100
ms.
• На таком фоне установление соединения с бекендом обычно
незаметно.
Вывод: нужно в специфических случаях.

23. Специфические случаи
1. Плохие бекенды, с высокой стоимостью
установления соединения.
2. "Далёкие" бекенды, с большим RTT до них.
3. Хорошие бекенды, отдающие ответ за < 1ms и
немного пакетов. Особенно если при этом
реальный ответ собирается из большого
количества подзапросов.

24. upstream keepalive
В настоящий момент upstream keepalive умеет:
1. memcached
2. fastcgi (+ требуются патчи)
3. proxy unbuffered (+ Content-Length от бекенда)
Мы работаем над улучшением ситуации.

25. Патчи
1. Багфиксы, багфиксы, багфиксы…
Для 1.0.0 - больше 20

26. Патчи
1. Keepalive connections reuse – in 0.9.7+
2. Gunzip related patches:
– gzip_static always;
– memcached_gzip_flag 2;
– perl
3. Compose – патч для range-фильтра после подзапросов
4. Mail – поддержка SMTP pipelining

27. Вопросы?
Максим Дунин
http://mdounin.ru/