HighLoad++ 2017 Зал «Пекин + Шанхай», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2960.html При изучении алгоритмов и структур данных я предлагаю студентам закрепить знания и попытаться сделать мир лучше, выполнив небольшие проекты по внедрению эффективных алгоритмов в свободное программное обеспечение. В этом докладе я расскажу несколько идей для таких проектов. Мы рассмотрим существующие фрагменты исходного кода, поговорим о том, что в нём можно допилить, и обсудим, сколько баллов за это надо давать. Реализацией идей могут заняться, разумеется, все желающие.

3. Чем заняться вечером, если я
знаю, сколько будет ++i + ++i
Андрей Бородин

4. И не совсем
про Open Source
Это не доклад про Undefined Behavior

5. Это доклад про велосипеды
5

6. 6
Крутые проекты
создаются
«для замены»
› Yacc – Yet another Compiler-Compiler
› Postgres – Post-Ingres
› C++

7. Проекты создаются «для замены»
▌ Почему так происходит?
› «Эффект второй системы» Ф. Брукса
останавливает оригинальных изобретателей
› Отсутствие новизны в идее останавливает серийных
людей, оптимизирующих ожидаемую прибыль
7

8. «Пугающие идеи» Пола Грэма (2012)
1. Новый поисковик
2. Новый e-mail
3. Замена университетам
4. Замена Голливуду
5. Замена Apple
6. Новый компилятор
7. Замена медицинской диагностике
paulgraham.com/ambitious.html 8

9. 9

10. 10

11. 11

12. Проекты создаются «для замены»
В проекте настоящего велосипедиста всегда есть работа
для
› Инженера
› Учёного
▌ И в основном это работа по применению знаний из
библиотеки
12

13. Почему этим нужно заниматься вам?
Участие в Open Source
› Это интересно
› Учит новому
› Украшает CV
▌ Стоит браться за сложные для понимания вещи
13

14. Почему этим нужно заниматься вам?
На самом деле
Выполнение SLA сервис-провайдером
› Тренировка разработчиков на случай экстренного багфикса
› Репутация компании в сообществе для получения поддержки
▌ Стоит браться за сложные для понимания вещи
14

15. Хэш-таблица –
самое то
Стоит браться за сложные для понимания вещи

16. Хэш-таблица nginx
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c 16

17. Обычная хэш-таблица
ru.wikipedia.org/wiki/Хеш-таблица 17

18. Хэш-таблица nginx
18
hash_max_size
hash_bucket_size

19. Хэш-таблица nginx: код
19
ngx_int_t
ngx_hash_init (ngx_hash_init_t *hinit, ngx_hash_key_t *names, ngx_uint_t nelts)
{
// найти size <= hinit->max_size при bucket_size[key] <= max_bucket_size
// если удалось найти - goto found;
ngx_log_error(NGX_LOG_WARN, hinit->pool->log, 0,
"could not build optimal %s, you should increase "
"either %s_max_size: %i or %s_bucket_size: %i; "
"ignoring %s_bucket_size", ... );
found:
// строим хэш-таблицу
return NGX_OK;
}
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c

20. Хэш-таблица nginx: код
20
start = nelts / (bucket_size / (2 * sizeof(void *)));
start = start ? start : 1;
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c

21. Хэш-таблица nginx: код
21
start = nelts / (bucket_size / (2 * sizeof(void *)));
start = start ? start : 1;
if (hinit->max_size > 10000 && nelts && hinit->max_size / nelts < 100) {
start = hinit->max_size - 1000;
}
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c

22. Хэш-таблица nginx: код
22
start = nelts / (bucket_size / (2 * sizeof(void *)));
start = start ? start : 1;
if (hinit->max_size > 10000 && nelts && hinit->max_size / nelts < 100) {
start = hinit->max_size - 1000;
}
for (size = start; size <= hinit->max_size; size++) {
ngx_memzero(test, size * sizeof(u_short));
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c

23. Хэш-таблица nginx: код
23
start = nelts / (bucket_size / (2 * sizeof(void *)));
start = start ? start : 1;
if (hinit->max_size > 10000 && nelts && hinit->max_size / nelts < 100) {
start = hinit->max_size - 1000;
}
for (size = start; size <= hinit->max_size; size++) {
ngx_memzero(test, size * sizeof(u_short));
for (n = 0; n < nelts; n++) {
key = names[n].key_hash % size;
test[key] = (u_short) (test[key] + NGX_HASH_ELT_SIZE(&names[n]));
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c

24. Хэш-таблица nginx: код
24
start = nelts / (bucket_size / (2 * sizeof(void *)));
start = start ? start : 1;
if (hinit->max_size > 10000 && nelts && hinit->max_size / nelts < 100) {
start = hinit->max_size - 1000;
}
for (size = start; size <= hinit->max_size; size++) {
ngx_memzero(test, size * sizeof(u_short));
for (n = 0; n < nelts; n++) {
key = names[n].key_hash % size;
test[key] = (u_short) (test[key] + NGX_HASH_ELT_SIZE(&names[n]));
if (test[key] > (u_short) bucket_size) {
goto next;
}
}
goto found;
next:
continue;
}
github.com/nginx/nginx/blob/master/src/core/ngx_hash.c

25. › Кэш-локальность
› Минимальный возможный
размер до 10 000
› Время старта
› Необходимость настройки
hash_max_size
и hash_bucket_size
+ -
Хэш-таблица nginx
25
Плюсы Минусы

26. Какой структурой можно заменить?
M. Fredman, J. Komlos, E. Szemeredi, Storing a Sparse Table
with O(1) Worst Case Access Time, Journal of the ACM,
31(3):538-544, 1984.
26
▌ Известен как FKS-алгоритм:
› Двухуровневое хэширование
› Рандомизированный подбор хэш-функции второго уровня

27. Какой структурой можно заменить?
M. Fredman, J. Komlos, E. Szemeredi, Storing a Sparse Table
with O(1) Worst Case Access Time, Journal of the ACM,
31(3):538-544, 1984.
27
▌ Известен как FKS-алгоритм:
› Двухуровневое хэширование
› Рандомизированный подбор хэш-функции второго уровня
› Сложен в реализации
› Больше затрагиваемых кэш-линий в запросе

28. Какой структурой можно заменить?
R. Pagh, F. F. Rodler. Cuckoo Hashing // Algorithms — ESA
2001. — 2001. — Т. 2161. — С. 121–133.
28
▌ Хэширование кукушки
› Простая реализация
› Три кэш-линии на поиск

29. Хэширование кукушки
https://ru.wikipedia.org/wiki/Кукушкино_хеширование 29
A
AB
B
C
AC

30. Хэширование кукушки
│250 баллов 

31. PostgreSQL LWlock

32. ProcArrayLock contention
clck.ru/C3vxn 32
Время
Reader
Reader
Reader
Reader
Reader
Reader
Reader
Writer

33. ProcArrayLock contention
clck.ru/C3vxn 33
Время
Reader
Reader
Reader
Reader
Reader
Reader
Reader
Writer Writer Writer

34. LWLock
github.com/postgres/postgres/blob/master/src/backend/storage/lmgr/lwlock.c 34
▌ Lightweight locks are intended primarily to provide
▌ mutual exclusion of access to shared-memory data
structures.
▌ Therefore, they offer both exclusive and shared lock modes
▌ (to support read/write and read-only access to a shared
object)

35. LWLock writer starvation
https://clck.ru/C3w9a 35

36. Доклад “Don't stop the world” Takashi
Horikawa
http://www.pgcon.org/2017/schedule/attachments/447_1078_Don't_stop_the_world.pdf 36

37. PostgreSQL LWLock
│300 баллов
│Нужно железо 

38. Сортировка

39. Изобрёл quicksort во время работы в МГУ 39

40. Quicksort Killer Sequence
cs.dartmouth.edu/~doug/mdmspe.pdf 40

41. 41
Introsort
› Ограниченный по глубине qsort
› Гибридный алгоритм из quicksort
и heapsort
› Посмотреть реализацию можно, например, в
.NET

42. 42
Timsort
› Эффективно использует отсортированные
подпоследовательности
› Посмотреть реализацию
можно, например, в Java

43. Сортировка в СУБД
▌ Зачастую СУБД использует внешнюю сортировку
▌ данных существенно больше рабочей памяти
› MariaDB github.com/MariaDB/server/blob/10.2/mysys/mf_qsort.c
› PostgreSQL
wiki.postgresql.org/wiki/GSoC_2017#Sorting_algorithms_benchmark_and_imple
mentation
В MySQL используют std::sort – это introsort 43

44. Сортировка
│180 баллов
│за каждую СУБД 

45. R-дерево

46. linkedin.com/in/antonin-guttman/
│Sir Antonin
│Guttman

47. R-дерево
ru.wikipedia.org/wiki/R-дерево_(структура_данных) 47

48. 48
Реализация
MyISAM
› Давно
› Строго «по бумаге»

49. Строго «по бумаге»
49
/*
Choose non-leaf better key for insertion
*/
#ifdef PICK_BY_PERIMETER
static uchar *rtree_pick_key(MI_INFO *info, MI_KEYDEF *keyinfo, uchar *key,
uint key_length, uchar *page_buf, uint nod_flag)
{
// Выбор поддерева по минимальному изменению периметра
}
#endif /*PICK_BY_PERIMETER*/
#ifdef PICK_BY_AREA
static uchar *rtree_pick_key(MI_INFO *info, MI_KEYDEF *keyinfo, uchar *key,
uint key_length, uchar *page_buf, uint nod_flag)
{
// Выбор поддерева по минимальному изменению площади
}
#endif /*PICK_BY_AREA*/

50. 50
Реализация InnoDB
› Недавно (5.7 +)
› Заимствования кода из MyISAM
› Не точно

51. InnoDB
51
case PAGE_CUR_RTREE_INSERT:
double increase;
double area;
cmp = cmp_dtuple_rec_with_gis(
tuple, rec, offsets, PAGE_CUR_WITHIN);
if (cmp != 0) {
increase = rtr_rec_cal_increase(
tuple, rec, offsets, &area);
/* Once it goes beyond DBL_MAX,
it would not make sense to record
such value, just make it
DBL_MAX / 2 */
if (increase >= DBL_MAX) {
increase = DBL_MAX / 2;
}
github.com/MariaDB/server/blob/10.3/storage/innobase/gis/gis0sea.cc#L1756 52

52. InnoDB
52
if (increase < least_inc) {
least_inc = increase;
best_rec = rec;
} else if (best_rec
&& best_rec == first_rec) {
/* if first_rec is set,
we will try to avoid it */
least_inc = increase;
best_rec = rec;
}
}
break;
github.com/MariaDB/server/blob/10.3/storage/innobase/gis/gis0sea.cc#L1756 53

53. InnoDB
53
case PAGE_CUR_RTREE_INSERT:
double increase;
double area;
cmp = cmp_dtuple_rec_with_gis(
tuple, rec, offsets, PAGE_CUR_WITHIN);
if (cmp != 0) {
increase = rtr_rec_cal_increase(
tuple, rec, offsets, &area); area unused
/* Once it goes beyond DBL_MAX,
it would not make sense to record
such value, just make it
DBL_MAX / 2 */
if (increase >= DBL_MAX) {
increase = DBL_MAX / 2;
}
github.com/MariaDB/server/blob/10.3/storage/innobase/gis/gis0sea.cc#L1756 54

54. InnoDB
54
/* Since the mbr could be a point or a linestring, in this case, area of
mbr is 0. So, we define this macro for calculating the area increasing
when we need to enlarge the mbr. */
#define LINE_MBR_WEIGHTS 0.001
area = amax - amin;
if (area == 0) {
a_area *= LINE_MBR_WEIGHTS;
} else {
a_area *= area;
}
github.com/MariaDB/server/blob/10.3/storage/innobase/gis/gis0geo.cc#L719 54

55. Не R-tree единым жив ГИС
Gaede, Gunther: Multidimensional access methods https://dl.acm.org/citation.cfm?id=280279 55

56. R-дерево
│ Исправить неточности
│ 120 баллов 
│ И реализовать RR*-tree
│ 250 баллов 

57. Где взять инструменты?

58. Источники информации
Курс «Алгоритмы и структуры данных» ШАД
yandexdataschool.ru/edu-process/courses/algorithms
58

59. Источники информации
Книга по алгоритмам Introduction to Algorithms, CLRS
59

60. Источники информации
60
Книга «Введение в теорию алгоритмов и структур данных», МЦНМО

61. 61
В начале работы
1. Напишите в рассылку проекта
2. Дождитесь ответа
3. Ищите предыдущие попытки реализации
4. Пишите о своём прогрессе

62. Takeaway
▌ Open Source, даже очень крутой, делают обычные люди
▌ Если вы можете:
› разобраться в сложных (на первый взгляд) алгоритмах
› умеете писать хороший код
ваше участие может быть полезно почти любому
крупному проекту
62

63. amborodin@acm.org
Жду вопросов 
Андрей Бородин
Разработчик
x4mmm