РИТ++ 2017, Backend Conf Зал Кейптаун, 6 июня, 18:00 Тезисы: http://backendconf.ru/2017/abstracts/2542.html Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов. Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать. Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.

1. Kafka в условиях
повышенной нагрузки
Выборнов Артём, Rambler&Co

4. Чем мы занимаемся?
• Сегментация аудитории
• Эвристики
• Классификация
• Lookalike
• Прогноз трафика
• Предсказание CTR
• Аналитика
• Рекомендации
• ...

5. Было

6. Было

7. Было

8. Было

9. Стало

10. Стало

11. Стало

12. Kafka в условиях повышенной нагрузки
• Как обеспечить семантику exactly once?

13. Kafka в условиях повышенной нагрузки
• Как обеспечить семантику exactly once?
• Какие существуют узкие места?

14. Kafka в условиях повышенной нагрузки
• Как обеспечить семантику exactly once?
• Какие существуют узкие места?
• Какие метрики стоит мониторить?

15. Архитектура Kafka

16. Архитектура топика Kafka

17. Архитектура топика Kafka

18. Архитектура топика Kafka

19. Репликация

20. Репликация

21. Переизбрание лидеров

22. Переизбрание лидеров
• С потерями данных (Unclean leader election)
• “Без потерь” данных (Clean leader election)

23. Переизбрание лидеров
• С потерями данных (Unclean leader election) — Δ > const
• “Без потерь” данных (Clean leader election) — Δ < const

24. Переизбрание лидеров
• В любом случае теряете данные

25. Переизбрание лидеров
• В любом случае теряете данные
• Переизбрание может происходить когда всё идёт хорошо

26. Переизбрание лидеров (без потерь)
(producer) request.required.acks = 0

27. (producer) request.required.acks = 1
Переизбрание лидеров (без потерь)

28. (producer) request.required.acks = -1
(kafka) min.insync.replicas.per.topic = topic:1
Переизбрание лидеров (без потерь)

29. (producer) request.required.acks = -1
(kafka) min.insync.replicas.per.topic = topic:2
Переизбрание лидеров (без потерь)

30. Переизбрание лидеров (без потерь)
• Нельзя писать в партицию, если количество живых реплик
меньше числа insync.replicas

31. Переизбрание лидеров (без потерь)
• Нельзя писать в партицию, если количество живых реплик
меньше числа insync.replicas
• Решение:
• insync.replicas = 2
• replication factor = 3

32. Отступы

33. Отступы

34. Сохранение отступов
• Автоматическое сохранение

35. • Сохранение вручную (at least once)
Сохранение отступов

36. Сохранение отступов
• Сохранение вне Kafka (возможность exactly once)

37. Сохранение в HDFS (exactly once)
1. hdfs dfs -mv /tmp/file1 /logs/file
2. hdfs dfs -mv /tmp/file2 /logs/file
3. hdfs dfs -mv /tmp/offsets /runtime/offsets

38. Всё хорошо
• Producer получает ответ об успешной записи данных
• Kafka реплицирует данные
• Consumer атомарно сохраняет данные и отступы

39. Но начались проблемы
• Запаздывание логов
• Дубли сообщений (at least once)

40. Проблемы consumer’ов
• Медленная работа consumer’а на микробатчах

41. Проблемы consumer’ов
• Медленная работа consumer’а на микробатчах
• Падения consumer’ов с ошибками:
• Не могу получить лидеров
• Не могу получить отступы

42. Проблемы consumer’ов
• Медленная работа consumer’а на микробатчах
• Падения consumer’ов с ошибками:
• Не могу получить лидеров
• Не могу получить отступы
• Причина: Kafka медленно отвечает на простейшие
запросы
• Отдельные ноды отвечают по несколько минут

43. Выросла нагрузка на чтение
• 150 MByte/s → 600 MByte/s
600 MB/s
150 MB/s

44. Неравномерное распределение нагрузки
• Нагрузка на чтение в разрезе нод
150 MB/s

45. Неравномерное распределение нагрузки
• Неравномерно распределены партиции
• Неравномерно распределены лидеры

46. Неравномерное распределение нагрузки
• Даже при нормальной работе кластера Kafka ошибается

47. Неравномерное распределение нагрузки
• Даже при нормальной работе кластера Kafka ошибается
• Распределяем руками

48. Неравномерное распределение нагрузки
• Повышаем репликацию

49. Неравномерное распределение нагрузки
• Повышаем репликацию

50. • Повышаем репликацию
Неравномерное распределение нагрузки

51. • Повышаем репликацию
• Помогаем Kafka не ошибаться
Неравномерное распределение нагрузки

52. Классические проблемы
• Сеть — часть нод в стойке с 1Gb uplink

53. Классические проблемы
• Сеть — часть нод в стойке с 1Gb uplink
• Диски — Kafka не дружит с RAID 5

54. В итоге
• Равномерно размазали нагрузку по нодам
• Все ноды в стойках с 10Gb uplink
• Не используем RAID 5
• Kafka стала отвечать за разумное время
• Нагрузка осталась высокой

55. Разгадка
• Повторное скачивание данных (at least once)

56. Разгадка
• Повторное скачивание данных (at least once)
• Отступы всех топиков camus попали в одну папку
• Иногда терялись отступы после успешного фетча
• Иногда успешно обновлялись

57. • Нагрузка на чтение
Было
600 MB/s

58. • Нагрузка на чтение
Стало
150 MB/s

59. Немного цифр

60. Мониторинг
• Узкие места
• Сеть
• Диски
• Распределение нагрузки по нодам
• Распределение лидеров толстых топиков

61. • Нагрузка на чтение в разрезе нод
Мониторинг
150 MB/s

62. Мониторинг
• Узкие места
• Сеть
• Диски
• Распределение нагрузки по нодам
• Распределение лидеров толстых топиков
• Переизбрание лидеров

63. Мониторинг
• Узкие места
• Сеть
• Диски
• Распределение нагрузки по нодам
• Распределение лидеров толстых топиков
• Переизбрание лидеров
• Рассинхронизация партиций
• Число несинхронных партиций (UnderReplicatedPartitions)
• Максимальный лаг репликации (ReplicaFetcherManager.MaxLag)

64. • Максимальный лаг репликации
Мониторинг
20 K
0

65. Мониторинг
• Узкие места
• Сеть
• Диски
• Распределение нагрузки по нодам
• Распределение лидеров толстых топиков
• Переизбрание лидеров
• Рассинхронизация партиций
• Число несинхронных партиций (UnderReplicatedPartitions)
• Максимальное отставание (ReplicaFetcherManager.MaxLag)
• Время ответа на простейшие запросы

66. • Время ответа на запросы consumer’а
Мониторинг
10 s

67. Kafka в условиях повышенной нагрузки
• Exactly once это про все элементы pipeline: producer,
consumer, Kafka

68. Kafka в условиях повышенной нагрузки
• Exactly once это про все элементы pipeline: producer,
consumer, Kafka
• Узкие места: сеть, диски, баланс нагрузки

69. Kafka в условиях повышенной нагрузки
• Exactly once это про все элементы pipeline: producer,
consumer, Kafka
• Узкие места: сеть, диски, баланс нагрузки
• Стоит также мониторить: переизбрание лидеров,
отставание партиций, время ответа

70. Выборнов Артём
• Почта: art-vybor@ya.ru
• Рабочая почта: a.vybornov@rambler-co.ru