HighLoad++ 2017 Зал «Москва», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3014.html Мы планируем поделиться с аудиторией примером SuccessStory создания BigData-инфраструктуры (Hadoop) в Почте России. Мы расскажем про выбранные решения, мотивацию их выбора, а также про то, куда развивается продукт в Почте. Доклад будет интересен всем проектам и компаниям, где только задумываются о развитии BigData-технологий, а также всем, кому интересно узнать, как устроена "внутри" современная Почта. ...

1. BigПочта
Алексей Вовченко

2. Кейс из жизни
2012 год – посылка из США под новый год, с
подарками всем друзьям
•27 ноября - экспорт из США
•25 декабря - появилась у нас на границе
•30 декабря – поездка в центральный офис EMS
вызволять (5 часов)

3. Ответ – Матрешка

4. Что такое
почта?
Ритейл
Логистика
Нельзя терять данные

5. 47 тыс. отделений
2 млн. новых отправлений в день
200-400 млн. событий в сутки
Данные
Почты
России

6. Задача - Построить отказоустойчивую
инфраструктуру для решения задач почты
Получение Хранение Очистка Валидация
Обработка Аналитика Экспорт

7. Требования
• OpenSource
• Exadata + OracleBI
• уже работает, нужно лучше

8. Задачи на релиз 0
1. Получить данные от всех логистических систем
2. Построить модель данных (матрешка)
3. Построить отчет «Остатки» состояние на вчера
4. Предоставить доступ к отчету пользователям

9. Front REST
(in)

10. Map-
Reduce
Front REST
(in)

11. Map-
Reduce
Oozie
Front REST
(in)

12. Map-
Reduce
Oozie
Front REST
(in)
SQL
Релиз 0

13. Map-
Reduce
Oozie
Front REST
(in)
SQL
Новые задачи • Нагрузка
пользователей
• Доступ к данным
по ключу
• Обработки данных
не укладываются в
реляционную
логику

14. Выбор SQL движка
• Загрузка из HDFS
• Нагрузка – много пользователей
• Тяжелые OLAP запросы

15. Выбор SQL движка – выводы:
Все SQL движки над HDFS – медленные
Лидеры

16. Map-
Reduce
Oozie
Front REST
(in)
SQL
было

17. Map-
Reduce
Oozie
Front REST
(in)
стало
• Доступ к данным
по ключу

18. Доступ к данным по ключу
по ID из 100млрд записей найти 10-100 нужных (pochta.ru)
• Решение key-value базы
• Пробовали SparkSQL
• Пробовали Hadoop/Hive/in-memory/Vertica
• Кандидаты:

19. Релиз 1
Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)

20. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)
Новые задачи
• А теперь давайте считать real-time…

21. Выбор streaming
Задачи:
• Kafka -> Kafka
• Kafka -> Cassandra
• Kafka -> Hadoop (Hive)

22. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)

23. Проблемы
Spark
Streaming
Producer ?? Consumer
Producer Message Message Consumer
Producer Message Consumer
At-Most-Once
At-Least-Once
Exactly-Once

24. Проблемы Spark Streaming
Producer Message Message Consumer
• Spark checkpoint
когда изменился
код• Offsets Zookeeper – медленно
• Spark Kafka Direct API
• Spark checkpoint
• Реализовали свой механизм
• PostgreSQL (ключ: topic, clientid, partition id, value: offset)

25. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)

26. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)
• Данные в batch !=
streaming

27. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)

28. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)
было

29. Релиз 2
Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)

30. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)
• Pentaho не
держит нагрузку
• Прием не
держит пики
• SparkThrift +
Cassandra – не
стабильны
• Spark Streaming -
высокодоступность

31. Масштабируемость фронтов

32. Map-
Reduce
Oozie
Cluster
DockerFront REST
(out)
REST
(in)

33. Высокодоступность SparkStreaming
• Ночью кластер занят на 100%
• Если streaming-job падает, он не может подняться
• Yarn очереди – жалко терять ресурсы

34. Map-
Reduce
Sqoop
Oozie
Job1
JobN
Cluster
DockerFront REST
(out)
REST
(in)
Релиз 3

35. Map-
Reduce
Oozie
Cluster
Spark SQL Thrift
Front REST
(in)

36. Map-
Reduce
Sqoop
Oozie
Job1
JobN
Cluster
DockerFront REST
(out)
REST
(in)
Релиз 3

37. Пилотирование Yandex ClickHouse
• Очень быстрая база
• ClickHouse + docker
• Универсальный загрузчик данных
(Spark+Scala+local-table+paritions)

38. Пилотирование Yandex ClickHouse
• Провели нагрузочное тестирование
• Результат – для наших задач не подходит
• Под нагрузкой – 100% (3600%)CPU
• Скорость сопоставима с Vertica, но очень большая
нагрузка на оборудование

39. Пилотирование Flink
• Flume не всегда стабилен
• Flume сложно мониторить
• Шаг влево-вправо – сложно
• Решение – Flink
• Пробовали NiFi – не понравился

40. Map-
Reduce
Sqoop
Oozie
Job1
JobN
Cluster
DockerFront REST
(out)
REST
(in)
Релиз 3

41. Map-
Reduce
Sqoop
Oozie
Job1
JobN
ClickHouse
Cluster
CH Front
DockerFront REST
(out)
REST
(in)
Flink
Релиз 3.5

42. Путь данных: Прием
data

43. Путь данных: Онлайн обработка
data data
Job1
data data

44. Путь данных: Снова онлайн обработка
data data
Job1
data data

45. data data
JobN
data data
JobM
Cluster
data
Путь данных: онлайн сохранение в Cassandra

46. Путь данных: вся онлайн обработка
data data
JobN
data data
JobM
Cluster
data
export

47. Путь данных: batch обработка
Oozie
data
data
data
data

48. Oozie
data
data
Cluster
data
Click
House
data
data
Путь данных: batch экспорт

49. Front+Docker+
nginx Node
(0.5X)
DataCloud front docker
(Pentaho, rest, DC services)
KafkaVertica
Node (SAS 10k)
Kafka Cluster + Vertica Cluster +
ClickHouse Cluster + Spark
Streaming Cluster
Cassandra
(SSD)
Cassandra
(SSD)
Cassandra Cluster +
HadoopControl (main ring)
DataNode
(SATA)
DataNode
(SATA)
DataNode
(SATA)
DataNode
(SATA)
DataNode
(SATA)
Hadoop Cluster
DataNode
(SATA)
А как же инфраструктура?

50. Одна инфраструктура
• DataLake (for RAW data)
• Batch ETL
• Real-time processing
• Analytics OLAP/OLTP processing
• High-load rest (export)
• High-load rest (input)
• DataBus
• BI
• ML
• Hortonworks HDP+HDF
• Hadoop
• Yarn
• Hive(tez)
• Spark (+streaming)
• Flume
• Kafka
• Vertica
• ClickHouse
• PostgreSQL
• Cassandra
• Pentaho BI
• Docker (scalable rest)

51. Можно миксовать
Map-
Reduce
Sqoop
Oozie
Job1
JobN
ClickHouse
Cluster
CH Front
DockerFront REST
(out)
REST
(in)
Flink

52. Нет свободной аналитики
CH Front
ClickHouse
Map-
Reduce
Sqoop
Oozie
Job1
JobN
Cluster
DockerFront REST
(out)
REST
(in)
Flink

53. Streaming only, no Hadoop
Map-
Reduce
Sqoop
Oozie
Flink
Job1
JobN
ClickHouse
Cluster
CH Front
DockerFront REST
(out)
REST
(in)

54. Hadoop only, no Streaming
Job1
JobN
Map-
Reduce
Sqoop
Oozie
ClickHouse
Cluster
CH Front
DockerFront REST
(out)
REST
(in)
Flink

55. Нет задач доступа по ключу
REST
(out)
Cluster
Job1
JobN
Map-
Reduce
Sqoop
Oozie
ClickHouse
CH Front
DockerFront REST
(in)
Flink

56. Hadoop only, нет задачи и BI
ClickHouse
CH Front
REST
(out)
Cluster
Job1
JobN
Map-
Reduce
Sqoop
Oozie
DockerFront REST
(in)
Flink

57. Что осталось?
• Flink->prod
• More data -> more nodes
• CI/CD full automatic
• Monitoring/puppet everything
• Sleep at the nights!

58. Что дальше?
• DataLab (Spark ML, …)
• IgNite
• Spark structured streaming

59. Выводы
• Не нужно останавливаться на достигнутом
• Каждую задачу должен решать свой инструмент
• Не надо бояться расширять архитектуру за счет хороших и
подходящих инструментов

60. BigПочта – вопросы?
Алексей Вовченко
AVovchenko@luxoft.com
Skype: itsnein
https://www.linkedin.com/comm/in/alexey-vovchenko-3a1b6744