При помощи динамической аллокации ресурсов в Spark можно добиться того, чтобы задача получала дополнительные ресурсы, если таковые имеются в свободном пуле. Таким образом, иногда, можно использовать всю мощь кластера и быстрее проводить вычисления. В докладе я расскажу, как динамическая аллокация ресурсов помогла сделать возможной работу 30-40 студентов в условиях приближающегося дедлайна по лабораторным работам и жить всем в счастье.

1. Динамическая аллокация
ресурсов или как жить в
условиях общежития
MOSCOW SPARK #2

2. Вопрос в зал
Сколько человек у вас в компании
пользуется спарком?

3. Наш кейс
35-40 порой одновременных
пользователей

4. Предыстория
- Кто вы?
- Мы образовательная компания.
Есть 4 программы в области данных.

5. Предыстория

6. Предыстория
6 запусков
200+ выпускников

7. Предыстория
Кластер состоит из 6 серверов. Каждый сервер:
• 120 ГБ RAM
• 24 ядра
• 1 ТБ диск

8. Предыстория
0
20
40
60
80
100
120
mon
tue
wed
thu
fri
sat
sun
mon
tue
wed
thu
fri
sat
sun
mon
tue
wed
thu
fri
sat
sun
mon
tue
wed
thu
fri
sat
sun
mon
tue
wed
thu
fri
sat
sun
Примерная загрука кластера во времени

9. Динамическая аллокация

10. Делёжка ресурсов
Стандартный вариант: каждому application
выделяется фиксированное количество ресурсов.

11. Делёжка ресурсов
114 ядер мы могли бы довести до 120.
Равномерно поделить среди 40 юзеров. Каждому
по 3 ядра. И 11 гигов оперативки.

12. Делёжка ресурсов

13. Динамическая
аллокация
Другой вариант: включить динамическую
аллокацию. Тогда Spark будет выдавать под
тяжелые джобы больше ресурсов, когда кластер
свободен.

14. Динамическая
аллокация
Другой вариант: включить динамическую
аллокацию. Тогда Spark будет выдавать под
тяжелые джобы больше ресурсов, когда кластер
свободен.
🔥
spark.dynamicAllocation.enabled=true
spark.shuffle.service.enabled=true

15. Динамическая
аллокация
Spark выдает таскам экзекьюторы. Под каждый
экзекьютор YARN выдает контейнер, состоящий из
памяти и ядер.
Настраивается это в YARN.

16. Динамическая
аллокация
Супер! Ресурсы динамически выдаются, но…
не всегда забираются обратно 😭

17. Динамическая
аллокация
Супер! Ресурсы динамически выдаются, но…
не всегда забираются обратно 😭
spark.dynamicAllocation.executorIdleTimeout=60s
spark.dynamicAllocation.cachedExecutorIdleTimeout=600s

18. Динамическая
аллокация
Но порой кто-то мог всё равно занимать часами
весь кластер своим джобом 😤

19. Динамическая
аллокация
Но порой кто-то мог всё равно занимать часами
весь кластер своим джобом 😤
spark.dynamicAllocation.maxExecutors=19

20. Итог
1. Более эффективное использование ресурсов
даже при большом количестве одновременных
юзеров.
2. Более равномерная загрузка кластера за счёт
правильных стимулов.

21. Bonus track: другие
проблемы общежития

22. Порты
И вот идёт занятие. Опоздавшие не могут
получить Spark Context.
spark.port.maxRetries=50

23. Джарники
Подтягивание jar-файлов, необходимых для
работы.
spark.yarn.archive=hdfs:///tmp/spark-archive.zip

24. Kryo
Сериалайзер может быть быстрее.
spark.serializer=org.apache.spark.serializer.KryoSerializer

25. Обновление до 2.1.1
Запускаем. Ошибка.
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
😡

26. Обновление до 2.1.1
Запускаем. Ошибка.
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
😡
Нужно скачать версию jersey 1.17.1 и добавить в
тот самый архив на HDFS.

27. Обновление до 2.1.1
Новая ошибка! 😩
org.apache.spark.SparkException: Yarn application has already ended! It might have been
killed or unable to launch application master

28. Обновление до 2.1.1
Новая ошибка! 😩
org.apache.spark.SparkException: Yarn application has already ended! It might have been
killed or unable to launch application master
В логах application’а нашли такое:
/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar

29. Обновление до 2.1.1
Новая ошибка! 😩
org.apache.spark.SparkException: Yarn application has already ended! It might have been
killed or unable to launch application master
Решение. Прописать параметр в настройках YARN
hdp.version=2.5.3.0-37

30. Обновление до 2.1.1
И вот оно занятие. Но в какой-то момент ресурсы
перестают выдаваться опять! 🤦♂️

31. Обновление до 2.1.1
И вот оно занятие. Но в какой-то момент ресурсы
перестают выдаваться опять! 🤦♂️
Оказалось, что нужно изменить параметр в
настройках YARN:
yarn.scheduler.capacity.maximum-am-resource-percent=1.0

32. Ссылки
1. https://habrahabr.ru/company/npl/blog/327556/ - мой пост на Хабре
2. Старый пост на Medium
3. http://spark.apache.org/docs/latest/running-on-yarn.html
4. http://spark.apache.org/docs/latest/configuration.html

33. Контакты
Артем Пичугин
Head of data-related programs
apichugin@newprolab.com