1. 1
Big Data и экстренные
вычисления: поддержка
принятия решений в
критических ситуациях
А.В. Бухановский
BDBM-2014, 30 июня 2014 г.

2. 2
Системы поддержки принятия решений
на основе Big Data: Data Driven Approach
1. Неоднородность и
распределенность
источников данных
2. Использование
данных как основы
для
моделирования
3. Интерактивность
процесса изучения
данных
4. Ограничение
времени решения

3. 3
Экстренные вычисления (1/2):
«сложности перевода»
Экстренные вычисления (Urgent Computing, UС) – раздел eScience,
связанный с применением технологий высокопроизводительных
вычислений для поддержки принятия решений в критических
ситуациях
1. Поддержка принятия решений на основе ресурсоемкого компьютерного
моделирования сценариев развития ситуации
2. Наличие ограничений на время получения результата (принятия решений) вне
зависимости от сложности задачи и объема вычислений
3. Неопределенность поступления вычислительных задач от пользователей –
«игровой» характер построения сценариев («а что будет, если так…»)
4. Коллаборативность: большое количество участников, отвечающих за получение
результата и выработку решений для каждого из сценариев
5. Доступ к внешними источникам данных в оперативном режиме(DDA – Data
Driven Approach)
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

4. 4
Экстренные вычисления (2/2):
«Технологическое» определение
Экстренные вычисления – это технология организации
распределенных сред компьютерного моделирования и
прогнозирования с повышенными требованиями к надежности и
реактивности для поддержки принятия решений в критических
ситуациях
1.Использование уже существующих ресурсов и источников данных в
распределенных средах (так как экстремальные события бывают редко)
2.Возможность организации композитных приложений - связанных между собой задач,
определяющих тот или иной сценарий анализа данных и моделирования
3.Динамическое выделение ресурсов, потребных для выполнения того или иного
сценария в заданный срок
4.Управление приоритетами, обеспечение восстановления при сбоях и миграции
заданий (с перепланированием ресурсов)
5.Интерактивность работы с пользователем на всех уровнях выработки, согласования и
принятия решений
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

5. 5
Облачные технологии для организации
экстренных вычислений: платформа
CLAVIRE
Композитное
приложение
Ресурсы и
сервисы
Проект в рамках реализации
Постановления Правительства РФ
№218 (2010-2012 г.)
ИНИЦИАТОР: ЗАО «Фирма «АйТи».
Информационные технологии» -
многопрофильный ИТ-холдинг,
предоставляющий весь спектр
услуг и решений
для создания, модернизации и
сопровождения корпоративных
информационных систем
СLAVIRE =
CLoud
Applications
VIRtual
Environment
Бухановский А.В. BDBM-2014, 30 июня 2014 г.
http://clavire.ru

6. 6
Вычислительная инфраструктура:
ориентация на неоднородные вычислительные среды и
хранилища данных
• Интегрируемые архитектуры: рабочие станции,
суперкомпьютеры, Грид (ГридННС, EGI), облачные
инфраструктуры (SARA, Amazon EC2*, OpenStack*)
• Доступ к ресурсам: прямой доступ (SSH),
клиентское ПО, web-сервисы, системы управления
задачами (PBS), PsExec*
• Операционные системы: Windows - на ядре NT
5.2 (XP) и выше, *nix (Linux)
• Системы управления задачами: Torque, Windows
HPC 2008, Sun Grid Engine, Condor*
• Виртуальные машины: VirtualBox, KVM, VMWare*
• Cистемы обработки больших данных: Hadoop
* - функционал ограничен
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

7. 7
Композитные приложения в CLAVIRE:
абстрактное описание workflow
Пример: задача моделирования конформационно-зависимых свойств белков
(от конформационной подвижности – до докинга)
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

8. 8
Механизмы поддержки Big Data
в CLAVIRE
Бухановский А.В. BDBM-2014, 30 июня 2014 г.
1. «Обертка» над
существующими
средами работы c Big
Data (Hadoop, PanDA)
2. Распределенное
хранилище данных
CLAVIRE
3. Интеллектуальное
управление данными
на отдельных
вычислительных узлах

9. 9
Поддержка экстренных вычислений:
«горячее» выделение ресурсов из облака
Бухановский А.В.
1. Определение
конфигурации
ВМ
2. Оценка
количества ВМ
и физических
ресурсов для их
размещения
3. Развертывание
ВМ из образов
3. «Горячая»
регистрация в
CLAVIRE

10. 10
Пример исполнения «экстренных»
заданий в CLAVIRE
Бухановский А.В. Ларнака, 13 мая 2013 г.
Принцип выбора ресурса –
«чтобы было в срок»
Принцип выбора ресурса –
«как можно быстрее»

11. 11
Задачи, требующие динамических ресурсов (1/2):
мониторинг социальных медиа
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

12. 12
Задачи, требующие динамических ресурсов (1/2):
моделирование социальной мобильности
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

13. 13
Моделирование распространения
высококонтагиозных инфекций

14. 14
Структура контактной
эпидемиологической сети
(динамические связи)

15. 15
Структура контактной
эпидемиологической сети
(устойчивые связи)

16. 16
Сопряжение среды UC с системой виртуальной
реальности: анализ структуры сети контактов
Краулинг и расчет
параметров сети
выполняются в
«облаке»
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

17. 17
Данные социальных медиа как инструмент
валидации модельных расчетов
Бухановский А.В. BDBM-2014, 30 июня 2014 г.
Плотность населения (час-пик) и
данные Instagram
Расчетная невязка между оценкой
плотности и ее «отражением» в СМ

18. 18
Вместо заключения:
«куда копать в Big Data»?
1. Масштабируемые алгоритмы для работы с Big Data
2. Эффективная интеграция технологий Big Data и вычислительных
приложений (C2D – D2C)
3. Высокоуровневые средства работы с Big Data – языки, конструкторы,
интерфейсы (Big Data для предметников)
4. Гибкие технологии для работы с динамическими потоками данных в
рамках парадигмы Big Data (размер и скорость поступления данных
меняются во времени)
5. Средства унификации разнородных данных
6. Механизмы контроля пропусков и засорений в Big Data
7. Интерактивная визуализация Big Data и использование для
поддержки принятия решений
Бухановский А.В. BDBM-2014, 30 июня 2014 г.

19. 19
Магистерская программа в области Big Data:
«Экстренные вычисления и обработка
сверхбольших объемов данных»
Бухановский А.В. ИМТ-2013, 4 июля 2013 г.

20. 20
БЛАГОДАРЮ ЗА ВНИМАНИЕ
www.ifmo.ru
http://hpc-magistr.ru
http://escience.ifmo.ru
Бухановский А.В. BDBM-2014, 30 июня 2014 г.