Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA). ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных. http://icbda2015.org

1. Ассоциативные правила и анализ больших массивов данных
на платформе SAP HANA
Vasily Sukhanov/ Software engineer
September, 2015 Public

2. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public
Agenda
Архитектура SAP HANA
 Основные компоненты, терминология и базовые понятия
Разработка кода на платформе SAP HANA
 Обзор SDK Application Function Library (AFL)
Возможности AFL SDK
 Обзор функциональности в составе AFL SDK
Команда COiL в SAP Labs
 Цели и задачи

3. Архитектура SAP HANA
Основные компоненты, терминология и базовые понятия

4. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 4Public
Архитектура SAP HANA
• Управление данными в памяти – движок in-memory
• Реляционное представление данных в памяти, поддержка языка SQL (спецификации ANSI SQL 92,99,2003,2008)
• Работа с различными уровнями абстракции при обработке данных – движок Graph Engine, Full-Text search, библиотеки базовых
алгоритмов для задач Data Mining, Predictive Analytics и реальных задач – Decision Making, Advertisement targeting, задачи Computer
Vision и т.д.
• Интеграция с различными источниками данных – Smart Data Integration
• Обработка информации в потоковом режиме – Smart Data Streaming
• Интеграция с Hadoop SPARK на основе нового продукта SAP HANA VORA
• Встроенный сервер приложений XS Engine, есть поддержка интеграции с Node.js(в данный момент основной язык XS Engine -
JavaScript ServerSide, планируется поддержка Java, Go, C++ контейнеров в следующей версии XS2)

5. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 5Public
Архитектура SAP HANA

6. Разработка кода на платформе SAP HANA
Обзор SDK Application Function Library (AFL)

7. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 7Public
Use Case: Поиск ассоциативных связей
Алгоритм Apriori -> SAP HANA Predictive Analytics
Реализован метод поиска в ширину,
Ограничения на длину последовательности,
Время работы алгоритма неприемлемо
Требуется обеспечить время поиска связей ~3 секунд
Для массива с общим количеством покупателей – 30 000 000
Среднее количество транзакций одного покупателя – 10
Основные параметры: SUPPORT, CONFIDENCE

8. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 8Public
Разработка кода на платформе SAP HANA
Алгоритм поиска ассоциативных связей – SPAM
Использует поиск в глубину
Предварительно отсортированный массив транзакций
Использует представление последовательности в виде Bitmap
Определяет операции «И» и «ИЛИ» для Bitmap структур
+ эвристику для минимизации вариантов в дереве решений
для достижения высокой скорости вычислений

9. Возможности AFL SDK
Обзор функциональности в составе AFL SDK

10. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 10Public
Возможности AFL SDK
Разработчику
Возможность встраивать в ядро СУБД кастомный код
Доступ к аллокаторам памяти в СУБД
Доступ к multithreading фреймворку
Прямой доступ к данным в памяти SAP HANA
Возможность использования встроенных методов
защиты от сбоев во время выполнения кода
Возможность встраивания уже разработанных
алгоритмов в состав AFL библиотеки
Пользователю
Доступ к AFL библиотеке как к обычной SQL функции
Моделирование трансформаций данных в RealTime –
использование цепочек Data Flow и использования
алгоритмов AFL и библиотек Predictive Analytics
Работы с разнородными источниками данных
(потоковые данные, реляционные структуры,
представления в виде графа) и возможность запуска
алгоритма реализованного в виде AFL на этих данных
в рамках SQL процедуры

11. Команда COiL в SAP Labs
Цели и задачи

12. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 12Public
Команда CoiL в SAP Labs Moscow
• Работа с партнёрами SAP в России и вывод решений StartUp на рынок
• Интеграция решений партнёров в продукты SAP
• Продвижение на рынок продуктов SAP + партнёрских решений
• Реализация совместных проектов с клиентами SAP и партнёрами
• Успешный опыт реализации проектов в России

13. © 2015 SAP SE or an SAP affiliate company. All rights reserved.
Спасибо
Contact information:
Vasily Sukhanov
vasily.sukhanov@sap.com
Software engineer