Слисенко Константин, Минск. Компания JazzTeam, Senior Software Engineer
«Scrum для большого проекта. Как это работает на практике». Development секция. Agile отделение.
«MapReduce и машинное обучение на Hadoop и Mahout». Development секция. Для разработчиков. Высокий уровень подготовки.
2. О чём это я?
❏ Apache Hadoop
❏ Обзор, инфраструктура Hadoop
❏ MapReduce с примерами
❏ Как начать
❏ Apache Mahout
❏ Машинное обучение, обзор Mahout
❏ Что такое кластеризация данных
❏ Пример: кластеризация stackoverflow.com
3. Why data is so important and big?
http://americannewsreport.com/big-data-means-big-
changes-for-marketing-and-fundraising-organizations-
8817773
http://www.intel.com/content/www/us/en/communications/internet-minute-infographic.
4. Откуда столько данных?
❏ Мы не знаем что захотим анализировать в
будущем
❏ Сохраняем всё
❏ Уже давно ничего не удаляется!
❏ 80% данных имеют неструктурированный
характер
❏ Web-краулинг, GPS, логи, медицинские
данные, статистика кликов, продажи, ...
❏ Сам объём данных представляет проблему
Большие вычисления Большие данные
Использование CPU,GPU, CUDA Использование сети, дисков
5. Масштабируемость
Big Data
Хранение
Отказоустойчивость Кросплатформенность
❏ одна программа - разные объемы
данных
❏ увеличение количества машин - не
меняем программу
❏ локальные вычисления
❏ множество копий, репликация
❏ не теряем ничего
❏ автоматическое восстановление
после сбоев
❏ не хотим затачивать софт под
конкретное железо
❏ не хотим покупать дорогое железо,
запуск на обычных компьютерах
6. Apache Hadoop
❏ Фреймворк для обработки данных
❏ Масштабируется на множество машин
❏ Написан на Java, открытый исходный код
❏ Специальная файловая система
❏ Не требует специального железа
❏ Поддержка java, c#, c++, python, ruby,
javascript, ...
http://hadoop.apache.org
Дистрибутивы
❏ Apache Hadoop
❏ Cloudera
❏ Hortonworks
❏ MapR, IBM, Oracle, Intel...
7.
8. Инфраструктура Hadoop
MapReduce
HDFS
VM1 VM2 VM3 VMn...
Scripting
(Pig)
Query
(Hive)
Machine
learning
(Mahout)
Средства обработки
данных
Запуск распределённых
вычислений
Распределённая
файловая система
Сервера или виртуальные
машины
HBASE
OOzie
(workflow)
Flume
(eventpipeline)
Управление
потоками
вычислений
Перенос данных
Распределённая БД
15. Почему бы не
использовать Unit-
тесты?
Подключаем библиотеку MRUnit
и дебажим
+ не требует инсталляции Hadoop
- нет гарантии работы на
реальном кластере
Без инсталляции Hadoop
17. Начинаем изучать Hadoop
Hadoop. The definitive
guide
O’REILLY
Getting started with
Apache Hadoop
DZone Refcardz
Немного обо всём на
Hortonworks Sandbox VM
Pig, Hive, HDFS, Hadoop.
http://hortonworks.com/tutorials/
http://hortonworks.
com/products/hortonworks-sandbox/
Примеры кода на Cloudera
Quickstart VM
19. Что такое машинное
обучение?
Подраздел искусственного
интеллекта
Machine learning is the science of
getting computers to act without being
explicitly programmed (Coursera)
❏ Системы рекомендаций
❏ Классификация объекта на
принадлежность к группе
❏ Нахождение похожих объектов
❏ Нахождение шаблонов поведения
❏ Ключевые темы в коллекции
документов
❏ Определение аномалий
❏ Определние спама
❏ Ранжирование поисковой выдачи
и многое другое
20.
21. Разбивка объектов на группы
по схожести
Каждый объект имеет признаки
(features)
Задана мера сходства (distance
measure)
❏ в примере - геометрическое
расстояние
Кластеризация
22. Разбивка объектов на группы
по схожести
Каждый объект имеет признаки
(features)
Задана мера сходства (distance
measure)
❏ в примере - геометрическое
расстояние
Кластеризация
23. Разбивка объектов на группы
по схожести
Каждый объект имеет признаки
(features)
Задана мера сходства (distance
measure)
❏ в примере - геометрическое
расстояние
Кластеризация
24. I am engineer. I love my pet. My pet is dog.
I, am, engineer, love, my, pet, is, dog.
Кластеризация текста
Исходный текст
Выделение слов, фильтрация
Векторизация
engineer love pet dog
1 I am engineer 1 0 0 0
2 I love my pet 0 1 1 0
3 My pet is dog 0 0 1 1
p q d(p, q)
1 2 3
2 3 2
1 3 3
Нахождение близости
25. http://mahout.apache.org
Старт: 2008 год
Последняя версия 0.9
Библиотека алгоритмов
машинного обучения
Работает поверх Hadoop
и отдельно
Apache Mahout
Системы
рекомендаций
Кластеризация
Классификация
И многое другое
26. 1 февраля - месяц назад
Как внести свой вклад
1. Дождаться выхода
нового релиза
2. Собрать, запустить
unit-тесты
3. Сообщить о проблемах
http://mahout.apache.org/developers/how-to-
contribute.html
Последний релиз 0.9
33. Динамичность Mahout
Алгоритмы живут пока их кто-то
поддерживает
Если не было поддержки в течение
нескольких последних релизов -
алгоритм безжалостно
выпиливается
One of the goals of Mahout these
days is to streamline the project by
supporting a only few good
algorithms and slowly deprecate and
remove algorithms that are not used
that much or are difficult to use.
34. Изучаем Mahout
Mahout in action
Sean Oven, Robin Anil, Ted
Dunning, Ellen Friedman
Manning
Кластеризация Stackoverflow от
Frank Scholten
https://github.com/frankscholten/mahout-clustering-
stackoverflow
Исходный код примеров Mahout in
action:
https://github.com/tdunning/MiA
Mailing lists
dev@mahout.apache.org
user@mahout.apache.org
Hadoop & MapReduce &
Mahout in action
H.Saygin Arkan
9/3/2009