Высоконагруженные проекты - одни из самых сложных. Как они делаются?

1. Обзор технологий и подходов для
решения задач связанных с
высокой нагрузкой и обработкой
больших объёмов данных
Анатолий Никулин и
Иван Погудин

2. Как справиться с возрастающей
нагрузкой
• Вертикальное масштабирование
• Горизонтальное масштабирование

3. Вертикальное масштабирование
• Утилизация множества ядер (многопоточность)
• Часто не требует изменение приложения
• Малый предел масштабирования

4. Горизонтальное масштабирование
• Увеличивается количество элементов
• Возрастает вероятность отказа
• Усложняются механизмы взаимодействия
• Дешевле чем вертикальное после достижения
определённого масштаба

5. CAP теорема (Брюер)

6. Фреймворки и системы
• Finagle (https://twitter.github.io/finagle/)
• Hadoop (http://hadoop.apache.org/)
• Storm (http://storm.incubator.apache.org)

7. Finagle
• Scala
• Примитивы: сервера и клиенты
• Thrift, Http, Mux
• Future
• Трекинг запросов
• Мониторинг производительности
• Java-API в планах

8. Hadoop
• Java
• Map/reduce
• HDFS - распределённая файловая система
• HBase - база данных
• Де-факто стандарт для обработки больших данных

9. Storm
• Сlojure
• Stream processing
• Топология (Topology)
• Краны (spouts) и изгибы (bolts)
• Java-API и другие языки

10. Базы данных (NoSQL)
• Memcached (http://memcached.org)
• Redis (http://redis.io)
• Cassandra (http://cassandra.apache.org/)
• MongoDB (http://www.mongodb.org/)
• Aerospike (http://www.aerospike.com/)

11. Memcached
• Хэш таблица с доступом по ключу
• Распределённый
• Данные только в памяти
• set, add, replace, append, prepend, cas, get, gets,
delete, incr, decr

12. Redis
• key-value cache and store
• strings, hashes, lists, sets, sorted sets, bitmaps
• persistence (snapshots)
• репликация (master-slave)
• redis cluster в процессе

13. Cassandra
• Колонко-ориентированная (Column-oriented)
• Log-structured merge-tree
• Очень быстрая запись
• Thrift интерфейс, CQL3

14. MongoDB
• Master/slave репликация
• Sharding (mongos, mongo configsrv)
• Документ-ориентированная
• JavaScript
• Map/reduce

15. Aerospike
• SSD + memory
• Сложные структуры данных (списки, хэш таблицы и
т.д.)
• aql

16. Дьявол в деталях
• Оптимизации (мелкое в рамках одной операции
становится крупным при большом их числе)
• Необходимость поиска компромисса (память, процессор,
диск, сеть)
• Механизмы взаимодействия элементов распределённой
системы
• Отказоустойчивость
• И многое многое другое

17. BigData
Мир больших массивов
данных

18. Общее количество данных в мире
2 Zettabyte
это: 1000000000000000000000 bytes
или 1 миллиард терабайт

19. Закон Мура для данных
Каждые два года количество данных увеличивается в
двое

21. Bolid F1 6GB per 90 min

22. Boeing-787 500 GB per fly*

23. Large Hadron Collider 40TB per day

24. Users:
• Количество интернет пользователей: 3 млрд.
• Количество смартфонов: 1.3 млрд.
• Количество СМС в день: 25 млрд.

25. Hadoop - наше всё
Платформа для:
Хранения и распределенной обработки данных
(распределенных вычислений).
Hadoop is a large-scale distributed batch processing
infrastructure

26. BigData - а это сколько?

27. А у вас нет столько данных для
Hadoop

28. Hadoop сложно разворачивать

29. Игроки рынка

30. Наконец Hadoop это целая
экосистема

31. Скилы
IF
{
компьютерная графика == линейная алгебра
}
THEN
{
большие данные == статистика и теория
вероятности
}

32. Рынок труда РФ
• Обработка пользовательских данных.
Реклама, банки
• Обработка сенсорных данных

33. Греют воздух большими данными
И.Погудин и А.Никулин
(ведущие кочегары)