4. 4
Яндекс.Диск — это сервис, который позволяет хранить
файлы и обмениваться ими, а также предоставляет доступ
к файлам с любого устройства, подключѐнного к интернету.
20 млн. зарегистрированных пользователей
7 млрд. файлов
10 млн. загружаемых в сутки файлов
6. 6
SDK — http://api.yandex.ru/disk/
SDK Яндекс.Диска предназначен для приложений,
которые работают с файлами пользователей Яндекс.Диска
или хранят на Диске собственные файлы и настройки.
Objective-C — iOS, OS X
Java — Android
C# — Windows, Windows Phone
9. 9
Данные в Диске
Содержимое файлов
Mulca
Внутренняя разработка
Key-value сторадж
Синхронная запись
Метаданные
MongoDB
Структура файловой системы
Файлы и каталоги
История изменений
Данные сервиса
11. 11
Кластер MongoDB в Диске
7.5 млрд. объектов
7 ТБ данных
2 ТБ индексов
70 000 rps в базу
6 млрд. операций в день
3 реплики, 1 скрытая, 1 арбитр
30 шардов
12. 12
Вопрос на 1 ТБ
Почему в replica set желательно нечетное количество нод?
22. 22
Большие выборки
for each in list(db.collection.find({})):
unzip(each)
Вопрос на 1 ТБ
Какие проблемы могут возникнуть?
23. 23
Большие выборки
processed = 0
count = db.collection.find({}).count()
while processed < count:
for each in db.collection.find({},
skip=processed, limit=10000):
processed+=1
unzip(each)