Cocaine!!!

58.933194

27

Co caine Clouds

2-8-15-2

34,45

17

A Cl oser Look
2-8-7

Сибирёв Андрей

Мы делаем инфраструктуру.

3

Немного истории

4

© SimpleDesktops.com

Как и десять лет назад, обычно инфраструктура
представляет из себя бардак.



4


При этом, инфраструктура является основой
любого современного бизнеса.


При этом, инфраструктура является основой
любого современного бизнеса.

4


Кажется, что-то здесь не так.

В начале был сервер

5


Компании начинают с небольшого количества
серверов.


Компании начинают с небольшого количества
серверов.

5


Постепенно парк серверов растёт, вместе с
ростом пользовательской базы и,
следовательно, нагрузки.


6


Рано или поздно, компания обнаруживает у
себя кучу разнородного железа.



6


И если его использование документировано и
учтено, то всё хорошо.


И если его использование документировано и
учтено, то всё хорошо.

6


Но такое встречается редко.

Разнообразие — это великое зло.

7

И на сервере был софт

8


В программах есть ошибки.



8


Ошибки чинят и выпускают новые версии
программ, на радость пользователям.


Ошибки чинят и выпускают новые версии
программ, на радость пользователям.

8


Правда, эти новые версии сначала нужно
пользователям доставить.


9


Очевидно, чтобы выкатить новую версию
программы, нужна интеллектуальная система
деплоймента приложений.



9


Например, пять тысяч строк на Perl и Rsync!


Например, пять тысяч строк на Perl и Rsync!

9


На самом деле, нет.

Rsync — не инструмент деплоймента.

10

И софт был не очень

11


Программы, в которых есть ошибки, ломаются в
самое неподходящее время.



11


После работы пяти тысяч строк на Perl понять
где и что именно сломалось невозможно.


После работы пяти тысяч строк на Perl понять
где и что именно сломалось невозможно.

11


Бардак только что стал в два раза больше.


12


Человечество изобрело мониторинг и метрики,
чтобы такого никогда не было.



12


Только об этом надо было думать в самом
начале.


Только об этом надо было думать в самом
начале.

12


Потому что невозможно управлять хаосом.

Мониторинг — это контроль.

13

Утилизация ресурсов

14


Иногда программисты пишут быстрые
программы.

программы.

14


Звучит, вроде бы, хорошо, но, на самом деле,
это не всегда так.

программы.
Звучит, вроде бы, хорошо, но, на самом деле,
это не всегда так.

14


Обогревать датацентры серверами — не самая
хорошая экономическая модель.


Пики нагрузки
Ваше приложение попало на главную страницу
Хабра.

15


Хабра.
И тысяча пользователей превратилась в
пятьдесят тысяч. Вот это да, стартап окупился
за одну ночь!

15


Хабра.
И тысяча пользователей превратилась в
пятьдесят тысяч. Вот это да, стартап окупился
за одну ночь!
То есть, я хотел сказать «503 Service Temporarily
Unavailable».

15

Единообразие — это гибкость.

16

Cloud

18


Модульная архитектура, унифицированные
вычислительные ресурсы: слоты, слайсы,
юниты.

Cloud
юниты.

18


Детерминированная система деплоймента
приложений.

Cloud
юниты.
Детерминированная система деплоймента
приложений.

18


Тесты, метрики и мониторинг. Мониторинг,
метрики и тесты.

19

Like an OS

19

Like an OS
Kernel

Like an OS
Kernel

19


Drivers

Like an OS
Kernel

19


Drivers
Resource Managers

Like an OS
Kernel

19


Drivers
Resource Managers
API

Like an OS
Kernel
Drivers
Resource Managers
API

19


Userland

Like an OS
Kernel
Drivers
Resource Managers
API
Userland

19


Apps

Сервисы

20


Аналогичны модулям ядра в Linux.

Сервисы


20


Logging, Storage, Search & Indexing, URL
Fetching, Geolocation, ...

Сервисы

Logging, Storage, Search & Indexing, URL
Fetching, Geolocation, ...

20


Теперь все приложения — тоже сервисы.

Локатор

21


Discovery & Arbitration. Для обращения к
сервису нужно знать только его имя.

Локатор

21


Мы отказались от IDL, все метаданные о
сервисе приложение получает в рантайме.

Локатор
Мы отказались от IDL, все метаданные о
сервисе приложение получает в рантайме.

21


HTTP/2.0-like RPC. Непрозрачные бинарные
потоки, мультиплексирование, расширяемость,
распространённость.

Плагины

22


Сервисы — это абстрактные фронтэнды к
разнообразным функциям инфраструктуры.

Плагины

22


Logging Service может быть реализован как
через Syslog, так и через Logstash.

Плагины
Logging Service может быть реализован как
через Syslog, так и через Logstash.

22


Смена реализации делается через изменение
конфига. Код приложений остаётся
неизменным.

Storage Service

23


Система хранения — это фундамент для любой
облачной платформы.

Storage Service

23


Самое главное, такая система должна быть
надёжной, включая защиту от котиков и
безумных экскаваторщиков.

Storage Service
Самое главное, такая система должна быть
надёжной, включая защиту от котиков и
безумных экскаваторщиков.

23


Мы используем Elliptics.

Elliptics

24


Надёжнее, чем молитва.

Elliptics


24


Вторичные индексы, стриминг, кэш, server-side
processing и все остальные ключевые слова из
других систем хранения данных.

Elliptics

Вторичные индексы, стриминг, кэш, server-side
processing и все остальные ключевые слова из
других систем хранения данных.

24


И, главное, защита от атомной войны!

Node Service

25


Контролирует работу приложений — доставка
на ноды, конфигурация, управление жизненным
циклом.

Node Service
циклом.

25


Собирает и хранит метрики и статистику о
работе приложений для балансировщика.

Node Service
циклом.
Собирает и хранит метрики и статистику о
работе приложений для балансировщика.

25


Поддерживаются процессы или контейнеры.


Контейнеры
Контейнеры — это легковесная виртуализация.
Нет гипервизора, все контейнеры делят одно
ядро.

26


ядро.
Процессы работают в изолированных
неймспейсах: pid, uid, ipc, network, ﬁlesystem,
mounts, ...

26


ядро.
Процессы работают в изолированных
неймспейсах: pid, uid, ipc, network, ﬁlesystem,
mounts, ...
Запуск контейнера происходит в сотни раз
быстрее, чем запуск виртуальной машины.

26

Docker
Стандарт распространения приложений на базе
Linux Containers.

27

Docker
Linux Containers.
Поддерживается Red Hat, Rackspace, Cloudﬂare,
Ebay, Mozilla, OpenStack, Chef, Puppet, ...

27

Docker
Linux Containers.
Поддерживается Red Hat, Rackspace, Cloudﬂare,
Ebay, Mozilla, OpenStack, Chef, Puppet, ...
Единый контейнер, который будет работать как
на ноутбуке разработчика, так и на кластере из
сотен машин.

27

Балансировка
Layer 3. Это значит не только HTTP — какие
угодно данные в любом формате.


28

Балансировка в ядре: IPVS, IPv6, динамические
веса, мгновенная реакция на изменения в
кластере.


28

Балансировка в ядре: IPVS, IPv6, динамические
веса, мгновенная реакция на изменения в
кластере.
Routing Groups. Расщепление траффика между
несколькими интерфейсно-совместимыми
приложениями.


28

Планы на будущее

29


Доступ к сервисам по токенам, аудит и,
следовательно, биллинг.



29


Поддержка Ruby, Racket и Java.


Поддержка Ruby, Racket и Java.

29


HTTP-only режим.

Спасибо за внимание

Андрей Сибирёв
Руководитель службы
разработки облачных
технологий

kobolog
@kobolog
github.com/cocaine

kobolog@yandex-team.ru

© ООО «Яндекс», 2013
31

Cocaine!!!

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (14)

Similar a Cocaine!!!

Similar a Cocaine!!! (20)

Cocaine!!!