1. ЦОД. Вокруг и внутри
СП ООО «Солидекс ПИ»
Иванов Сергей Евгеньевич
Ганус Сергей Александрович
Кацубо Сергей Михайлович
20 марта 2012

2. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
2

3. ЦОД. Вокруг и внутри
Удаленное подразделение
WOC/WPC
Оператор WAN Оператор
А B
ОЦОД РЦОД
WOC/WPC GSLB WOC/WPC GSLB
Network-based
SLB Storage Virt SLB
VM VM VM VM
3

4. Вариации дизайна ЦОД
Удаленное подразделение
WOC/WPC
Связь «ОЦОД – РЦОД»
через WAN Оператор WAN Оператор
А B
ОЦОД РЦОД
DMC DMC
WOC/WPC GSLB WOC/WPC GSLB
Network-based
SLB Storage Virt SLB
VM VM VM VM
4

5. Вариации дизайна ЦОД (2)
Удаленное подразделение
WOC/WPC
Оператор WAN Оператор
А B
ОЦОД РЦОД
1 уровень в сети ЦОД
WOC/WPC GSLB WOC/WPC GSLB
Network-based
SLB Storage Virt
SLB
VM VM VM VM
5

6. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
6

7. Проблемные точки в WAN
Удаленное Удаленное
подразделение подразделение
Разница в скоростях
LAN и WAN:
очередь, сброс пакетов
при переполнении Оператор
буфера На стороне оператора:
Rate Limiting –
сброс пакетов при
ЦОД превышении порога
Congestion Points: задержки и сбросы пакетов,
рост ART
7

8. Разница в скоростях LAN и WAN. Пример
ЦОД
100 Мбит/с 4 Мбит/с
Оператор
Шейпинг
(FIFO-очередь)
• Настроена очередь длиной 1000 пакетов
• Время ожидания
1000 х 1500 байт x 8 бит/байт : 4 Мбит/с = 3 сек
• Интерактивные приложения требуют* ART < 100 мс
* Источник: Top-Down Network Design, 3rd Edition. CiscoPress, 2011
8

9. К чему ведет разница в скоростях LAN и WAN?
• Буферизация
• Рост задержек (RTT, ART)
• Сброс пакетов для всех приложений независимо
от типа
9

10. Задача
• Для трафика интерактивных приложений:
сократить время ожидания в буфере
• Как этого добиться?
10

11. Помогает ли Network QoS? Пример 1
• Приложение совместной работы
– Признак интерактивного трафика: тип содержимого –
html, xml, js
• Нужно анализировать HTTP-заголовки
– Иначе не сможем отделить интерактивный трафик от
фоновой загрузки PDF или ZIP
11

12. Помогает ли Network QoS? Пример 2
• Терминальный доступ (Citrix)
– Признак интерактивного трафика: поле в L7-заголовке
• Нужно анализировать Citrix-заголовки
– Иначе не сможем отделить интерактивный трафик от
фоновой печати или передачи файлов
12

13. Помогает ли Network QoS?
• Распознавание ряда приложений требует анализа
на L7
• Network QoS ограничен L3/L4
• Вывод: не подходит
13

14. Что требуется от решения?
• Visibility: различать трафик на L7
• Control: обслуживать трафик в соответствии с
требованиями приложений
Приложение Пропускная способность Задержка Потери
(на 1 пользователя)
Citrix 40 – 400 кбит/с 100 – 200 мс 1 – 2%
(интерактивный)
Citrix (фоновый) 50 – 1000 кбит/с 200 – 500 мс 1 – 5%
Exchange 100 – 2000 кбит/с 1–5с 1 – 10%
Сетевые сервисы 20 – 200 кбит/с 100 – 500 мс 1 – 3%
14

15. Оптимизация
• Можно ли управлять
– Полосой пропускания: «увеличить» WAN-канал?
– Приложением: «улучшить» для работы в WAN?
15

16. Техники оптимизации
• Caching, deduplication
• Compression
• Protocol Acceleration
• Request Prediction
16

17. Результат
Удаленное Удаленное
подразделение подразделение
WOC WOC
• Уменьшение времени отклика
интерактивных приложений
Оператор
• Экономия на полосе
пропускания WAN-каналов
ЦОД
WOC
17

18. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
18

19. 2 канала WAN
Удаленное
подразделение
Оператор WAN Оператор
А B
ЦОД
Задачи:
• Резервирование
• Параллельное использование
19

20. Резервирование
Удаленное
подразделение
Активный Резервный
туннель туннель
Оператор WAN Оператор
А B
ЦОД
• Статические маршруты + контроль доступности
второго конца туннеля
• Динамическая маршрутизация
20

21. Параллельное использование
Удаленное
подразделение
Активный Активный
туннель #1 туннель #2
Оператор WAN Оператор
А B
ЦОД
• Статические маршруты + PBR + контроль доступности
второго конца туннеля
• Динамическая маршрутизация + ECMP
21

22. Общая проблема приведенных решений
• Не принимаются в расчет текущие
характеристики WAN – задержки, потери пакетов
• Не будет замечена, например, деградация WAN-
транспорта при возникновении перегрузки в сети
оператора
22

23. WAN Path Selection
• Мониторинг функционирования каждого WAN-
канала
– Доступность удаленных площадок
– Характеристики каналов: задержка, RTT, потери
• Динамическая балансировка сессий между WAN-
каналами с учетом их текущих характеристик
23

24. WAN Path Selection. Результат
Удаленное
подразделение
WPS
• Параллельное использование
WAN-каналов
• Для интерактивного трафика –
выбор канала с наименьшей
Оператор Оператор
А B
задержкой
ЦОД
• Виртуализация WAN: несколько
каналов посредством WPS
представляются как один
WPS логический
24

25. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней сети
– Единая сеть для LAN и SAN
25

26. Задача Global Site Load Balancing
• Исходные данные: 2 ЦОД в режиме Active/Active
• Задача: выбор ЦОД для обслуживания запросов
26

27. Выбор ЦОД для обработки запроса
Балансировка между
ЦОД: Internet / WAN
DNS, HTTP Redirect
ОЦОД
Балансировка между РЦОД
GSLB GSLB
серверами с учетом
показателей
функционирования
SLB SLB
AppVIP-1 AppVIP-2
VM VM
27

28. Сценарий 1
app.by = AppVIP-1
1 3
2 4
ОЦОД РЦОД
AppVIP-1 AppVIP-2
VM VM
28

29. Сценарий 2. Live VM Migration
ОЦОД РЦОД
AppVIP-1 AppVIP-2
VM VM
29

30. Сценарий 3
app.by = AppVIP-2
2
3
GSLBучитывает
ОЦОД новое РЦОД
расположение VM
1
AppVIP-1 AppVIP-2
4 SLB учитывает
расположение VM
VM VM
30

31. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
31

32. VM Mobility
• Миграция VM в пределах одного ЦОД
• Не составляет проблем
• Миграция VM между ЦОД
• С выключением VM
• Live Migration
32

33. Миграция с выключением VM. Этапы
1. Выключение VM
2. Создание копии VM в СХД резервного ЦОД
• задача синхронизации будет рассмотрена далее
3. Регистрация VM на сервере РЦОД
4. Запуск VM
33

34. Миграция без выключения VM. Этапы
1. Миграция VM
• при миграции передается содержимое RAM
(как правило, несколько гигабайт)
• WAN должен обеспечить достаточную пропускную
способность и отсутствие ошибок в канале
2. Storage Migration
• чтобы избежать обращения к СХД через WAN
VM VM VM VM
WAN
VM
34

35. Storage Migration. Shared Storage
VM VM VM VM
WAN
VM
• Работа с СХД через WAN
• Задержка при распространении сигнала ~ 5мкс/км
• Выполнение iSCSI команды – 4 сообщения => 20 мкс/км
• 100 км – дополнительная задержка в 2 мс
35

36. Storage Migration. Active-Standby режим работы
VM VM VM VM
DMC DMC
WAN
Необходимо синхронизировать данные между СХД
Синхронизация через выделенный канал связи
Синхронизация через WAN
36

37. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
37

38. Варианты синхронизации
• Storage-Based
• Синхронизация обеспечивается средствами СХД
• Как правило, возможна только между одинаковыми
устройствами (или устройствами одного вендора)
• Network-Based
• Синхронизация обеспечивается средствами
промежуточного устройства
38

39. Преимущества network-based синхронизации
• Синхронизация между устройствами
РЦОД можно
• разных производителей
сделать
• с разными технологиями доступа (FC, iSCSI) дешевле
• Переключение ролей active-standby для LUN
VM VM VM VM
WAN
39

40. Особенности синхронизации данных
• Большие объемы данных (десятки гигабайт)
• Информация повторяется (например,
синхронизация VM с одинаковыми гостевыми OS)
• Чем меньше загрузка WAN, тем быстрее можно
осуществить синхронизацию и миграцию
Поле деятельности для средств дедупликации
40

41. Дедупликация данных
• Средствами СХД
• Средствами платформы виртуализации
• Средствами платформы WAN-оптимизации: DMC
41

42. Пример работы дедупликации
Средствами СХД или платформы виртуализации
Блок данных, 8kB
Фактически измененные данные, 512B
В канал передаются только измененные данные -
512 B вместо 8 кB
42

43. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
43

44. ЦОД сейчас
• STP – стандарт де-факто
• с учетом его разновидностей – RSTP, MSTP и т.д.
• STP обладает рядом недостатков
• bisectional bandwidth
• время конвергенции
• неоптимальный выбор пути
44

45. Bisectional bandwidth
Из возможных 8 аплинков задействованы 4
B B B B
45

46. Альтернативы STP. M-LAG
Физическая топология Логическая топология
M-LAG SW23
SW2 SW3
ISL
LAG
SW1
SW1
• Для SW1 – обычный LAG (802.3ad)
• Оба аплинка активны – передают трафик
46

47. Варианты применения M-LAG
M-LAG M-LAG
SW2 SW3 SW2 SW3
ISL
ISL
LAG
LAG LAG
SW1 SRV1
47

48. Особенности топологии сети и M-LAG
M-LAG
M-LAG
B
M-LAG
В некоторых случаях M-LAG не обеспечивает полную
утилизацию каналов
48

49. MLAG. Заключение
• Решается проблема задействования каналов*
M-LAG
• Остается ограничение: не более двух
коммутаторов для организации M-LAG
* для определенных топологий
49

50. Можно ли отказаться от STP?
• Отключить MAC-learning на коммутаторах ядра
• Отключить процесс STP: ввести другой control-
plane протокол
50

51. Альтернативы STP и M-LAG. SPB
S3 S4 S5 S6
S1 S2
Server A Server B
• Задействуются все аплинки (все возможные
маршруты – до 16) между серверами Server A и
Server B
51

52. SPB. Общая идея
S3 S4 S5 S6
Таблица MAC S1
S2
Server A Порт 1
Server B S2
----------------------------
Таблица Switch
Server A Server B
S2 Порт 3,4,5,6
• IS-IS обеспечивает расчет параллельных маршрутов
• Пограничный коммутатор добавляет в заголовок адрес
точки выхода (B-DA)
• Коммутаторы ядра используют этот адрес для передачи
52

53. Отличия TRILL и SPB
Характеристика SPB TRILL
Разработчик IEEE (802.1aq) IETF (RFC 5556)
Использует заголовок Собственный заголовок
Заголовок PBB: не требует TRILL: требует поддержки
замены оборудования “в железе”
Использует IS-IS для Использует IS-IS для расчета
Расчет топологии
расчета топологии топологии
Только для unicast.
Обеспечение
Для multicast и unknown
симметричности Для всех типов
MAC – возможны
трафика
несимметричные пути
53

54. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
54

55. Уровни сети в ЦОД: сейчас
РЦОД
Коммутаторы ядра
Коммутаторы агрегирования
Коммутаторы доступа
Blade-коммутаторы
Виртуальные коммутаторы vSwitch vSwitch
VM VM VM VM
• Уровневый дизайн vs «Горизонтальный» трафик
55

56. Сколько уровней в самый раз?
56

57. 3 уровня
Коммутаторы ядра и РЦОД
агрегирования
Коммутаторы доступа
Виртуальные коммутаторы vSwitch vSwitch
VM VM VM VM
• Исключены blade-коммутаторы
• Совмещены функции уровней ядра и агрегирования
• Можно ли убрать уровень виртуальных коммутаторов?
57

58. Исключаем vSwitch: IEEE 802.1Qbg (VEPA)
Обработка VM-трафика
(коммутация, фильтрация,
Коммутатор
доступа обнаружение аномалий, учет)
Virtual Station
Динамическая настройка
Interface Discovery
VLAN при перемещении VM
and Configuration
Сервер
NIC Передача трафика без
Direct Path I/O привлечения виртуального
коммутатора
VM1 VM2 VM3
58

59. 2 уровня
Коммутаторы ядра и
агрегирования РЦОД
Коммутаторы доступа
VM VM VM VM
59

60. 1 уровень
Коммутаторы ядра,
агрегирования и доступа РЦОД
VM VM VM VM
60

61. Содержание
• Уменьшение ART
• Резервирование и балансировка в WAN
• Непрерывность функционирования: два ЦОД
– Распределение запросов
– Миграция виртуальных машин
– Синхронизация данных
• Сеть ЦОД
– Производительность
– Уменьшение количества уровней
– Единая сеть для LAN и SAN
61

62. 2 разные сети или 1 универсальная сеть?
• Сейчас: разные сети (технологии, оборудование,
специалисты) под разные задачи
– Ethernet: для LAN
– FC для SAN: малые задержки и loseless-транспорт
• Можно ли отказаться от FC и использовать
Ethernet в сети хранения данных?
62

63. Требования к универсальной сети
От Ethernet потребуются новые «умения»
1. Гарантировать доставку без потерь
2. Гарантировать минимальную задержку
3. Гарантировать полосу пропускания
63

64. Datacenter Bridging: улучшенный Ethernet
Свойство Назначение
Priority-based Flow Control (PFC) Транспорт без потерь (loseless)
IEEE 802.1Qbb
Enhanced Transmission Selection Приоритет и гарантированная полоса
(ETS) пропускания для каждого класса
IEEE 802.1Qaz
Congestion Notification Управление перегрузками
IEEE 802.1Qau
Data Center Bridging Exchange Согласование конфигурации
Protocol (DCBX)
IEEE 802.1Qaz
64

65. Priority-based Flow Control (PFC)
Выходные Входные
очереди буферы
Буфер “Blue” заполнен?
PFC PAUSE: “Blue” lane
• Уведомление PAUSE для линии (класса трафика)
при исчерпании соответствующего буфера
• Позволяет строить loseless-транспорт
65

66. Enhanced Transmission Selection (ETS)
Выходные Входные
очереди буферы
PRI 1, BW 30%
PRI 2, BW 60%
• Передача трафика на основе приоритета (Priority)
и минимальной полосы (Bandwidth)
66

67. Data Center Bridging Exchange Protocol (DCBX)
Выходные Входные
очереди буферы
• Проверка и согласование конфигурации DCB
между соседними коммутаторами
– Параметры PFC и ETS
– Логическое состояние Virtual Lane
67

68. ЦОД. Вокруг и внутри
Удаленное подразделение
WOC/WPC
Оператор WAN Оператор
А B
ОЦОД РЦОД
WOC/WPC GSLB WOC/WPC GSLB
Network-based
SLB Storage Virt SLB
VM VM VM VM
68

69. Вопросы?