Услуга виртуального дата-центра предъявляет жесткие требования к платформе виртуализации - клиенты хотят высокую производительность и стабильность, а провайдерам нужна возможность максимально плотно размещать нагрузки клиентов. Мы расскажем: 1. как мы работали с Virtuozzo, чтобы сделать его более производительным и стабильным и, вместе с тем, добиться максимальной плотности размещения виртуальных машин; 2. контейнеры Virtuozzo прекрасно решают эту задачу, но не подходят для размещения некоторых типов приложений, например, Windows; 3. как мы будем переходить на Virtuozzo с KVM, каких целей мы хотим добиться.

1. Виртуальный ЦОД для
корпоративных клиентов
на базе Virtuozzo
Дмитрий Канаев, Caravan Aero
Денис Лунев, Virtuozzo

2. Что мы делаем
VPS (Virtual Private Server) +
> 6000 инстансов
95% контейнеры
Плотность: 350 контейнеров/сервер
IaaS (Облачная инфраструктура) +
> 2000 инстансов
50% виртуальные машины
Плотность: 200 контейнеров/сервер
VDC (Виртуальный датацентр) +++
> 200 клиентов
95% виртуальные машины
Плотность: 40 ВМ/сервер
Облачный бекап (Acronis) ++
> 300 ТБ под защитой

3. Как мы делаем

4. VDC – выгодный, но сложный сервис
VDC (Виртуальный датацентр) +++
> 200 клиентов
95% виртуальные машины
Плотность: 40 ВМ/сервер
• Высокая производительность
• Высокая доступность
• Latency и IO
• Произвольная ОС
• Высокая плотность
• SDN
• Низкая стоимость внедрения и
поддержки

5. KVM для VDC:
производительность,
стабильность и высокая
плотность

6. Что хорошего есть в QEMU/KVM?
• Память VM unswappable
• Дедупликация памяти (KSM)
• Полноценная поддержка NUMA архитектуры
• Поддержка протокола SPICE
• Паравиртуализированный диск для Linux гостя
• Проброс PCI устройств
• Вложенная виртуализация

7. VM limits
• QEMU/KVM
• 255 VCPU
• 2 TB RAM
• Гибкая конфигурация,
ограниченная только
возможностями шины
PCI/PCIe
• PCS (Virtuozzo 6)
• 32 VCPU
• 128 GB RAM
• 25 виртуальных дисков
• 16 сетевых карт

8. Базовая система
• Ядро - RedHat 7, 3.10
• Безопасность
• Поддержка аппаратура (!)
• QEMU - RHEV, 2.1 (позднее 2.3, готовится 2.6)
• Безопасность
• На самом деле, это оказалось не важно

9. Банальные находки,
потребовавшие
больших усилий
Дьявол, как известно, в детальках

10. Оптимизация дисковой подсистемы
• Размер кеша метаданных для QCOW2
http://www.linux-kvm.org/images/9/92/Qcow2-why-not.pdf
• Оптимизация вызовов flush()
• Невыровненная запись
• Дисковые буфера должны быть выровнены на страницу при работе с
O_DIRECT дескрипторами
• Преаллокация при увеличении размера образа (невыровненные на
блок операции записи)

11. Небольшое ускорение процессора
• Ускорение доставки прерываний (адаптивный halt_poll_ns,
vanilla 4.3)
• Отключение изменения тактовой частоты процессора
• Сбор статистики

12. Память
• Привязка к NUMA нодам и большие страницы при наличии
свободной памяти
• KSM фантастически хорош на тестах при большом количестве
ВМок
• KSM разрушает большие страницы
• KSM работает намного лучше в режиме cross-NUMA
• khugepaged - фрагментация heap-а в QEMU

13. Гостевая Windows
• Включение эмуляции Hyper-V обязательно
• Эмуляция Hyper-V дотянула до Windows 2012: SynIC (auto EOI),
SynTimers и ничего не дала
• SynIC не может работать с включенным APICv (Xeon E7)
• HyperV TSC page
• Windows - специфичные паттерны нагрузки на APIC

14. C
P
U
o
v
e
r
c
o
m
m
i
t
R
A
M
o
v
e
r
c
o
m
m
i
t
Virtuozzo 7 VMs
are up to
25%
faster than
Virtuozzo 6 VMs
Windows Guest Performance
Virtuozzo 7
Virtuozzo 6

15. C
P
U
o
v
e
r
c
o
m
m
i
t
R
A
M
o
v
e
r
c
o
m
m
i
t
Virtuozzo 7 VMs
are up to
57%
faster than
Virtuozzo 6 VMs
Linux Guest Performance
Virtuozzo 7
Virtuozzo 6

16. C
P
U
o
v
e
r
c
o
m
m
i
t
R
A
M
o
v
e
r
c
o
m
m
i
t
Virtuozzo 7 VMs
are up to
53%
faster than
Virtuozzo 6 VMs
vConsolidate Linux Performance
Virtuozzo 7
Virtuozzo 6

17. up to
33%
better
performance
results
Windows Guest Performance

18. Copyright © 2016 Virtuozzo. All Rights Reserved.
up to
63%
greater density
compared to
CentOS 7 KVM
up 2x
better response
times
System Containers Density (Drupal CMS)

19. Хочешь VDC? Спроси меня как!
www.virtuozzo.com
@VirtuozzoInc
www.linkedin.com/company/virtuozzo
http://www.caravan.ru/aero/