1. Июнь 2016
Open Ethernet – открытый подход к построению
Ethernet сетей
Александр Петровский – Mellanox Technologies

2. © 2016 Mellanox Technologies 2
Смена парадигмы в истории IT
От эры мейнфреймов
• Закрытая архитектура
• Проприетарные интерфейсы
• Проприетарное ПО
• Вертикальная Scale-up маштабируемость
К эпохе PC
• Открытая расширяемая архитектура
• Стандартные интерфейсы
• Огромный выбор ПО
• Горизонтальная Scale-out масштабируемость
* PDP-11/70 minicomputer * Racks of OCP servers in Facebook

3. © 2016 Mellanox Technologies 3
Смена парадигмы в наше время
Wall street IT Web-scale IT
CLOS Fabric
 Scale-out
 Distributed
 Автоматизация, DevOps
 Open source
 Гиперконвергенция
 Software-defined
 Scale-up
 Centralized
 Традиционное управление
 Проприетарное ПО
 Виртуализация
 Hardware-defined
“By 2017, Web-scale IT will be an
architectural approach found
operating in 50 percent of
global enterprises…”
Gartner, March 5, 2014

4. © 2016 Mellanox Technologies 4
Закрытая платформа
- Привязка к одному вендору
- Дорого!
- Медленный цикл разработки
Open Ethernet = Open Source в мире сетей
Возможность выбора
- Лучшего железа
- Лучшего ПО
- Быстрое внедрение
hardware
operating system
app app app
Дезагрегация инфраструктуры:
- ONIE, SDK API, SAI
SONiC

5. © 2016 Mellanox Technologies 5
 Открытые платформы и API
1. Открытые Ethernet платформы
- Выбор сетевой ОС, платформы коммутатора
и приложений
- Open Compute Project
2. Стандартные, открытые API
- OCP ONIE, SAI
- Linux Switchdev
3. Открытые интерфейсы автоматизации и
оркестрации
- REST API
- Chef, Puppet, Ansible
 Стандартные протоколы и приложения
1. Routing: Quagga, Bird
2. Switching: OpenMLAG
3. SDN: OpenFlow, Overlays (VXLAN)
Ключевые компоненты Open Ethernet
Open Ethernet для ускорения инноваций
+NOSs

6. © 2016 Mellanox Technologies 6
Spectrum 100G Ethernet ASIC – платформа Open Ethernet
 Лидер по производительности
• Неблокирующая коммутация 6.4Tb/s
• <300ns задержки на L2/L3 от 64b до 9Kb
• Zero Packet Loss
 Масштабируемость для облаков
• Поддержка виртуализации
• Оптимизация пропускной способности
• Гибкие SDN возможности
 Функциональность
• 32 порта по 100 / 56 / 40GbE
• 64 порта по 50 / 25 / 10GbE
• RDMA over Converged Ethernet
• Программируемость для SDN и поддержка
Overlay (VXLAN, NVGRE, Geneve) и MPLS

7. © 2016 Mellanox Technologies 7
Чип Mellanox Spectrum – лучший в индустрии
50
60
70
80
90
100
Packet Size (Bytes)
Broadcom
50
60
70
80
90
100
Packet Size (Bytes)
Spectrum
LatencyFairness Zero Packet Loss
Стабильно низкая задержка
для любого типа трафика и
любых размеров пакетов
Равномерное
распределение полосы
Отсутствие потерь пакетов
любых размеров при любой
нагрузке
BroadcomSpectrum
www.zeropacketloss.com
www.Mellanox.com/tolly
• Отчет Tolly раскрывает фундаментальные различия в
характеристиках коммутаторов на базе Mellanox Spectrum и
Broadcom Tomahawk
• На базе Broadcom делают свои коммутаторы ведущие
производители – Cisco, Juniper, Extreme, Arista, Huawei и многие

8. © 2016 Mellanox Technologies 8
Выбор сетевой ОС на Spectrum – уже реальность
6 коммутаторов Spectrum :
• Cumulus Linux
• Mellanox OS
• Microsoft ACS (SONiC)
• HP OpenSwitch (future)
• MetaSwitch (future)
• BaiduOS (future)
OCP Summit March 2016 – Live Demo

9. © 2016 Mellanox Technologies 9
Open Compute Project
Open HW
Switch
Abstraction
Interfaces
Any NOS
Open Network
Linux
Unified
Platform
Interfaces
Testing and
Benchmarking
Suits
Open Network
Install
Environment
 Сообщество разработки открытых
архитектур оборудования
 Выбор строительных блоков
инфраструктуры через открытые
интерфейсы
 Экосистема производителей и
потребителей
 Возможность выбора любого компонента
на любом уровне архитектуры (HW, SW,
platform):
• Server
• Storage
• Networking
• Rack
• Management
• Data Center physical environment

10. © 2016 Mellanox Technologies 10
ONIE – открытый загрузчик сетевых ОС
 ONIE – Open Network Install Environment
• Загрузчик + Ядро Linux + BusyBox
• Аналог BIOS/UEFI в серверах
 Выбор – любая ОС на любом железе
First power
up
(or upgrade)
ONIE boot on
local CPU
Connect to
management
network
Download
NetOS installer
via FTP or TFTP
Execute
NetOS
installer
Install the
NetOS
Boot from
NetOS
ONIE Operation

11. © 2016 Mellanox Technologies 11
Что такое SAI? User-space абстракция ASIC
 OCP спецификация для абстракции
интерфейсов управления коммутатором
• Обертка над SDK API
• Вендоронезависимые интерфейсы управления
основными функциями коммутатора
- Init, startup/shutdown, Port, L2, L3, ACL, QoS
- vendor-specific функциональность и расширения
• Развивается открытым сообществом
• Лидеры: Microsoft, Dell, Facebook, Broadcom, Intel,
Mellanox
• Обеспечивает совместимость с любым HW
• Позволяет разработать собственную сетевую ОС
 Вклад Mellanox
• Mellanox – один из авторов спецификации SAI
• SAI встроен в Spectrum SDK
• Сетевые ОС на базе SAI:
- OpenSwitch
- SONiC

12. © 2016 Mellanox Technologies 12
Что такое Switchdev? In-Kernel абстракция ASIC
 Драйвер Linux ядра, позволяющий сделать offload сетевого стека (dataplane) на ASIC
 Разрабатывается сообществом Linux
 Полностью открытое решение
 Использует стандартные Linux APIs
• Open-source протокол для аппаратного ускорения сетевых функций Linux
• Можно поставить Linux на коммутатор и сразу же получить wire-speed производительность на L2/L3
HW
p3p2p1
p5
Router
Vlan 2
SwitchDev
Policy management
Spectrum
Port net
dev
mlxsw_pci
mlxsw_core
mlxsw_spectrum
Spectrum
Port net
dev
Spectrum
Port net
dev
Spectrum
Port net
dev
Port Config(NDO) ,
hw event
Packet rx/tx
Port Config(NDO)
hw event
Packet rx/tx
Port Config(NDO)
,hw event
Packet rx/tx
Port Config(NDO)
,hw event
Packet rx/tx
switchdev_ops
,hw event
Linux bridge
TC
Router
FDB APIs
FIB APIs
FlowAPIs

13. © 2016 Mellanox Technologies 13
Пример работы Switchdev (Linux запущен на Spectrum)
panther # brctrl addbr br0
panther # brctrl addif br0 eth29
panther # brctrl addif br0 eth28
host-2 # iperf –s –i1
host-1 # iperf -c 192.168.1.1 -i1 -P 8
------------------------------------------------------------
Client connecting to 192.168.1.1, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[ 9] local 192.168.1.2 port 38848 connected with 192.168.1.1 port 5001
...
[ 7] local 192.168.1.2 port 38844 connected with 192.168.1.1 port 5001
[ 10] local 192.168.1.2 port 38846 connected with 192.168.1.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 9] 1.0- 2.0 sec 1.25 GBytes 10.7 Gbits/sec
[ 3] 1.0- 2.0 sec 1.28 GBytes 11.0 Gbits/sec
…
[ 7] 1.0- 2.0 sec 1.44 GBytes 12.4 Gbits/sec
[ 10] 1.0- 2.0 sec 1.36 GBytes 11.7 Gbits/sec
[SUM] 1.0- 2.0 sec 10.5 GBytes 90.6 Gbits/sec

14. © 2016 Mellanox Technologies 14
Первая Open Source реализация протокола MLAG
 Open MLAG
• Стандартная реализация MLAG для
различных программных и аппаратных
платформ
• Протокольная совместимость MLAG
 MLAG
• Синхронизация параметров распределенных
LAG портов между коммутаторами
• Хост (или коммутатор) подключенный к
MLAG паре, прозрачно использует LAG
• Балансировка нагрузки, fail-over
SONiC

15. © 2016 Mellanox Technologies 15
 Единственный адаптер Multi-Host Ethernet для сервера Facebook Yosemite
 Первый в мире адаптер 25/50Gb Ethernet для сервера Facebook Leopard
 Первый в мире адаптер 50Gb Ethernet для сервера OpenPower Rackspace Barreleye
OCP адаптеры Mellanox
Yosemite Leopard Barreleye
50GbE
Multihost NIC
50GbE
NIC
25GbE
NIC

16. © 2016 Mellanox Technologies 16
Facebook Yosemite: дезагрегированный Multi-Host сервер
Серверная Quad Core Multi-host платформа Facebook Yosemite
100Gb/s
Copper
Cable
ConnectX-4
OCP2.0 100Gb/s
Multi-Core Adapter
Multi-Host
PCI-Express
Host Connections
100Gb/E
QSFP
Yosemite Sled
With Quad CPU Cards

17. © 2016 Mellanox Technologies 17
OCP
• Open SDK on GitHub
• OCP Switch Hardware
• OCP Adapters
Open
mLAG • Contributed to GitHub
SAI,
Switchdev
• Switch Abstraction Interface
• Enables MSFT ACS (SONiC)
• Mellanox Switchdev driver in upstream
ONIE
• All Spectrum
switches have
ONIE
Выбор
NOS
• MLNX-OS
• Cumulus
• OPS, SONiC (future)
Вклад Mellanox в Open Ethernet и Open Networking

18. © 2016 Mellanox Technologies 18
1. Выбирайте любые программные компоненты в сети (ОС, ПО, Стеки протоколов)
2. Выбирайте самую лучшую аппаратную платформу
В заключение об Open Ethernet…

19. Спасибо!
Александр Петровский – alexpe@mellanox.com