SlideShare una empresa de Scribd logo
1 de 21
Descargar para leer sin conexión
Mellanox VXLAN offload 
for RHEL7 
株式会社アルティマ 
Nov, 2014 
本資料に含まれる測定データは一例であり、測定構成や条件によって変わることがあります。 
また、本資料はMellanox Technologies社の公式見解を表すものではありません。 
The results in this documents may differ for the configurations or/and conditions. 
This documents does not reflect the official views of Mellanox Technologies.
アルティマ社のご紹介 
2 
 Mellanox社の国内一次代理店 
 サーバ、ストレージ、ネット 
ワーク等、システム商材を扱う 
ディストリビューター 
 保守/構築/技術サポートをご提供 
 マクニカのグループカンパニー 
 本資料に関するお問い合わせは 
こちらまで 
株式会社アルティマ 
プロダクトセールス2部 
メラノックス製品担当 
mellanox-support@altima.co.jp
目的 
 Linux OpenvSwitch(以下OVS)のスループット性能の確認 
 メラノックス社製 10/40/56GbE対応のNICカードでサポートしてい 
るVXLAN offload機能を使用した際のOVSの性能評価 
 確認項目 
 設定手順 
 Linux OVS(Open vSwitch)のVXLAN性能評価 
 Case1 : Performance VM to VM 
 Case2 : VM to VM VXLAN offload なし 
 Case3 : VM to VM VXLAN offload あり 
3 
ConnectX-3 Pro EN 10/40/56GbE adapter cards 
詳細:http://www.mellanox.com/page/products_dyn?product_family=162
Requirement 
 Mellanox ConnectX-3 Pro 
 Operating system and kernel options: 
 upstream Linux 3.14 or later 
 RHEL7 beta snapshot 10 (kernel 3.10.0-105.el7) or later 
 Ubuntu 14.04 (kernel 3.13.0-24-generic) or later 
 openvswitch 2.0 or later 
 KVM Hypervisor using para-virtual NIC (e.g. virtio with 
vhost backend on the hypervisor) 
 MLNX_OFED (2.2 or later) installation is optional, as 
driver support is inbox (RHEL 7 or Ubuntu 14.04) 
参考:http://community.mellanox.com/docs/DOC-1446 
4
評価環境 
5 
 CPU : 12core Xeon 2.40GHz (Fujitsu RX200S8) 
VM CentOS7 
CentOS7 VM 
OVS 2.0.0 
40GE Driver 
 MEM : 18GB 
 OS : CentOS7 (Kernel : 3.10.0-123.el7.x86_64) 
 Driver : MLNX_OFED_LINUX-2.3-1.0.1-rhel7.0-x86_64.iso 
 OVS : ver 2.0 
 Mellanox 10/40GbE NIC : ConnectX-3 Pro (FW:2.32.5100) 
OVS 2.0.0 
40GE Driver 
VM info 
OS:CentOS6.5 
vCPU : 4core 
vMEM : 4GB
6 
設定手順 
参考URL : http://community.mellanox.com/docs/DOC-1446
KVM環境構築 
 Install packages 
環境に合わせて設定してください。 
OpenStack環境でもOK! 
 VM Manager起動 
7 
# yum install qemu-kvm 
# yum install qemu-img 
# yum install virt-manager 
# yum install virt-install 
# yum install libvirt-daemon-config-network 
# virt-manager 
VM作成
Mellanox OFEDドライバインストール 
 こちらからダウンロード 
 http://www.mellanox.com/page/products_dyn?product_family=2 
6&mtag=linux_sw_drivers 
 ドライバインストール方法 
8 
# mount -o ro,loop MLNX_OFED_LINUX-2.3-1.0.1-rhel7.0-x86_64.iso /mnt 
# ./mnt/mlnxofedinstall 
# /etc/init.d/openibd restart
OVSインストール 
OVS v2.0.0のインストール 
 今回はOpenstack icehouseパッケージかを使用 
 Linux Bridgeモジュールアンロード 
9 
# yum install -y https://repos.fedorapeople.org/repos/openstack/openstack-icehouse/ 
rdo-release-icehouse.rpm 
# yum install –y openvswitch 
# modprobe openvswitch 
# lsmod | grep openv 
openvswitch 70743 0 
vxlan 37584 1 openvswitch 
gre 13808 1 openvswitch 
libcrc32c 12644 3 xfs,btrfs,openvswitch 
# lsmod | grep bridge 
bridge 110196 0 
stp 12976 1 bridge 
llc 14552 2 stp,bridge 
# rmmod bridge
OVSインストール 
 Openvswitchサービススタート 
10 
# systemctl list-unit-files | grep openvswitch 
openvswitch-nonetwork.service static 
openvswitch.service disabled 
# systemctl enable openvswitch 
# systemctl start openvswitch 
# systemctl status openvswitch 
openvswitch.service - Open vSwitch 
Loaded: loaded (/usr/lib/systemd/system/openvswitch.service; enabled) 
Active: active (exited) since Thu 2014-09-18 19:14:42 JST; 2min 20s ago 
Main PID: 12972 (code=exited, status=0/SUCCESS) 
Sep 18 19:14:42 ALT1 systemd[1]: Started Open vSwitch. 
# ovs-vsctl show 
5c682e27-2498-4188-ac25-269cacedbe7f 
ovs_version: "2.0.0"
ネットワーク設定 
11 
VM1 
eth0 
vnet0 
bridge 
ovs-vx 
eth0 
NIC 
VM2 
eth0 
vnet0 
bridge 
ovs-vx 
eth0 
NIC 
Point 
・ Bridge “ovs-vx”作成 
・ VM1と物理NICのポート接続
ネットワーク設定 
 Bridge作成 & ポート作成 
 仮想マシンを作成(この時点でNIC設定はデフォルトでOK) 
 仮想マシン インターフェース設定ファイル編集 (編集後VM起動) 
12 
# ovs-vsctl add-br ovs-vx 
# ovs-vsctl add-port ovs-vx enp4s0 
# virsh edit <vm名前> 
例)変更前 
<interface type='direct'> 
<mac address='52:54:00:e7:26:ea'/> 
<source dev='ovs-system' mode='vepa'/> 
<model type='virtio'/> 
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> 
</interface> 
変更後 
<interface type='bridge'> 
<mac address='52:54:00:e7:26:ea'/> 
<source bridge='ovs-vx'/> 
<virtualport type='openvswitch'/> 
<model type='virtio'/> 
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> 
</interface>
ネットワーク設定 
 vnet0がovsにタッピングされている 
13 
[root@ALT1 ~]# ovs-vsctl show 
daaecc1a-5344-4387-9204-399b101d8b8e 
Bridge ovs-vx 
Port "vnet0" 
Interface "vnet0" 
Port "enp4s0" 
Interface "enp4s0" 
Port ovs-vx 
Interface ovs-vx 
type: internal 
ovs_version: "2.0.0" 
[root@ALT1 ~]# 
[root@ALT1 ~]# ovs-dpctl show 
system@ovs-system: 
lookups: hit:8320258 missed:41 lost:0 
flows: 0 
port 0: ovs-system (internal) 
port 1: ovs-vx (internal) 
port 2: enp4s0 
port 3: vnet0
VXLAN offload設定 
 特になし! 
 MLNX OFED 2.3.1ではデフォルトでVXLAN offload = enableに 
なっている 
 Disableにする場合 
14 
1. Open the /etc/modprobe.d/mlnx.conf file. 
2. Set the options mlx4_core log_num_mgm_entry_size=10. 
3. Restart the driver (/etc/init.d/openibd restart)
OVS VXLAN設定 
 OVSのポートは一度削除する 
 # ovs-vsctl del-port ovs-vx “port名” 
 ブリッジ作成 
 先ほどの手順と同様に仮想マシン作成 
 OVSでVXLANヘッダ50byteが付加されるので、IPフラグメン 
トを防ぐため物理ホストのMTUを変更(MTU=1550) 
 Ex) # ip link set enp4s0 mtu 1550 
15 
# ovs-vsctl add-br ovs-vx 
# ovs-vsctl add-port ovs-vx vxlan0 -- set interface vxlan0 type=vxlan 
options:remote_ip=10.0.0.20 options:key=99 options:dst_port=4789
OVS VXLAN設定 
 設定確認 
16 
[root@ALT1 ~]# ovs-vsctl show 
daaecc1a-5344-4387-9204-399b101d8b8e 
Bridge ovs-vx 
Port ovs-vx 
Interface ovs-vx 
type: internal 
Port "vnet0" 
Interface "vnet0" 
Port "vxlan0" 
Interface "vxlan0" 
type: vxlan 
options: {dst_port="4789", key="99", remote_ip="10.0.0.20"} 
ovs_version: "2.0.0“ 
[root@ALT1 ~]# ovs-dpctl show 
system@ovs-system: 
lookups: hit:439298 missed:34 lost:0 
flows: 2 
port 0: ovs-system (internal) 
port 1: vxlan_sys_4789 (vxlan: df_default=false, ttl=0) 
port 2: ovs-vx (internal) 
port 3: vnet0
パケットキャプチャ 
17
Performance 10GE 
18 
本資料に含まれる測定データは一例であり、測定構成や条件によって変わることがあります。 
また、本資料はMellanox Technologies社の公式見解を表すものではありません。 
iperf Ver2.0.5 
実行例 : # iperf -c 10.0.0.101 -P 4 
MTU=1500
Performance 40GE 
19 
本資料に含まれる測定データは一例であり、測定構成や条件によって変わることがあります。 
また、本資料はMellanox Technologies社の公式見解を表すものではありません。 
iperf Ver2.0.5 
実行例 : # iperf -c 10.0.0.101 -P 4 
MTU=1500
まとめ 
 OVSのVXLAN通信時、通常時に比べ約1/7性能効率が落 
ちる 
 Mellanox ConnectX-3 ProのVXLAN offload機能を使用す 
るとオフロード無しに比べ約5.6倍の性能向上が見られ 
る 
 その他、VXLAN通信のOffloadによりCPU負荷の低減に 
も効果がある 
20
問い合わせ先 
21 
ご不明点、ご質問ありましたらご連絡ください。 
株式会社アルティマ 
プロダクトセールス2部 
SE担当 北島佑樹 
MAIL : mellanox-support@altima.co.jp

Más contenido relacionado

La actualidad más candente

SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月
SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月
SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月VirtualTech Japan Inc.
 
オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-
オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-
オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-Takashi Sogabe
 
『WAN SDN Controller NorthStarご紹介 & デモ』
『WAN SDN Controller NorthStarご紹介 & デモ』『WAN SDN Controller NorthStarご紹介 & デモ』
『WAN SDN Controller NorthStarご紹介 & デモ』Juniper Networks (日本)
 
VPP事始め
VPP事始めVPP事始め
VPP事始めnpsg
 
ミドクラ様講演 OpenStack最新情報セミナー 2014年4月
ミドクラ様講演 OpenStack最新情報セミナー 2014年4月ミドクラ様講演 OpenStack最新情報セミナー 2014年4月
ミドクラ様講演 OpenStack最新情報セミナー 2014年4月VirtualTech Japan Inc.
 
Cloud next with Server Roadmap
Cloud next with Server RoadmapCloud next with Server Roadmap
Cloud next with Server RoadmapHisaki Ohara
 
君にもできる! にゅーとろん君になってみよー!! 「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...
君にもできる! にゅーとろん君になってみよー!!  「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...君にもできる! にゅーとろん君になってみよー!!  「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...
君にもできる! にゅーとろん君になってみよー!! 「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...VirtualTech Japan Inc.
 
OpenFlow in IaaS - Wakame
OpenFlow in IaaS - WakameOpenFlow in IaaS - Wakame
OpenFlow in IaaS - Wakameaxsh co., LTD.
 
【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望
【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望
【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望シスコシステムズ合同会社
 
OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料
OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料
OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料Etsuji Nakai
 
【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 
【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 
【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション Juniper Networks (日本)
 
Contrail deploy by Juju/MAAS
Contrail deploy by Juju/MAASContrail deploy by Juju/MAAS
Contrail deploy by Juju/MAASIkuo Kumagai
 
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策Juniper Networks (日本)
 
【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション
【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション
【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーションJuniper Networks (日本)
 

La actualidad más candente (20)

SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月
SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月
SR-IOV Networking in OpenStack - OpenStack最新情報セミナー 2016年3月
 
オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-
オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-
オーバーレイネットワークで実現するプライベートクラウド -OpenStack/OpenContrailを用いたプライベートクラウドの構築及び評価計画のご紹介-
 
EVPN & VXLAN for Cloud Builders
EVPN & VXLAN for Cloud BuildersEVPN & VXLAN for Cloud Builders
EVPN & VXLAN for Cloud Builders
 
OpenContrailとnfv
OpenContrailとnfvOpenContrailとnfv
OpenContrailとnfv
 
『WAN SDN Controller NorthStarご紹介 & デモ』
『WAN SDN Controller NorthStarご紹介 & デモ』『WAN SDN Controller NorthStarご紹介 & デモ』
『WAN SDN Controller NorthStarご紹介 & デモ』
 
Multi Chassis LAG for Cloud builders
Multi Chassis LAG for Cloud buildersMulti Chassis LAG for Cloud builders
Multi Chassis LAG for Cloud builders
 
VPP事始め
VPP事始めVPP事始め
VPP事始め
 
ミドクラ様講演 OpenStack最新情報セミナー 2014年4月
ミドクラ様講演 OpenStack最新情報セミナー 2014年4月ミドクラ様講演 OpenStack最新情報セミナー 2014年4月
ミドクラ様講演 OpenStack最新情報セミナー 2014年4月
 
Virtual Chassis for Cloud Builders
Virtual Chassis for Cloud BuildersVirtual Chassis for Cloud Builders
Virtual Chassis for Cloud Builders
 
Cloud next with Server Roadmap
Cloud next with Server RoadmapCloud next with Server Roadmap
Cloud next with Server Roadmap
 
君にもできる! にゅーとろん君になってみよー!! 「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...
君にもできる! にゅーとろん君になってみよー!!  「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...君にもできる! にゅーとろん君になってみよー!!  「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...
君にもできる! にゅーとろん君になってみよー!! 「Neutronになって理解するOpenStack Net - OpenStack最新情報セミナー ...
 
OpenFlow in IaaS - Wakame
OpenFlow in IaaS - WakameOpenFlow in IaaS - Wakame
OpenFlow in IaaS - Wakame
 
Open contrailのご紹介
Open contrailのご紹介Open contrailのご紹介
Open contrailのご紹介
 
【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望
【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望
【Interop Tokyo 2015】 DC 1: Cisco VXLAN ファブリックの展望
 
OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料
OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料
OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料
 
【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 
【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 
【Interop Tokyo 2016】 ネットワーク仮想化を推進する新たなソリューション 
 
Contrail deploy by Juju/MAAS
Contrail deploy by Juju/MAASContrail deploy by Juju/MAAS
Contrail deploy by Juju/MAAS
 
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
【Interop Tokyo 2015】最新セキュリティサーベイからみるトレンドと解決策
 
VyOSでMPLS
VyOSでMPLSVyOSでMPLS
VyOSでMPLS
 
【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション
【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション
【ネットワーク仮想化 事例セミナー 2017/2/28】Juniper x VMware アンダーレイソリューション デモンストレーション
 

Similar a Mellanox Vxlan offload Performance on linux

OpenFlowをXenServerで試してみよう
OpenFlowをXenServerで試してみようOpenFlowをXenServerで試してみよう
OpenFlowをXenServerで試してみようKimihiko Kitase
 
Trema での Open vSwitch
Trema での Open vSwitchTrema での Open vSwitch
Trema での Open vSwitchkazuyas
 
OpenStackトラブルシューティング入門
OpenStackトラブルシューティング入門OpenStackトラブルシューティング入門
OpenStackトラブルシューティング入門VirtualTech Japan Inc.
 
Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf)
Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf) Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf)
Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf) VirtualTech Japan Inc.
 
Apache CloudStack 4.0 インストール(ver0.5)
Apache CloudStack 4.0 インストール(ver0.5)Apache CloudStack 4.0 インストール(ver0.5)
Apache CloudStack 4.0 インストール(ver0.5)Yasuhiro Arai
 
Apache cloudstack4.0インストール
Apache cloudstack4.0インストールApache cloudstack4.0インストール
Apache cloudstack4.0インストールYasuhiro Arai
 
【Brocade OpenStack ソリューション】OpenStack 概要
【Brocade OpenStack ソリューション】OpenStack 概要【Brocade OpenStack ソリューション】OpenStack 概要
【Brocade OpenStack ソリューション】OpenStack 概要Brocade
 
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月VirtualTech Japan Inc.
 
CloudStackユーザ会 OSC.cloud
CloudStackユーザ会 OSC.cloudCloudStackユーザ会 OSC.cloud
CloudStackユーザ会 OSC.cloudsamemoon
 
20190926_Try_RHEL8_NVMEoF_Beta
20190926_Try_RHEL8_NVMEoF_Beta20190926_Try_RHEL8_NVMEoF_Beta
20190926_Try_RHEL8_NVMEoF_BetaKohei KaiGai
 
ONIC-Japan-2019-OVN public
ONIC-Japan-2019-OVN publicONIC-Japan-2019-OVN public
ONIC-Japan-2019-OVN publicManabu Ori
 
巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~
巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~
巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~Brocade
 
IaaSクラウドを支える基礎技術 演習編_v1_0
IaaSクラウドを支える基礎技術 演習編_v1_0IaaSクラウドを支える基礎技術 演習編_v1_0
IaaSクラウドを支える基礎技術 演習編_v1_0Etsuji Nakai
 
Cloud stack徹底入門7章 20130514
Cloud stack徹底入門7章 20130514Cloud stack徹底入門7章 20130514
Cloud stack徹底入門7章 20130514samemoon
 
知らないと地味にハマるOpen stackインストール時の注意点
知らないと地味にハマるOpen stackインストール時の注意点知らないと地味にハマるOpen stackインストール時の注意点
知らないと地味にハマるOpen stackインストール時の注意点d-shen
 
脆弱性スキャナVuls(応用編)
脆弱性スキャナVuls(応用編)脆弱性スキャナVuls(応用編)
脆弱性スキャナVuls(応用編)Takayuki Ushida
 

Similar a Mellanox Vxlan offload Performance on linux (20)

OpenFlowをXenServerで試してみよう
OpenFlowをXenServerで試してみようOpenFlowをXenServerで試してみよう
OpenFlowをXenServerで試してみよう
 
Trema での Open vSwitch
Trema での Open vSwitchTrema での Open vSwitch
Trema での Open vSwitch
 
OpenStackトラブルシューティング入門
OpenStackトラブルシューティング入門OpenStackトラブルシューティング入門
OpenStackトラブルシューティング入門
 
Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf)
Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf) Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf)
Havana版 RDO-QuickStart-2 (140421-Havana-RDO-QuickStart-2.pdf)
 
Apache CloudStack 4.0 インストール(ver0.5)
Apache CloudStack 4.0 インストール(ver0.5)Apache CloudStack 4.0 インストール(ver0.5)
Apache CloudStack 4.0 インストール(ver0.5)
 
Apache cloudstack4.0インストール
Apache cloudstack4.0インストールApache cloudstack4.0インストール
Apache cloudstack4.0インストール
 
OpenvswitchでVPS
OpenvswitchでVPSOpenvswitchでVPS
OpenvswitchでVPS
 
【Brocade OpenStack ソリューション】OpenStack 概要
【Brocade OpenStack ソリューション】OpenStack 概要【Brocade OpenStack ソリューション】OpenStack 概要
【Brocade OpenStack ソリューション】OpenStack 概要
 
Openstack+Ceph設定ガイド
Openstack+Ceph設定ガイドOpenstack+Ceph設定ガイド
Openstack+Ceph設定ガイド
 
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
OpenStack検証環境構築・トラブルシューティング入門 - OpenStack最新情報セミナー 2014年8月
 
CloudStackユーザ会 OSC.cloud
CloudStackユーザ会 OSC.cloudCloudStackユーザ会 OSC.cloud
CloudStackユーザ会 OSC.cloud
 
20190926_Try_RHEL8_NVMEoF_Beta
20190926_Try_RHEL8_NVMEoF_Beta20190926_Try_RHEL8_NVMEoF_Beta
20190926_Try_RHEL8_NVMEoF_Beta
 
ONIC-Japan-2019-OVN public
ONIC-Japan-2019-OVN publicONIC-Japan-2019-OVN public
ONIC-Japan-2019-OVN public
 
巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~
巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~
巨大ポータルを支えるプライベート・クラウド構築事例から学べ!~攻める情シスのためのインフラ構築、その極意とは?~
 
IaaSクラウドを支える基礎技術 演習編_v1_0
IaaSクラウドを支える基礎技術 演習編_v1_0IaaSクラウドを支える基礎技術 演習編_v1_0
IaaSクラウドを支える基礎技術 演習編_v1_0
 
120516openqrm deepdive
120516openqrm deepdive120516openqrm deepdive
120516openqrm deepdive
 
Cloud stack徹底入門7章 20130514
Cloud stack徹底入門7章 20130514Cloud stack徹底入門7章 20130514
Cloud stack徹底入門7章 20130514
 
Lxc on cloud
Lxc on cloudLxc on cloud
Lxc on cloud
 
知らないと地味にハマるOpen stackインストール時の注意点
知らないと地味にハマるOpen stackインストール時の注意点知らないと地味にハマるOpen stackインストール時の注意点
知らないと地味にハマるOpen stackインストール時の注意点
 
脆弱性スキャナVuls(応用編)
脆弱性スキャナVuls(応用編)脆弱性スキャナVuls(応用編)
脆弱性スキャナVuls(応用編)
 

Último

TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦Sadao Tokuyama
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 

Último (12)

TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 

Mellanox Vxlan offload Performance on linux

  • 1. Mellanox VXLAN offload for RHEL7 株式会社アルティマ Nov, 2014 本資料に含まれる測定データは一例であり、測定構成や条件によって変わることがあります。 また、本資料はMellanox Technologies社の公式見解を表すものではありません。 The results in this documents may differ for the configurations or/and conditions. This documents does not reflect the official views of Mellanox Technologies.
  • 2. アルティマ社のご紹介 2  Mellanox社の国内一次代理店  サーバ、ストレージ、ネット ワーク等、システム商材を扱う ディストリビューター  保守/構築/技術サポートをご提供  マクニカのグループカンパニー  本資料に関するお問い合わせは こちらまで 株式会社アルティマ プロダクトセールス2部 メラノックス製品担当 mellanox-support@altima.co.jp
  • 3. 目的  Linux OpenvSwitch(以下OVS)のスループット性能の確認  メラノックス社製 10/40/56GbE対応のNICカードでサポートしてい るVXLAN offload機能を使用した際のOVSの性能評価  確認項目  設定手順  Linux OVS(Open vSwitch)のVXLAN性能評価  Case1 : Performance VM to VM  Case2 : VM to VM VXLAN offload なし  Case3 : VM to VM VXLAN offload あり 3 ConnectX-3 Pro EN 10/40/56GbE adapter cards 詳細:http://www.mellanox.com/page/products_dyn?product_family=162
  • 4. Requirement  Mellanox ConnectX-3 Pro  Operating system and kernel options:  upstream Linux 3.14 or later  RHEL7 beta snapshot 10 (kernel 3.10.0-105.el7) or later  Ubuntu 14.04 (kernel 3.13.0-24-generic) or later  openvswitch 2.0 or later  KVM Hypervisor using para-virtual NIC (e.g. virtio with vhost backend on the hypervisor)  MLNX_OFED (2.2 or later) installation is optional, as driver support is inbox (RHEL 7 or Ubuntu 14.04) 参考:http://community.mellanox.com/docs/DOC-1446 4
  • 5. 評価環境 5  CPU : 12core Xeon 2.40GHz (Fujitsu RX200S8) VM CentOS7 CentOS7 VM OVS 2.0.0 40GE Driver  MEM : 18GB  OS : CentOS7 (Kernel : 3.10.0-123.el7.x86_64)  Driver : MLNX_OFED_LINUX-2.3-1.0.1-rhel7.0-x86_64.iso  OVS : ver 2.0  Mellanox 10/40GbE NIC : ConnectX-3 Pro (FW:2.32.5100) OVS 2.0.0 40GE Driver VM info OS:CentOS6.5 vCPU : 4core vMEM : 4GB
  • 6. 6 設定手順 参考URL : http://community.mellanox.com/docs/DOC-1446
  • 7. KVM環境構築  Install packages 環境に合わせて設定してください。 OpenStack環境でもOK!  VM Manager起動 7 # yum install qemu-kvm # yum install qemu-img # yum install virt-manager # yum install virt-install # yum install libvirt-daemon-config-network # virt-manager VM作成
  • 8. Mellanox OFEDドライバインストール  こちらからダウンロード  http://www.mellanox.com/page/products_dyn?product_family=2 6&mtag=linux_sw_drivers  ドライバインストール方法 8 # mount -o ro,loop MLNX_OFED_LINUX-2.3-1.0.1-rhel7.0-x86_64.iso /mnt # ./mnt/mlnxofedinstall # /etc/init.d/openibd restart
  • 9. OVSインストール OVS v2.0.0のインストール  今回はOpenstack icehouseパッケージかを使用  Linux Bridgeモジュールアンロード 9 # yum install -y https://repos.fedorapeople.org/repos/openstack/openstack-icehouse/ rdo-release-icehouse.rpm # yum install –y openvswitch # modprobe openvswitch # lsmod | grep openv openvswitch 70743 0 vxlan 37584 1 openvswitch gre 13808 1 openvswitch libcrc32c 12644 3 xfs,btrfs,openvswitch # lsmod | grep bridge bridge 110196 0 stp 12976 1 bridge llc 14552 2 stp,bridge # rmmod bridge
  • 10. OVSインストール  Openvswitchサービススタート 10 # systemctl list-unit-files | grep openvswitch openvswitch-nonetwork.service static openvswitch.service disabled # systemctl enable openvswitch # systemctl start openvswitch # systemctl status openvswitch openvswitch.service - Open vSwitch Loaded: loaded (/usr/lib/systemd/system/openvswitch.service; enabled) Active: active (exited) since Thu 2014-09-18 19:14:42 JST; 2min 20s ago Main PID: 12972 (code=exited, status=0/SUCCESS) Sep 18 19:14:42 ALT1 systemd[1]: Started Open vSwitch. # ovs-vsctl show 5c682e27-2498-4188-ac25-269cacedbe7f ovs_version: "2.0.0"
  • 11. ネットワーク設定 11 VM1 eth0 vnet0 bridge ovs-vx eth0 NIC VM2 eth0 vnet0 bridge ovs-vx eth0 NIC Point ・ Bridge “ovs-vx”作成 ・ VM1と物理NICのポート接続
  • 12. ネットワーク設定  Bridge作成 & ポート作成  仮想マシンを作成(この時点でNIC設定はデフォルトでOK)  仮想マシン インターフェース設定ファイル編集 (編集後VM起動) 12 # ovs-vsctl add-br ovs-vx # ovs-vsctl add-port ovs-vx enp4s0 # virsh edit <vm名前> 例)変更前 <interface type='direct'> <mac address='52:54:00:e7:26:ea'/> <source dev='ovs-system' mode='vepa'/> <model type='virtio'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> </interface> 変更後 <interface type='bridge'> <mac address='52:54:00:e7:26:ea'/> <source bridge='ovs-vx'/> <virtualport type='openvswitch'/> <model type='virtio'/> <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> </interface>
  • 13. ネットワーク設定  vnet0がovsにタッピングされている 13 [root@ALT1 ~]# ovs-vsctl show daaecc1a-5344-4387-9204-399b101d8b8e Bridge ovs-vx Port "vnet0" Interface "vnet0" Port "enp4s0" Interface "enp4s0" Port ovs-vx Interface ovs-vx type: internal ovs_version: "2.0.0" [root@ALT1 ~]# [root@ALT1 ~]# ovs-dpctl show system@ovs-system: lookups: hit:8320258 missed:41 lost:0 flows: 0 port 0: ovs-system (internal) port 1: ovs-vx (internal) port 2: enp4s0 port 3: vnet0
  • 14. VXLAN offload設定  特になし!  MLNX OFED 2.3.1ではデフォルトでVXLAN offload = enableに なっている  Disableにする場合 14 1. Open the /etc/modprobe.d/mlnx.conf file. 2. Set the options mlx4_core log_num_mgm_entry_size=10. 3. Restart the driver (/etc/init.d/openibd restart)
  • 15. OVS VXLAN設定  OVSのポートは一度削除する  # ovs-vsctl del-port ovs-vx “port名”  ブリッジ作成  先ほどの手順と同様に仮想マシン作成  OVSでVXLANヘッダ50byteが付加されるので、IPフラグメン トを防ぐため物理ホストのMTUを変更(MTU=1550)  Ex) # ip link set enp4s0 mtu 1550 15 # ovs-vsctl add-br ovs-vx # ovs-vsctl add-port ovs-vx vxlan0 -- set interface vxlan0 type=vxlan options:remote_ip=10.0.0.20 options:key=99 options:dst_port=4789
  • 16. OVS VXLAN設定  設定確認 16 [root@ALT1 ~]# ovs-vsctl show daaecc1a-5344-4387-9204-399b101d8b8e Bridge ovs-vx Port ovs-vx Interface ovs-vx type: internal Port "vnet0" Interface "vnet0" Port "vxlan0" Interface "vxlan0" type: vxlan options: {dst_port="4789", key="99", remote_ip="10.0.0.20"} ovs_version: "2.0.0“ [root@ALT1 ~]# ovs-dpctl show system@ovs-system: lookups: hit:439298 missed:34 lost:0 flows: 2 port 0: ovs-system (internal) port 1: vxlan_sys_4789 (vxlan: df_default=false, ttl=0) port 2: ovs-vx (internal) port 3: vnet0
  • 18. Performance 10GE 18 本資料に含まれる測定データは一例であり、測定構成や条件によって変わることがあります。 また、本資料はMellanox Technologies社の公式見解を表すものではありません。 iperf Ver2.0.5 実行例 : # iperf -c 10.0.0.101 -P 4 MTU=1500
  • 19. Performance 40GE 19 本資料に含まれる測定データは一例であり、測定構成や条件によって変わることがあります。 また、本資料はMellanox Technologies社の公式見解を表すものではありません。 iperf Ver2.0.5 実行例 : # iperf -c 10.0.0.101 -P 4 MTU=1500
  • 20. まとめ  OVSのVXLAN通信時、通常時に比べ約1/7性能効率が落 ちる  Mellanox ConnectX-3 ProのVXLAN offload機能を使用す るとオフロード無しに比べ約5.6倍の性能向上が見られ る  その他、VXLAN通信のOffloadによりCPU負荷の低減に も効果がある 20
  • 21. 問い合わせ先 21 ご不明点、ご質問ありましたらご連絡ください。 株式会社アルティマ プロダクトセールス2部 SE担当 北島佑樹 MAIL : mellanox-support@altima.co.jp