クラウドの組み立て方事始め H/W利用者としての事業者 17 Jan, 2014 SAKURA Internet Research Center Senior Researcher / Naoto MATSUMOTO エンジニアサポートCROSS 2014: http://www.cross-party.com/

1. 17 Jan, 2014
SAKURA Internet Research Center
Senior Researcher / Naoto MATSUMOTO

2. 1ラックあたりの高密度集積化の果てに。
ネットワーク(Mpps)とサーバ(CPU)とストレージ(IOPS)の性能はバランスが大切。

3. 最近の10GbE H/W Offload NIC性能
10GbE H/W Offload vs Softwre Dirver Packet Processing(RX) Graph chart
packet/sec
7.55 Gbit/s
Increasing Short Packet Process Performance
© 2010-2013
Solarflare Communications, Inc.
All rights reserved.
9.07 Gbit/s
1.79 Gbit/s
6.96 Gbit/s
9.40 Gbit/s
8.19 Gbit/s
9.58 Gbit/s
9.01 Gbit/s
Corei7-3930K CPU @ 3.20GHz / 32GB DDR3-DIMM / PCI Express 3.0 using linux standard pkt-gen with NETMAP.
SOURCE: SAKURA Internet Research Center. 05/2013 Project THORN.

4. 40/100GbE Networkingの物理限界
40GE PCI Express Gen2 NIC*
PCIe Gen 2.0 x8 interface, 32Gbps
8b/12b line encoding, 20% overhead, 25.6Gbps
40GE PCI Express Gen 3 NIC*
PCIe Gen 3.0 x8 interface, 1GB per lane or 64Gbps
64/66 line encoding, 3% overhead, 62.0Gbps
100GE PCI Express Gen 3 NIC?**
PCIe Gen 3.0 x16 interface, 128Gbps
64/66 line encoding, 3% overhead, 124.1Gbps
*SOURCE: Evaluation of 40 Gigabit Ethernet technology for data servers . Azher Mughal, Artur Barczyk , Caltech / USLHCNet ,CHEP-2012, New York
**SOURCE: SAKURA Internet Research Center. 08/2013 Project THORN.

5. 最近の10/40GbE NIC性能比較
10/40GbE-NIC 64Byte Short Packet Processing Bechmark (RX)
1.39Gbit/s
Need more Traffic Generators
1.41Gbit/s
2.81Mpps
1.39Gbit/s
2.62Mpps
© Copyright 2013 Chelsio Communications
Corei7-3930K CPU @ 3.20GHz / 32GB DDR3-DIMM / PCI Express 3.0 using linux standard pkt-gen with NETMAP.
Mpps
(Million Packet/sec)
SOURCE: SAKURA Internet Research Center. 12/2013 Project THORN.

6. 3-5年先の100GbE Networkingって？

7. 10/40GbE Networkingの実際
10/40GbE SW
9.61 Gbit/s 820,347 pps(TX)
9.61 Gbit/s 820,304 pps(TX)
10GbE
10GbE
9.61 Gbit/s 820,300 pps(TX)
9.61 Gbit/s 820,301 pps(TX)
10GbE
10GbE
9.61 Gbit/s 820,302 pps(TX)
9.61 Gbit/s 820,302 pps(TX)
10GbE
10GbE
9.61 Gbit/s 820,300 pps(TX)
9.61 Gbit/s 820,352 pps(TX)
10GbE
10GbE 40GbE
<MTU 1500Byte>
Trunk mode
<MTU 1500Byte>
40GbE
9.52 Gbit/s 822,882 pps(RX)
9.52 Gbit/s 822,901 pps(RX)
9.53 Gbit/s 823,345 pps(RX)
9.52 Gbit/s 822,984 pps(RX)
Source: SAKURA Internet Research Center. 05/2013 Project THORN.

8. 最近のストレージ: 容量とIOPSの妥協点
Backup Cycle
Automated Tiered Block Storage Cycle
hit_collecttime 86,400 s
max_age 172,800 s
tier0
SSD.IMG
USER DATA
ext4
cgroup
blkio
F2FS
cgroup
blkio
sdXX
cgroup
blkio
sdXX
Performance Tier
H/W
RAID
(RAID6)
ext4
H/W
RAID
(RAID6)
tier1
max_age 86,400 s
hit_collecttime 43,200 s
SSD.IMG
ext4
cgroup
blkio
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
SDTIERx
SAS.IMG
USER DATA
(backup)
SSD
Capacity Tier
F2FS
cgroup
blkio
sdXX
H/W
RAID
(RAID6)
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
HDD
SDTIERx
SAS.IMG
First I/O throttling
ext4
cgroup
blkio
sdXX
H/W
RAID
(RAID6)
Second I/O throttling
Automated Tiered Storage Architecture for Web Services
Source: SAKURA Internet Research Center 11/2013, Project THORN.

9. 仮想化環境では、当たり前のコト。
物理サーバ
vSwitch
仮想スイッチ
Vyatta vRouter
仮想ルータ
vSwitch
仮想スイッチ
VMware vSphere,
Microsoft Hyper-V
物理サーバ
物理サーバ
物理サーバ
物理サーバ
vSwitch
仮想スイッチ
仮想スイッチ
仮想スイッチ
仮想サーバ
仮想サーバ
仮想サーバ
物理サーバ
物理サーバ
物理サーバ
VP
VPS
VP
SS
VP
VPS
VP
SS
VMware vSphere,
Microsoft Hyper-V
vSwitch
vSwitch
VP
VP
VPS
VP VPS
VP
SS
SS
VP
VP
VPS
VP VPS
VP
SS
SS
物理サーバ
物理サーバ
vSwitch
仮想スイッチ
仮想スイッチ
仮想スイッチ
VP
VPS
VP
SS
VP
VPS
VP
SS
仮想サーバ
仮想サーバ
仮想サーバ
VP
VPS
VP
SS
VP
VPS
VP
SS
VMware vSphere,
Microsoft Hyper-V
vSwitch
vSwitch
VP
VP
VPS
VP VPS
VP
SS
SS
VP
VP
VPS
VP VPS
VP
SS
SS
vSwitch
仮想スイッチ
仮想スイッチ
仮想スイッチ
VP
VPS
VP
SS
VP
VPS
VP
SS
仮想サーバ
仮想サーバ
仮想サーバ
VP
VPS
VP
SS
VP
VPS
VP
SS
vSwitch
vSwitch
VP
VP
VPS
VP VPS
VP
SS
SS
VP
VP
VPS
VP VPS
VP
SS
SS
VP
VPS
VP
SS
VP
VPS
VP
SS
VMware vSphere,
Microsoft Hyper-V
データセンター

10. ハードウェアは基本的に最初から冗長化
INTERNET
NIC
NIC
NIC
NIC
NIC Teaming
NIC Teaming
vSwitch
vSwitch
VR-1
VR-2
vSwitch
vSwitch
133.242.XXX.1/24 eth0
131.242.YYY.1/24 eth1
NIC Teaming
NIC
eth0 133.242.XXX.2/24
eth1 131.242.YYY.2/24
NIC Teaming
NIC
NIC
VMware vSphere,
Microsoft Hyper-V
NIC
NIC
NIC
VMware vSphere,
Microsoft Hyper-V
LAN
NIC
NIC
NIC Teaming
NIC Teaming
vSwitch
vSwitch
VPS-3
VPS-4
131.242.YYY.4/24 eth0
eth0 133.242.YYY.4/24
vSwitch
vSwitch
NIC Teaming
NIC Teaming
NIC
VMware vSphere,
Microsoft Hyper-V
NIC
NIC
VMware vSphere,
Microsoft Hyper-V
NIC

11. 仮想ルータも仮想サーバも当然・冗長化
133.242.XXX.100/24 eth0
cluster mcast-group 239.242.XXX.100
Cluster Group Heatbeat
NIC
NIC
NIC
NIC
NIC Teaming
NIC Teaming
vSwitch
vSwitch
VR-1
VR-2
vSwitch
vSwitch
eth0
eth1
NIC Teaming
NIC
eth1
NIC Teaming
NIC
VMware vSphere,
Microsoft Hyper-V
eth0
NIC
NIC
VMware vSphere,
Microsoft Hyper-V
Cluster Group Heatbeat
133.242.YYY.100/24 eth1
133.242.YYY.200/24 eth1
cluster mcast-group 239.242.YYY.200
Cluster Group Heatbeat
NIC
NIC
NIC
NIC
NIC Teaming
vSwitch
VMware vSphere,
Microsoft Hyper-V
vSwitch
VPS-3
eth0
NIC Teaming
VPS-4
VMware vSphere,
Microsoft Hyper-V
eth0

12. 局舎内の電源喪失以外に止まる要素ナシ
INTERNET
133.242.XXX.100
NIC
NIC
NIC
NIC
NIC Teaming
NIC Teaming
vSwitch
vSwitch
VR-1
VR-2
vSwitch
vSwitch
NIC Teaming
NIC Teaming
NIC
NIC
NIC
VMware vSphere,
Microsoft Hyper-V
NIC
NIC
NIC
VMware vSphere,
Microsoft Hyper-V
131.242.YYY.100
LAN
131.242.YYY.200
NIC
NIC
NIC Teaming
vSwitch
vSwitch
VPS-3
VMware vSphere,
Microsoft Hyper-V
NIC Teaming
VPS-4
VMware vSphere,
Microsoft Hyper-V

13. データセンターにおけるコスト構造例
SOURCE: IDF2013 SANFRANCISCO
EDCS002 - Optimizing Data Center Workloads for the Intel® Xeon® Processor E5 Family

14. 何が大切か？
「何が必要だったかを忘れないこと」
それは本当にアナタにとって、必要なシステムですか？
SAKURA Internet Research Center.