Cephのベンチマークをしました

Ceph をベンチマークしてみました
2014/4/4
Open Programmable Infrastructure Environment
14/04/04
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
1

Cephとは
CephFS
POSIX互換ファイル
システム
Kernel-client及び
FUSE-clientから使
用できる
Librados
C, C++, java,
Python, Ruby, PHP
からRADOSに
アクセスできるAPI
ライブラリ
RADOS
RADOSGW
(RADOS
Gateway)
AWS S3及び
OpenStack SWIFT
互換のREST APIを
提供するhttpプロキ
シ
RBD
(RADOS Block
Device)
Linuxカーネルから
RADOSをブロック
デバイスとして使用
できる
アプリケーションホスト/VM クライアント
Monitor MDSMonitor MDS
OSDOSD
14/04/04
2

CephFS (Posix file system)
kernel
Device driver
vfs
FUSE
File system
ブロック
デバイス
User space
Kernel space
Ceph-fuse
Client
Application
MDS
Monitors
OSDs
vfs
ブロックデバ
イスドライバ
vfs
User space
Kernel space
Ceph-kernel
Client
Application
RADOS
＊CephFSは、現時点(V.0.78)で本番稼働での使用は推奨されていない。
14/04/04
3

Ceph RBD (Block Device)
librbd
vfs
virtio
File system
ブロック
デバイス
物理システム
Application
Monitors
OSDs
vfs
ブロックデバ
イスドライバ
vfs
librados
Application
RADOS
Qemu-kvm-libvirt
librbd
librados
仮想システム
14/04/04
4

Ceph RADOSGW (Object Gateway)
librgw
File system
ブロック
デバイス
Monitors
OSDs
vfs
ブロックデバ
イスドライバ
S3 API
librados
Application
RADOS
＊RADOSGWは、マルチサイト非同期レプリケーションをサポート
httpd
SWIFT API
14/04/04
5

ベンチマーク目的
l  共有ファイルサーバ／VMイメージストアとして、
CephFS／RBDの性能差を検証、Object Storageは
実施しなかった
l  比較のために、ローカルHDDとNFSも検証した
l  限られたHW環境のため、スケールアウトの検証は
行っていない
14/04/04
6

テスト環境
l  HW環境
l  NW環境
l  SW環境
l  CentOS6.5（クライアントのみkernel3.1）
l  Ceph 0.78
環境 HW
NW
ファイルシステム
ローカルHDD
HP ML110 G7
Intel Celeron G530 @ 2.40GHz 1p/2c
HP 250GB SATA disk x1
1Gbps
ext3
NFS
Nfs v4
Ceph
exr4
RTT ms
Mbps
Nuttcpでの計測 0.418
928.5
14/04/04
7

ベンチマークテスト内容
l  クライアントは、KVMホスト上のVMにCephク
ライアントとベンチマークプログラムを配置
l  但し、ローカルHDDのテストのみ物理サーバ
上でローカルに実施
l  Cephクライアントは、CentOSのデフォルト
kernelでは動かないので、3.1に変更
l  ベンチマークプログラムは、fioを使用し、
fabricで自動実行
l  Ceph基本設定
l  pool 2 rbd(Block Device)
l  ceph osd pool set data size 3
l  ceph osd pool set data min_size 2
l  MonitorとMDSは冗長化（３台）しOSDと同居
l  OSDのストライピングは行わない
l  OS/Cephともデフォルト設定で実施し、特別な
チューニングは実施しなかった
Mon
Ceph pool
同期
レプリケーション
MDS
OSD
Mon
MDS
OSD
Mon
MDS
OSD
fio
fabric
Ceph
client
同期
レプリケーション
Kvm host
14/04/04
8

シナリオ1：
DBなどアプリケーションデータランダム W1 : R2  
8KB Block, 64KB File
DBなどアプリケーションデータランダム W1 : R2 8 KB1 Block, 64KB File
シナリオ１ Read KB/s
10並列／10ファイル
シナリオ１ Write KB/s
ローカルファイル２ NFS
1,478 2,162
2,523 2,515
1,220 2,149
1,347 2,315
8,610 2,043
609 890
1,021 1,023
574 997
635 1,065
4,015 969
Ceph_Kernel Driver Ceph_fuse Ceph_Block Device
292 4,223 2,052
252 4,358 1,955
194 2,950 1,172
185 2,690 1,145
197 2,137 1,357
118 1,704 844
102 1,759 807
89 1,357 552
85 1,243 538
92 1,002 646
!"
#$!!!"
%$!!!"
&$!!!"
'$!!!"
($!!!"
)$!!!"
*$!!!"
+$!!!"
,$!!!"
#!$!!!"
#!並列／#!ファイル
#!!並列／#!ファイル
#!!並列／#!!ファイル
#!!!並列／#!!ファイル
&!!並列／&!!ファイル
ローカルファイル２
-./"
01234516718"96:;16"
01234<=>1"
01234?8@AB"91;:A1"
!"
(!!"
#$!!!"
#$(!!"
%$!!!"
%$(!!"
&$!!!"
&$(!!"
'$!!!"
'$(!!"
-./"
01234516718"96:;16"
01234<=>1"
01234?8@AB"91;:A1"
14/04/04
9

シナリオ2：
ログファイルシーケンシャル W1 :R 0  
64KB Block, 1MB File
ログファイルシーケンシャル W1 :R 0 64KB Block, 1MB File
シナリオ２ Write KB/s
9,989 4,843
28,947 4,948
11,298 5,418
35,094 5,451
6,689 4,949
856 66,323 14,622
851 68,183 25,004
670 23,126 11,144
670 25,485 11,369
888 6,274 7,345
!"
#!$!!!"
%!$!!!"
&!$!!!"
'!$!!!"
(!$!!!"
)!$!!!"
*!$!!!"
+!$!!!"
,-."
/0123405607"859:05"
/0123;<=0"
/0123>7?@A"80:9@0"
14/04/04
10

シナリオ3：
オフィスドキュメントランダム W1 :R 2  
64KB Block, 512KB File
オフィスドキュメントランダム W1 :R 2 64KB Block, 512KB File
シナリオ３ Read KB/s
シナリオ３ Write KB/s
11,020 16,204
16,698 16,137
9,033 15,323
8,706 15,596
8,289 15,073
4,447 6,539
6,738 6,511
4,153 7,046
4,003 7,172
3,856 7,012
3,982 18,057 11,920
5,991 17,017 16,246
2,853 7,973 13,333
2,705 9,364 17,985
2,640 6,952 14,455
1,616 7,286 4,810
2,420 6,866 6,556
1,312 3,667 6,131
1,244 4,306 8,270
1,228 3,234 6,725
!"
#$!!!"
%$!!!"
&$!!!"
'$!!!"
(!$!!!"
(#$!!!"
(%$!!!"
(&$!!!"
('$!!!"
#!$!!!"
(!並列／(!ファイル
(!!並列／(!ファイル
(!!並列／(!!ファイル
(!!!並列／(!!ファイル
)!!並列／)!!ファイル
*+,"
-./012.34.5"6378.3"
-./019:;."
-./01<5=>?"6.87>."
!"
($!!!"
#$!!!"
)$!!!"
%$!!!"
@$!!!"
&$!!!"
A$!!!"
'$!!!"
B$!!!"
*+,"
-./012.34.5"6378.3"
-./019:;."
-./01<5=>?"6.87>."
14/04/04
11

シナリオ4：
画像等BLOBデータシーケンシャル W0 : R1  
128KB Block, 10MB File
画像等BLOBデータシーケンシャル W0 : R1 128KB Block, 10MB File
シナリオ４ Read KB/s
27,435 107,686
73,532 108,906
27,958 107,413
60,161 106,828
21,159 21,232
48,937 39,374 106,617
60,726 32,460 110,905
60,049 2,270 100,186
60,761 2,273 99,314
38,913 1,522 76,314
!"
#!$!!!"
%!$!!!"
&!$!!!"
'!$!!!"
(!!$!!!"
(#!$!!!"
*+,"
-./012.34.5"6378.3"
-./019:;."
-./01<5=>?"6.87>."
14/04/04
12

コンテキストスイッチ
s1 s3
s2 s4
!"
#!!"
$%!!!"
$%#!!"
&%!!!"
&%#!!"
'%!!!"
'%#!!"
(%!!!"
(%#!!"
#%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
!"
&%!!!"
(%!!!"
;%!!!"
<%!!!"
$!%!!!"
$&%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
!"
#!!"
$%!!!"
$%#!!"
&%!!!"
&%#!!"
'%!!!"
'%#!!"
(%!!!"
(%#!!"
#%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
!"
#%!!!"
$!%!!!"
$#%!!!"
&!%!!!"
&#%!!!"
'!%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
14/04/04
13

まとめ
1.  CephFS Kernel driverはまだ使えない
2.  Block deviceは検証環境では普通にNFS(１台）並みの性能
1.  1G etherを使い切っている
2.  NW/キャッシングのチューニングでさらに向上が見込まれる
3.  CephFS FUSEは、作成ファイル数が増えるとコンテキストス
イッチが急激に増加しており、ネットワークのボトルネックにより
IOキューに滞っていると考えられる
14/04/04
14

Cephのベンチマークをしました

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Cephのベンチマークをしました

Similar a Cephのベンチマークをしました (20)

Más de OSSラボ株式会社

Más de OSSラボ株式会社 (20)

Último

Último (7)

Cephのベンチマークをしました