1. © CROOZ,Inc. 1
クラウドベース世界配信ゲーム
現実/理想
CROOZ株式会社 田沢 知志

2. CROOZって何やってる会社？
© CROOZ,Inc.
モバイルゲーム/ソーシャルゲームを軸に、
世界中にインターネットサービスを提供する
エンターテインメント企業です。

3. © CROOZ,Inc. 3
目次
・クラウド導入の一般的な考慮点(LAMP環境)
・ストレージI/Oの考慮点
・オンラインゲーム 設計のステップアップ
・最後に

4. © CROOZ,Inc. 4
クラウド導入の
一般的な考慮点
（LAMP環境）

5. © CROOZ,Inc. 5
■ベンチマークの考慮点
•インスタンス性能は3-6か月単位で向上
•複数リージョン、複数インスタンス、
異なる曜日、異なる時間 毎に比較
•重要指標
• DB：ストレージ IOPS、queries/s
• Cache：requests/s
• Web：CPU Load Average、USER使用率

6. © CROOZ,Inc. 6
■スケーラビリティの考慮点
•Web/Cache/DB 基本的にhorizontal scaling
•Web
• 構成済imageからインスタンス起動
•Cache/DB
• sharding/partitioning
• スタンバイ(バックアップ)インスタンスか
らデータをコピーして同期

7. © CROOZ,Inc. 7
■スケーラビリティの考慮点
Master-1 Slave-1a Slave-1x
Slave-1
(standby)・・・
Master-2 Slave-2a Slave-2x
Slave-2
(standby)・・・

8. © CROOZ,Inc. 8
■キャパシティの考慮点
•Web：性能限界のポイント(弊社事例)
• Cache/DB のレスポンス遅延
• ローカルポート不足(デフォルト30000弱)
• ip_local_port_range で 約50000まで拡張
• tcp_max_tw_buckets で time_wait 数を調整
•Cache/DB
• 後程説明します

9. © CROOZ,Inc. 9
■コストの考慮点
•1インスタンスあたりのMaxDAUを想定
• 弊社参考例
•Web(m3.2xlarge) 60,000DAU
•DB(hi1.4xlarge) 120,000DAU
•Cache(m2.4xlarge) 180,000DAU
•想定MaxDAUから必要インスタンス数を算出
• 月額売上の？%をクラウドコスト目標に

10. © CROOZ,Inc. 10
ストレージI/Oの考慮点

11. © CROOZ,Inc. 11
一般的なIOPS
クラウドストレージの特性を考慮すると・・
SAS
15krpm
175 - 300 IOPS
クラウド系
ストレージ
2,000 - 4,000 IOPS
SSD 10,000 - 15,000 IOPS
FusionIO
ioDrive2
150,000 - 200,000 IOPS

12. © CROOZ,Inc. 12
■DBのスケーラビリティ
•IOが弱いのは当然
• innodb_buffer_pool_sizeに乗るDBサイズ
•オンメモリであれば、数Kiops程度
•queries/sの方が限界に達する
• 臨機応変にpartitioning / sharding
• 参照はできるだけCacheへ

13. © CROOZ,Inc. 13
■Cacheのスケーラビリティ
•Cacheの注意点(弊社事例/m2.4xlarge)
• IOPSが問題になることはほとんどない
• redis限界は 50,000requests/s
• メモリをフル活用するために＆保存時のレ
スポンス遅延をなくすために、ストレージ
保存(BGSAVE)させない
•保存用スタンバイインスタンスを用意

14. © CROOZ,Inc. 14
オンラインゲーム
設計のステップアップ

15. © CROOZ,Inc. 15
■オンラインゲームのプロトコルは？
•現時点ではWebsocket
• Java (GlassFish)を選択
•今後は HTTP/2 も検証予定
• 4/3現在 draft11
• 参考
• http://tools.ietf.org/html/draft-ietf-httpbis-http2-11
• https://github.com/http2/http2-spec/wiki/Implementations

16. © CROOZ,Inc. 16
■1st Step USリージョンのみ
全世界からUSリージョンの
Application(Websocket)
サーバーへアクセス
※Latency 1.5s-3s
USリージョンのみに
・Application(Websocket)
・DB/Cache
を配置

17. © CROOZ,Inc. 17
■2nd Step 各リージョンにedgeサーバー
最短のedgeサーバーへア
クセス
edge⇔Appはリージョン間
専用線で接続
※Latency 500ms-1.5s
USリージョンに
・Application(Websocket)
・DB/Cache
各世界リージョンに
・edgeサーバー
を配置

18. © CROOZ,Inc. 18
■3rd Step 各リージョンにDBノード
最短のedgeサーバーへア
クセス
edge⇔Appはリージョン間
専用線で接続
※Latency 500ms-1s
各世界リージョンに
・Application(Websocket)
・DB/Cache
・edgeサーバー
を配置
DBもリージョン間同期

19. © CROOZ,Inc. 19
最後に

20. © CROOZ,Inc. 20
■クラウドの魅力はまだまだたくさん！
•性能、機能は日々進化
• CPU/メモリ/SSDストレージ/etc…
• PaaS機能の充実
•新しいクラウド デザイン パターンの可能性
•さっそく今日から使ってみましょう！