More Related Content
Similar to Cloudian update at cloudian seminar 2014 (20)
More from CLOUDIAN KK (20)
Cloudian update at cloudian seminar 2014
- 3. オブジェクトストレージと呼ばれる理由
• フラットなオブジェクト構造
• ネットワーク上の移動や複製が容易 分散型ストレージ
• 階層型ファイルシステムが抱える複雑さや拡張性の問題は存在しない
オブジェクト構造
オブジェクト構造(Cloudian)ファイル構造(従来)
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 3
http://s3.cloudian.com/abc123def4...VolumeA/MyFolder/Favorite/Music VolumeB/John/Music
(HTTP形式のオブジェクトID)
• オブジェクトの移動が自由で柔軟
• オブジェクト毎にメタデータを付与
• オブジェクト毎にアクセスの許可/非許可を設定
• オブジェクト数を無制限に拡張(ディレクトリ
サイズに制限を受けない)
• ユーザー間でオブジェクトの共有が容易
オブジェクト構造の特⻑
- 5. 仮想ストレージ・SDS / BIG DATA ストレージと呼ばれる理由
• 経済的なIAサーバーによるスケールアウト 何台ものIAサーバーを仮想的に
一つの巨大なストレージとして扱うことが可能
• 柔軟な拡張性 最低2台(スモールスタート)から数百台規模(Peta級のBIG
DATA)へ拡張が可能
• 無停止での増設が可能
大規模・スケールアウト
ハードウェアを
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 5
Virtual
Bucket
ハードウェアを
追加することで
簡単にクラスタ
サイズを拡張
論理リング
- 6. S3互換・ハイブリッドクラウドストレージと呼ばれる理由
• アプリケーションやツールをAWSと相互利用 クラウドの使い分け
• データ種別に応じた適正なクラウドへの保存
• パブリッククラウドの特⻑
• 簡単に容量を拡大・縮⼩
• 運用・保守のアウトソーシング
• 必要な容量だけ利用し完全な従量制課⾦
• パブリッククラウドの特⻑
• 簡単に容量を拡大・縮⼩
• 運用・保守のアウトソーシング
• 必要な容量だけ利用し完全な従量制課⾦
• プライベートクラウドの特⻑
• 自社(グループ)内でデータを管理
• データの所在が明確
• セキュリティーの確保が容易
• プライベートクラウドの特⻑
• 自社(グループ)内でデータを管理
• データの所在が明確
• セキュリティーの確保が容易
クラウド間インターフェースの統一
Hybrid
Cloud
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved.
Public
Private
Managed
Private
s3fs
クラウド間インターフェースの統一
S3 API
S3 API
S3 API
S3 API
6
- 7. 広域・分散ストレージと呼ばれる理由
リモート(遠隔地)
データセンター
CoordinatorConsistency Level
• オブジェクトの複製を複数ノードに保存 冗⻑性と高可用性を実現
• いずれかのノードが故障してもサービス継続に影響なし
• 複製数は任意に設定可能
• 複製オブジェクトの地域分散
• ローカルセンターの被災時にリモートからサービス提供
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 7
Remote Replica
Local Replicas
書き込み要求
書き込み
完了通知
リモートデータセンターへの
バックグラウンド書き込み
読み出し
要求
読み出し
オブジェクト
Object
Coordinator
Node
(仮想リング上の
任意のサーバー)
Storage
Nodes
※3複製の例
(複製数は設定可能)
書込完了
①
②
③
①②③ 任意のタイミングで書き込み
完了通知を返信することが設定可能
Network
Consistency Level
の設定が可能
Client
書込要求 複製
複製
複製
ローカル(近傍)データセンター
- 8. Flash,
SSD
Flash,
SSD
SAN,
NAS
SAN,
NAS Object StorageObject Storage
Cloudian のポジショニング
Scale Out / Peta Byte
Scalability / Big DataScalability / Big Data
Scale Up / Tera Byte
Low Price
Bit PriceBit Price
High Price
LatencyLatency
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved.
Low Speed
LatencyLatency
High Speed
Large
Transaction VolumeTransaction Volume
Limited
Remote
AccessAccess
Local
Capable
Robustness / DRRobustness / DR
Limited
8
- 11. Cloudian の新機能
June 2, 2014 Page 11© Copyrights 2010-2014 Cloudian KK. All rights reserved.
Cloudian セミナー 2014
- 12. Cloudian HyperStore 4.0
Mgmt ConsoleMgmt Console
Web GUIWeb GUI
S3 APIS3 API Mgmt APIMgmt API
S3 Client /
Application
S3 Client /
Application
CMC
S3
マルチストレージ空間のサポート
HyperStore 4.0
Cloudian の
アーキテクチャ
Cloudian
NOSQL
Database
NOSQL
Database
ReplicateReplicate
HyperStore 4.0 Multi-StorageHyperStore 4.0 Multi-Storage
Auth.Auth.
S3 APIS3 API Mgmt APIMgmt API
Erasure
Coding
Erasure
Coding
Hybrid Cloud
HyperStore 4.0 CoreHyperStore 4.0 Core
S3
マルチストレージ空間のサポート
オブジェクトに最適なストレージ
空間を選択可能
AWS S3 / Glacier の
併用によるプライベート
クラウドとパブリックク
ラウドのハイブリッド化
を実現
File SystemFile System
新たに Erasure Coding
に対応
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 12P12
- 13. Erasure Coding(イレージャー・コーディング)
• ストレージ効率の大幅改善 2倍の容量 ※3複製の場合
• 2台のサーバーが故障してもデータの保障が可能
• パフォーマンスとのトレードオフ アーカイブに最適
Replication 方式
3複製を3台のサーバーに配置
※3複製の場合
オーバーヘッドが 1/4
Parity1
Parity2
Erasure Coding 方式
4分割+2パリティーを6台のサーバーに配置
※3複製の場合:最小構成でも6台のサーバーが必要
バケット単位で選択が可能
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 13P13
- 14. Hybrid Cloud AWS Tiering
• AWS S3/Glacierへの自動階層化(Auto-Tiering)機能
オンプレミス
S3
GlacierS3S3 Client /
Application
パブリック
クラウドの併用
S3 S3
Tiering
Glacier
Tiering
No Tiering
(Default)
S3
利用例:
1. 使用頻度の⾼いデータ オンプレミス Cloudian
2. バースト時(一時的に容量が⾜りなくなった場合) S3 / Cloudian
3. 使用頻度が低い⻑期保存データ Glacier
Tiering
Cloudian
Tiering
S3
バケット単位で設定
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 14P14
- 16. 製品展開
• パッケージソフトウェア
• プロバイダー市場向け
• IAサーバー上で構築
• 高い自由度
• アプライアンス
• エンタープライズ市場向け
• ターンキー
• ベストチューニング
• フレックスストア ブランド
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 16
- 17. FlexStore のラインナップ
• CMS Reference Models
サービス事業者用ラインナップ
データセンター向け
エンタープライズ用ラインナップ
オンプレミス向け
1U 2.5”-12Drive
(24TB)
SW RAID 0/LVM
2U 3.5”-12Drive
(24TB)
HW RAID 5/6
2U 2.5”-24Drive
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 17
1U+4U 2.5”/3.5”
-60JBOD
(120TB)
HW RAID 5/6
2U 3.5”-12Drive
(24TB)
HW RAID 5/6
2U 2.5”-24Drive
(24TB)
HW RAID 5/6
2U 2.5”-24Drive
(48TB)
HW RAID 5/6
2U 3.5”-12Drive
(24TB)
HW RAID 5/6
- 18. Coming Soon !
• TomorrowNet Reference Models
SMB 向けエントリーモデル
2 x 2.5” (2TB)
SW RAID 1
4Core 16Gb
• 事業所それぞれに分散配置
• 事業所間でレプリカを持ち合い
自動バックアップおよびDR対策
が可能
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 18
4Core 16Gb
• 特 ⻑
• 柔軟な拡張性
• 自動レプリケーション
• 分散配置
• DR、堅牢性
• リモートアクセス
• 充実した管理者機能
が可能
• マルチテナント機能によって事
業所個別管理および事業所間
ファイル共有が柔軟に⾏える
• 設置および増設が簡単
• クライアントバックアップ、
アーカイブ、ファイルシェアな
ど充実したアプリケーションの
利用が可能
- 19. Cloudian のユースケース
プロバイダー市場、エンター
プライズ市場の両方に対応
バックアップバックアップ ファイル共有ファイル共有S3 S3
オンライン
ストレージ
STaaS
オンライン
ストレージ
STaaS
Public CloudPublic Cloud
Private CloudPrivate Cloud
With S3With S3
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 19
アーカイブ
(eメール等)
アーカイブ
(eメール等)
クラウド統合型
ストレージ
ゲートウェイ
クラウド統合型
ストレージ
ゲートウェイ
S3 S3
クラウドコン
ピューティングの
2次ストレージ
クラウドコン
ピューティングの
2次ストレージ
Public CloudPublic Cloud
Private CloudPrivate Cloud
Hybrid CloudHybrid Cloud
Cloud Computing
With S3With S3
EcosystemEcosystem
- 20. 最近注目される動向:IoT / M2M
データ収集
WARNING
リアルタイム
モニタリング
アラート送信
外部システム
他システム連携
検 索
分析結果参照
データ収集
BIG DATA 書き込み書き込み 保存保存 読み出し読み出し 加工 / 分析
Post-processing
加工 / 分析
Post-processing
前処理
Pre-processing
前処理
Pre-processing
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 20
データ収集 他システム連携データ収集
イベント処理基盤 ビッグデータストレージ基盤 大規模データ分析基盤
各種⼊⼒ I/F各種⼊⼒ I/F 各種出⼒ I/F各種出⼒ I/F
CEP エンジンCEP エンジン
フィルタ
リング
フィルタ
リング
監視 /
判断
監視 /
判断
集 約集 約
リアルタイム監視 / 分析
CEP: Complex Event Processing
非構造化データの蓄積
(オブジェクトストレージ)
大規模データ分析
(バッチ処理)
大規模データ分析
(バッチ処理)
各種検索各種検索 各種分析各種分析
データ分析・ストレージ基盤(クラウド)
BIG DATA
- 21. 最近注目される動向:O2O(Online to Offline)
店舗・施設・イベント会場への接近
GPS / Beacon / WiFi
ソーシャルメディア
からの情報
リアル
誘導
リアル
誘導
スマートデバイス
アプリ・メール
による通知
商品・在庫、キャンペーン、
クーポン、購買などの情報
リアルタイム情報 バッチ情報
June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 21
イベント処理基盤 ビッグデータストレージ基盤 大規模データ分析基盤
各種⼊⼒ I/F各種⼊⼒ I/F レコメンドレコメンド
CEP エンジンCEP エンジン
フィルタ
リング
フィルタ
リング
監視 /
判断
監視 /
判断
集 約集 約
リアルタイム監視 / 分析
CEP: Complex Event Processing
非構造化データの蓄積
(オブジェクトストレージ)
大規模データ分析
(バッチ処理)
大規模データ分析
(バッチ処理)
レコメンドレコメンド 各種分析各種分析
データ分析・ストレージ基盤(クラウド)
BIG DATA
- 22. Thank You!
June 2, 2014 Page 22© Copyrights 2010-2014 Cloudian KK. All rights reserved.
Cloudian セミナー 2014