2016/03/23 実施された「道玄坂LT祭り "LAST GIGS"」での講演で使った資料です。 https://atnd.org/events/67382

1. 1© Cloudera, Inc. All rights reserved.
クラウド上でのHadoop基盤
とCloudera Director 2.0
嶋内 翔、Cloudera

2. 2© Cloudera, Inc. All rights reserved.
⾃自⼰己紹介
• 嶋内 翔(しまうち しょう)
• テクニカルエバンジェリスト
• 2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社
• お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの
仕事
• email: sho@cloudera.com
• twitter: @shiumachi

3. 6© Cloudera, Inc. All rights reserved.
クラウド上でのHadoopはオンプレとは違う
最適なパフォーマンスのため
の区分化
コスト削減のための⼀一時的ク
ラスタの採⽤用
効率率率性のための、ストレージ
と計算リソースの別個の拡張
Object
Store
STORE
COMPUTE

4. 49© Cloudera, Inc. All rights reserved.
Cloudera Director
クラウド環境にエンタープライズデータハブをもたらす
Cloudera Director とは？
• Cloudera ユーザのためのインスタンスプロビジョ
ニング・管理理ツール
• バッチ処理理のための⼀一時起動、BIのための⻑⾧長期稼
働、業務システムのためのHAクラスタなどを簡単
に構築、管理理可能
柔軟なデプロイ
• AWS と GCPをビルトインでサポート
• Open Plugin Frameworkで任意のクラウド環境に
デプロイ可能
• テンプレートを使ってクラスタを構築可能
簡単な管理理
• ジョブ実⾏行行時の⼀一時的なクラスタ構築
• 複数のクラスタ・環境を1つの画⾯面で管理理可能
• REST API サポート

5. 50© Cloudera, Inc. All rights reserved.
Director クライアント
• サーバなし
• コマンドラインで操作
Director サーバ
• 環境、クラスタなどを⼀一元管理理
• Web UI or コマンドライン
Cloudera Director アーキテクチャ

6. 51© Cloudera, Inc. All rights reserved.
AWS / GCPの選択やリージョンの
選択など、クラウド環境を設定する
複数の環境を同時利利⽤用可能
環境設定

7. 52© Cloudera, Inc. All rights reserved.
• インスタンスタイプなどを設定可
能
• AWSスポットインスタンス・GCP
プリエンプティブルインスタンス
なども設定可
• カスタムAMIも利利⽤用可能
インスタンステンプレート

8. 53© Cloudera, Inc. All rights reserved.
• どのCDHコンポーネントを利利⽤用す
るか選択
• インスタンス数も設定可能
• HAクラスタ、Kerberos 環境など
も設定可能
• 約15-‐‑‒30分ぐらいで構築可能
• カスタムAMIを使うともっと速
い
クラスタ構築

9. 54© Cloudera, Inc. All rights reserved.
複数のクラスタを1つの画⾯面で管理理
可能
ダッシュボード

10. 55© Cloudera, Inc. All rights reserved.
クラスタ稼働中にインスタンス数を
拡張・縮退可能
クラスタの動的拡張・縮退

11. 56© Cloudera, Inc. All rights reserved.
同⼀一のクラスタを作るなら、
「Clone Cluster」で簡単に複製可
能
クラスタの複製

12. 57© Cloudera, Inc. All rights reserved.
• カスタムスクリプト
• インスタンスプロビジョン後の
カスタムパッケージのインス
トール
• CM APIを使った事前設定変更更
• クラスタ停⽌止前のS3へのデータ
コピー
• クラスタテンプレート
• ノードタイプごとに異異なるセ
キュリティグループの設定など
も可能
その他の機能

13. 58© Cloudera, Inc. All rights reserved.
Cloudera Director インストール⽅方法
• qiitaに公開しました
http://qiita.com/shiumachi/items/90649830cb9b45726d99
• 元⽂文書はこちら
http://www.cloudera.com/documentation/director/latest/topics/
director_̲get_̲started_̲aws.html

14. 59© Cloudera, Inc. All rights reserved.
Get
Started
AWS
Reference
Guide
GCP
Reference
Guide
Download
Cloudera
Director
www.cloudera.com/downloads
Try
It
Out
Cloudera
Live
(includes
step-­‐by-­‐step
tutorial)
AWS
Quickstart
Azure
Marketplace
Resources
API
IntegraLon
&
ScripLng
hOps://github.com/cloudera/director-­‐
sdk
hOps://github.com/cloudera/director-­‐
scripts
AddiLonal
Cloud
IntegraLon
hOps://github.com/cloudera/director-­‐spi
hOps://github.com/cloudera/director-­‐
google-­‐plugin

15. 60© Cloudera, Inc. All rights reserved.
Thank
you