More Related Content
Similar to Cloudera Manager 4 の紹介 (20)
More from Cloudera Japan (20)
Cloudera Manager 4 の紹介
- 2. アジェンダ
• Cloudera Manager 概要
• Cloudera Manager Free Edition
• Service and Configuration Manager
• Cloudera Manager API
• Cloudera Manager Enterprise Edition
• Service Monitor
• Host Monitor
• Activity Monitor
• Report
• Cluster Stats
- 4. CDH4 + Cloudera Manager 4.0:
エンタープライズの要件とは…
1 4
他のITとの統合
高可用性
2 セキュリティ
5
設定と構築の単純化
3 6
スケーラビリティと拡張性
グローバルサポートとサービス
- 6. Cloudera Manager(以下CM) とは？
• CDHを1つのシステムとして扱い、あらゆる構
築・運用のシナリオを統一されたインタフェー
スから行うための運用管理ツール
• 分散システムの熟知やコンポーネントの相互
依存性などのCDHの運用・構築に必須の知
識を必要としない
- 7. アーキテクチャ
• 集約型管理サーバ
• 全デーモンとサービスの設定情報を管理
• サービスと設定の作成・管理をするためのWeb
UI を提供
• エージェントは全てのノードで稼働
• エージェントはHadoopの起動・停止に責任を持
つ
• サーバから指示されたコマンドを実行する
• デーモンのログへのアクセス手段を提供する
- 8. CM なしの CDH
DN/RS/NM
DN/RS/NM
NN
DN/RS/NM
DN/RS/NM
RM
DN/RS/NM
DN/RS/NM
管理者
HMaster
DN/RS/NM
DN/RS/NM
Hue
DN/RS/NM
DN/RS/NM
DN/RS/NM
DN/RS/NM
- 9. CM 導入後
CDH
クラスタ
DN/RS/NM
DN/RS/NM
NN
DN/RS/NM
DN/RS/NM
Cloudera
RM
DN/RS/NM
DN/RS/NM
Manager
管理者
HMaster
DN/RS/NM
DN/RS/NM
Hue
DN/RS/NM
DN/RS/NM
DN/RS/NM
DN/RS/NM
CMエージェント
- 11. Hadoopクラスタを同じように考える
CDH
クラスタ
DN/RS/NM
DN/RS/NM
NN
DN/RS/NM
DN/RS/NM
Cloudera
RM
DN/RS/NM
DN/RS/NM
Manager
管理者
HMaster
DN/RS/NM
DN/RS/NM
Hue
DN/RS/NM
DN/RS/NM
1ノード壊れてもサービス継続
DN/RS/NM
DN/RS/NM
サーバ故障が致命的な問題に
CMエージェント
ならない
- 12. Cloudera Manager 構成図
管理PC
DN/RS/NM
DN/RS/NM
管理者はwebブラウザで
CMにアクセス
スイッチ
DN/RS/NM
DN/RS/NM
DN/RS/NM
DN/RS/NM
CM
DN/RS/NM
DN/RS/NM
スイッチ
DN/RS/NM
DN/RS/NM
設定情報やログ等は
DN/RS/NM
DN/RS/NM
DB
DBに保存
- 13. CM 基本用語
• サービス
• 一つの処理のために協調稼働するデーモン群の単
位
• 例: HDFS, MapReduce, HBase
• ロール
• あるサービスを稼働させるにあたってホストに割り当
てられた役割
• 例: NAMENODE, DATANODE
• コマンド
• サービスを動作させるために管理者が実行する処理
• 例: 起動/停止、HDFSのフォーマット
- 18. CM Free Edition
• ウェブサイトから自由にダウンロード可能
• 監視、アラート、イベント、ログ検索、
Kerberosサポートはありません
• 50ホストまで管理可能
• ライセンスキーでアップグレード可能(要再起
動)
- 19. Free Edition と Enterprise Edition の違い
Free
Edi*on
Enterprise
Edi*on
サービス管理
◯
◯
設定管理
◯
◎(バージョン管理可能)
CDH一括インストール
◯
◯
API
◯
◯
管理ノード数制限
50ノードまで
無制限
監視機能
-‐-‐
◯
セキュリティ機能
-‐-‐
◯
イベント機能
-‐-‐
◯
入手方法
無償でDL可
Cloudera
Enterprise
サブス
クリプションがあれば誰で
も利用可
- 21. SCM
• Service and Configuration Manager (サー
ビス・設定マネージャ)
• プロセスの起動・停止を行う
• 設定の管理、配布を行う
• Free Edition ではほぼ全機能が使用可能
• 設定のバージョン管理機能のみEnterprise専用
(後述)
- 29. クライアント設定管理
• クライアント = サービスを利用するためにアク
セスするノード
• CM4からGUIで管理・自動配布できるように
なった
• CM3ではxmlファイルの生成のみ
• クライアント上のユーザは環境変数等の設定
なしでクラスタにアクセス可能
• そのサービスのロールを持つ全ホストからア
クセス可能
- 37. Cloudera Manager API
• Cloudera Manager を REST 経由で管理す
るための API
• HTTPベーシック認証を使う
• JSONでデータの送受信を行う
• github で Python クライアントライブラリを公
開中 (Apache License)
• http://cloudera.github.com/cm_api/
- 39. 例:クラスタのリスト
$ curl -u "admin:admin" http://$CM/api/v1/clusters
{
"items" : [ {
"name" : "Cluster 1 - CDH4",
"version" : "CDH4"
}, {
"name" : "Cluster 2 - CDH3",
"version" : "CDH3"
} ]
}
- 40. 例:コマンドの実行
$ curl -X POST -u admin:admin 'http://$CM/api/v1/clusters/Cluster%201%20
-%20CDH4/services/my_hbase/commands/hbaseCreateRoot'
{
"id" : 142,
"name" : "CreateRootDir",
"startTime" : "2012-05-06T20:56:57.918Z",
"active" : true,
"serviceRef" : {
"serviceName" : "my_hbase",
"clusterName" : "Cluster 1 - CDH4"
}
}
- 42. Enterprise Editionとは？
• CM Free Edition に、監視やログ検索、
Kerberos認証などエンタープライズ領域にお
いて必須の機能を追加したもの
• サブスクリプションをご購入いただいたお客様
なら自由に利用できます
- 43. Cloudera
Manager
Free
Edi*on
Cloudera
Manager
Ent.
Edi*on
自動構築
Yes
Yes
API
Yes
Yes
サービス及び設定管理
HDFS,
MapReduce,
MR2,
HBase,
Hue,
Oozie,
Zookeeper
の管理
Yes
Yes
高可用性と名前空間管理のサポート
Yes
Yes
設定の自動化
Yes
Yes
クライアント設定管理
Yes
Yes
監査と追跡
Yes
Yes
追加/再起動/デコミッションロールインスタンス
Yes
Yes
設定のバージョン管理
Yes
サービス監視
プロアクティブ・ヘルスチェック
Yes
ステータスサマリー
Yes
ヒートマップと性能監視
Yes
ホスト監視
セキュリティ
Free
Yes
LDAP
認証
Yes
Kerberos
設定
Yes
マルチクラスタ管理
Yes
インテリジェント・ログ管理
Yes
イベントマネジメントとアラート
アクティビティ監視
Enterprise
Yes
Yes
運用レポート
Yes
ファイルブラウザとクォータ管理
Yes
グローバルタイムコントロール
Yes
サポート統合
Yes
- 45. サービスモニタ
• サービスの状態をグラフィカルに監視する機
能
• 表示できる情報はサービスによって異なる
• HDFS: IO, 壊れたレプリカ数, etc
• MapReduce: Map数, Reduce数
• アラートなどもリンクつきでモニタに表示
• クリックすると詳細ページに飛ぶ
- 55. ホストモニタ
• ホストに関する情報を管理・監視できる
• IPアドレス、ホスト名、ラックID
• CPUコア数、メモリ量などのハードウェア情報
• ロードアベレージ
• ホストインスペクタにより、ホストレベルでのヘル
スチェックが可能
• 障害の原因として頻出のホスト名設定ミスなど
- 88. サポート連携: Cluster Stats
• ユーザはボタン一つでクラスタの情報をzip形式に圧縮できる
• クラスタ情報の一例
• ログ
• 設定
• メトリクス
• イベント
• ホスト情報
• 自動アップロード、自動定期アップロードが可能
• 自動送信はデフォルトで無効
• ユーザはzipファイルをダウンロード可能
- 91. Cluster Stats 結果(jsonで保存)
{
"load_avg" : [ 4.11, 2.68, 1.31 ],
"physical_memory_total" : 6260060160,
"physical_memory_used" : 3595923456,
"virtual_memory_total" : 2097434624,
"virtual_memory_used" : 86016,
"mountpoint_available_space_bytes" : {
"/" : 205013987328,
"/boot" : 85797888
}
}
- 94. Thank ご質問はこちら:
You! info-jp@cloudera.com
03(6228)7930
cloudera.co.jp
twiVer.com/
ClouderaJP
facebook.com/
cloudera
