俺の Munin がこんなに軽いわけがない #監視ツール勉強会

こんな
ore no munin ga konna ni karui wake ga nai

わけない

Masahito Zembutsu ( Munin User Group Japan )
Twitter: @zembutsu
Jun 6, 2012 #監視ツール勉強会

Cacti の勉強会だった、ような……

ごめんなさいごめんなさいごめんなさいごめんなさ
めんなさめんなさめんなさめんなさ
いごめんなさいごめんなさいごめんなさいごめんな
さいごめんなさいごめんなさいごめんなさいごめん

Munin 1 x / 2.0 review
1.x 2 0
I Think Its New Features Are Truly Wonderful

Masahito Zembutsu ( Munin User Group Japan )
Twitter: @zembutsu
Jun 6, 2012 #監視ツール勉強会
6 #監視ツル勉強会

＼ /
＼丶 i. | / ./ ／
＼ヽ i. .| / / ／

私は誰？
＼ヽ i | / / ／
＼
-‐
ー
_＿わたしです --
二／￣＼＝二
Zembutsu Masahito ￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-
• 前佛雅人 @zembutsu ／
/ ヽ＼
／丶＼
– Solutions Engineer ( 萌えるSE ) ／
／
/
/
/
/ |
|
i,
i,
丶
丶
＼
＼
• インフラエンジニア的な仕事メイン
• 技術者に安心と休息を提供するサービス追求(運用/監視/自動化)
– オープンソース系・クラウド系コミュニティ活動
• http://pocketstudio.jp/log3/
p p jp g

• 主な職歴
– 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート
– 2008年 5月∼ 社内ネットワーク保守・通常運用
– 2010年11月∼ 一次＆二次エスカレーション対応
– 2012年 7月∼ とあるデータセンタ内での運用・開発・対応等々 ←New!

＼ /
＼丶 i. | / ./ ／
＼ヽ i. .| / / ／

私は誰？
＼ヽ i | / / ／
＼
-‐
ー
_＿わたしです --
二／￣＼＝二
Zembutsu Masahito ￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-
• 前佛雅人 @zembutsu ／
/ ヽ＼
／丶＼
– Solutions Engineer ( 萌えるSE ) ／
／
/
/
/
/ |
|
i,
i,
丶
丶
＼
＼
• インフラエンジニア的な仕事メイン
• 技術者に安心と休息を提供するサービス追求(運用/監視/自動化)
– オープンソース系・クラウド系コミュニティ活動
• http://pocketstudio.jp/log3/
p p jp g

• 主な職歴
– 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート
– 2008年 5月∼ 社内ネットワーク保守・通常運用
– 2010年11月
2010年11月∼ 一次＆二次エスカレーション対応
次＆二次エスカレション対応
– 2012年 7月∼ とあるデータセンタ内での運用・開発・対応等々

を捌く
Ops的、何か
Ops的何か

DevOps!

Muninとは？
• リソース変動の監視ツール
– http://munin-monitoring.org/
p g g

• シンプルかつパワフルな設計志向
– クライアント・サーバ型
• munin-master … データ蓄積とグラフ描画
• munin-node (client) …データ収集 ( プラグイン実行)

• 豊富なプラグイン
– 標準で CPU ・メモリ・ディスク・トラフィック等
各種の指標を取得できる。

• オープンソース
– GNU GPL version 2

Screenshot

http://demo.munin.jp/

私、樹になります！

比較
• PHP • Perl
• RRDtool • RRDtool
• MySQL
• http://www.cacti.net/ • http://munin-monitoring.org/
Cacti is a complete network graphing solution Munin is a networked resource monitoring tool

• 通知：http://cactiusers.org/ • 通知：なし（機能連携可）
• ユーザ管理：あり • ユーザ管理：なし
• エージェント：不要(snmp) • ジト必要
エージェント：必要
• グラフテンプレート：あり • グラフテンプレート：なし
• 設定 GU
設定：GUI • 設定：CUI
• API：あり • API：なし

• デフォルトですぐ使える
• 無駄に豊富なプラグイン
https://github.com/munin-monitoring/contrib/tree/master/plugins

Cacti のテンプレート= Munin のプラグイン

Munin アーキテクチャ
CGI がデータのリクエスト
ユーザは HTTP 経由で
ザは
画像データ生成 Munin のグラフを参照

munin-master

RRD 形式のデータ(バイナリ)で cron で、5分に1回、データを取得
、分回、デタを取得
データを保管
デタを保管

Port: 4949 (TCP) Port: 4949 (TCP)

munin-node
munin node munin-node
munin node
(daemon) (daemon)
プラグインがデータを取得

新機能はとっても嬉しいなって
• Munin 2.0 ( stable ) 2012/05/30 Release

• 拡張性を意識した、アーキテクチャ
拡張性を意識した、アキテクチャ
– munin-node が増えても負担になりにくい
– グラフのズミング機能
グラフのズーミング機能
– 動的なグラフの生成
– プラグインのステートフル対応（データ保持）

• Native SSH も非同期通信もあるんだよ
– Munin 2.0(stable)登場☆新機能はとってもうれしいなって（第1回）
http://pocketstudio.jp/log3/2012/06/04/new-features-of-munin2/

ローカルnodeと向き合えますか？
ロカル d と向き合えますか？
2.0からは行けます！

Munin-master

Port: 22 (TCP) SSH
Munin-node αのスプール済みデータ
/var/opt/munin/spool/xxx を munin-masterに返
す
eth0 (WAN) munin-async-client
Munin-node α

Munin-node β

eth1 (LAN) Port: 4949(TCP)
munin-async-server
Munin-node β の munin-node から取得した
データを /var/opt/munin/spool/xxx に保管する

事例
• Cacti • Munin
– デタセンタ内の
データセンタ内の – リモトからの
リモートからの
運用チーム運用チーム

とあるホスティングでは、データセンタ運用チームは Cacti を、リモート運用は
Munin を使っています.その他、Nagios ベースのツールも併用しています。

こんなの絶対おかしいよ
• Munin の残念な所
– ユーザ管理機能が無い
ザ管理機能が無い
– 稀にデータが飛ぶ (60秒間隔にした時)
稀にデタが飛ぶ
– 設定は、全てコマンドライン
– 重い → 2.0 から改善！
– 日本語非対応
//／／／／／／, ‘’“ ヽﾐ川川
|//／／／／, ‘” ’,川川
川/////,
川///// ‘“,,,,,,,,,,,,,,,, r
r’‘”’,川||
川||
川f 川f´ ,ィ::ﾗ‘,川うわっ…サーバの空きリソース少すぎ…？
川ﾍ | 弋て::> ￣ ’,ﾘ
川ﾍ.__ ヽ／７! （稼働29日目 MySQLサーバさんの場合）
川川ﾍ _,. ' ''"´y' //
'-‐'' '
川川ﾘﾍ , '´ __,,,／ / /
川川川|/ '"´ , '´ /||
川川川| /川

もう誰にも頼らない
• 自作プラグインが作りやすいです
– スクリプトが値を返す、シンプルなもの
• Bash, perl , ruby, PHP, C なんでもおｋ

• こんなの作りました
– AWS 料金表示プラグイン
• AWS利用料金グラフ化Muninプラグインを書いてみた（＾ω＾）
http://pocketstudio.jp/log3/2012/05/21/aws-estimated-charge-munin-plugin/

– 電力会社の発電量使用率プラグイン
電力会社の発電量・使用率プラグイン
– 放射線レベル表示プラグイン
–iioDrive metrics 表示プグイ (作成中)
i i 表示プラグイン(作成中)

もう障害も怖くない
• ツールにたよらない場合
– 各種ログの調査コマンド実行(sysstat等)
各種ログの調査、コマンド実行(sysstat等)
– 人の手が掛かり、時間もかかる←致命的

• Munin があれば…
– サーバにログインしなくとも、状況把握
– 視覚的に比較できるので、異常値検出が用意
– 迅速な対応が可能
• 障害対応の Plan-Do-Check-Action (PDCA)

障害対応PDCA

円環の理
の予感！！

／人◕ ‿‿ ◕人＼

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼

障害状況の把握 ||
||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 /つ_,∧ 〈（ﾟдﾟ）
||
| |＿＿＿＿ヽ
| （__人__丿 .....:::::::::::::::::::/
.....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！
|＼ | :::::::::::::::::::::::|
＼＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/
と/￣￣￣/ |/
￣＼/＿＿＿/

障害対応PDCA

円環の理
の予感！！

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼

||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
||
| |＿＿＿＿ヽ
| （__人__丿 .....:::::::::::::::::::/
.....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！
|＼ | :::::::::::::::::::::::|
＼＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/
と/￣￣￣/ |/
￣＼/＿＿＿/
障害個所推測
Do
障害対応PDCA 実行
円環の理＿＿＿ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣
/ ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、
| ||＿＿|| ＜丿 | どこが障害ポイントなんだ？
の予感！！ |
|￣￣＼三⊂/￣￣￣/ ＼
＼三 / / ＼＿＿＿＿＿＿＿＿＿＿＿
| | ( ./ /
, ﾉ）
ﾉ)ノ,(ノi
( (ノし
┐) ∧,∧ ﾉ
..|( ( ....:::::::) (
￣⊂/￣￣7 ) ヽ lヽ lヽ
⊂/ 7 lヽ,,lヽ
（/ 川口 /ﾉ (
￣TT￣と、

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼

||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
||
| |＿＿＿＿ヽ
| （__人__丿 .....:::::::::::::::::::/
.....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::|
＼＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/
と/￣￣￣/ |/
￣＼/＿＿＿/
障害個所推測
Do
障害対応PDCA 実行
円環の理＿＿＿ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣
/ ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、
の予感！！ |
|￣￣＼三⊂/￣￣￣/ ＼
＼三 / / ＼＿＿＿＿＿＿＿＿＿＿＿
| | ( ./ /
, ﾉ）
ﾉ)ノ,(ノi
( (ノし
,. --‘’‘’‘“”¨¨¨ヽ
(.＿＿_,,,... -ｧァﾌ| あ…ありのまま今 Munin で見た事を試すぜ！
┐) ∧,∧ ﾉ
|i i| }! }} /／| ..|( ( ....:::::::) (
|l､{ j} /,,ｨ//｜『おれはfontentの鯖でnginxを確認していたと
i|:!ヾ､_ﾉ／ u {:}//ﾍ思ったらいつのまにかMySQLだってた』￣⊂/￣￣7 ) ヽ lヽ lヽ
⊂/ 7 lヽ,,lヽ
|ﾘ u' } ,ﾉ _,!V,ﾊ |
／´fト､_{ﾙ{,ィ'ｅﾗ , ﾀ人
/' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝ
な… 何を言ってるのかわからねーと思うが
おれも何をされたのかわからなかった…
Check （/ 川口 /ﾉ
￣TT￣
(
と、
,ﾞ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉
|／_／
|／／ﾊ !ニ⊇ '／:} V:::::ヽ／:} 頭がどうにかなりそうだった…
頭がどうにかなりそうだった評価
/／二二二7'T'' ／u' __ /:::::::/｀ヽ
/'´r -―一ｧ-ﾞＴ´ '"´ ／::::／-- ＼ ioDriveだとか超スピードだとか
/ // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽそんなチャチなもんじゃあ断じてねえ
グラフやサービス状況確認
／人◕ ‿‿ ◕人＼ﾉ ' / ノ:::::`ー-､___／:::::／/
_／｀丶 /::::::::::::::::::::::::::￣`ー-{:::...
ヽ }
ｲもっと恐ろしいものの片鱗を味わったぜ…

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼

||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
||
| |＿＿＿＿ヽ
| （__人__丿 .....:::::::::::::::::::/
.....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::|
＼＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/
と/￣￣￣/ |/
￣＼/＿＿＿/
＼ｷﾀｰ／障害個所推測

（
∧＿∧ ||ヽ、
∧ ∧ ￣||ヽ
） ||＿| Do
（＿＿つ三_ | ｶﾀｶﾀ障害対応PDCA 実行
/＿＿ヽ） || || ｶﾀｶﾀ
/ ヽ）
＿||＿J || || 円環の理＿＿＿ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣
/ ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、
の予感！！ |
|￣￣＼三⊂/￣￣￣/ ＼
＼三 / / ＼＿＿＿＿＿＿＿＿＿＿＿
| | ( ./ /

Action , ﾉ）
ﾉ)ノ,(ノi
改善 ( (ノし
,. --‘’‘’‘“”¨¨¨ヽ
(.＿＿_,,,... -ｧァﾌ| あ…ありのまま今 Munin で見た事を話すぜ！
┐) ∧,∧ ﾉ
コマンド実行 |i i| }! }} /／| ..|( ( ....:::::::) (
|l､{ j} /,,ｨ//｜『おれはfontentの鯖でnginxを確認していたと
i|:!ヾ､_ﾉ／ u {:}//ﾍ思ったらいつのまにかMySQLだってた』￣⊂/￣￣7 ) ヽ lヽ lヽ
⊂/ 7 lヽ,,lヽ
|ﾘ u' } ,ﾉ _,!V,ﾊ |
／´fト､_{ﾙ{,ィ'ｅﾗ , ﾀ人
/' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝ
な… 何を言ってるのかわからねーと思うが
おれも何をされたのかわからなかった…
Check （/ 川口 /ﾉ
￣TT￣
(
と、
,ﾞ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉
|／_／
|／／ﾊ !ニ⊇ '／:} V:::::ヽ／:} 頭がどうにかなりそうだった…
頭がどうにかなりそうだった評価
/／二二二7'T'' ／u' __ /:::::::/｀ヽ
/'´r -―一ｧ-ﾞＴ´ '"´ ／::::／-- ＼ ioDriveだとか超スピードだとか
/ // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽそんなチャチなもんじゃあ断じてねえ
グラフやサービス状況確認
／人◕ ‿‿ ◕人＼ﾉ ' / ノ:::::`ー-､___／:::::／/
_／｀丶 /::::::::::::::::::::::::::￣`ー-{:::...
ヽ }
ｲもっと恐ろしいものの片鱗を味わったぜ…

結論
Munin（＾ω＾）ﾍﾟﾛﾍﾟﾛ ←
（）
この短期間でここまでトラブルシュートの精度が上げられる機動力。
短ブ精度がげ機動力

まったく、Muninは最高だぜ!!
まとめ（今北産業向け）

・Munin は、リソース推移変化をグラフで見る＝視覚による「気づき」に特化。
・シンプルな構成、豊富なプラグイン。
・短時間に PDCA を回すシステム（W b 系サビス）に最適である
短時間にを回すシステム（Web 系サービス）に最適である。

―Don't forget. always, somewhere,
someone is fighting for you.
―As long as you remember her.
you are not alone.

忘れないで、いつもどこかで誰かがあなたの為に戦っている。
彼女を覚えている限り、あなたは一人じゃない。
（
（出典：魔法少女まどかマギカ最終話「わたしの、最高の友達」）
魔最最達

Muninにありがとう
MRTGとSNMPにさようなら

わたしの、最高の運用支援ツール Munin

次回予告

俺のMunin紹介が
俺のM i 紹介が
で終わるわけがな
これで終わるわけがない
TRUE ROUTE

続きはウェブで！
http://munin.jp/ (予定)

Questions?
• もう少しkwsk訊きたい所はありますか？

／￣＼
| |
＼＿／
|
／￣￣＼
／＼／＼
／ ⌒ ⌒ ＼よくぞ訊いてくれた
| （__人__） | 褒美としてオプーナを買う権利をやる
＼｀ ⌒´ ／ ☆
/ヽ､--ー､＿＿,-‐´ ＼─／
／ > ヽ▼●▼<＼ ||ｰ､
/ ヽ､＼ i |｡| |/ ヽ (ニ､｀ヽ
.l ヽ l |｡| | ｒ-､y ｀ﾆﾉ＼
l | |ー─ | ￣ l ｀~ヽ＿ノ＿＿＿_
／
／￣￣￣￣ヽ-'ヽ--' ／オプナ／|
' ' オプーナ
.|￣￣￣￣￣￣|／| |￣￣￣￣￣￣|／| ＿＿＿＿＿＿
／￣オプーナ／| ￣|__」／_オプーナ／|￣|__,」＿＿_ ／|
|￣￣￣￣￣|／オプーナ￣／￣￣￣￣|／オプーナ／| ／ .|
|
|￣￣￣￣￣|￣￣￣￣￣|／l￣￣￣￣|￣￣￣￣￣|／ | ／
| |／l | |／
|￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣|

References
• Website
– Munin developer s site
• http://munin-monitoring.org/
p g g

– Waiting for Munin 2.0 ‒ Introduction ‒ Personal Workflow Blog
• http://blog.pwkf.org/post/2010/06/Waiting-for-Munin-2.0-Introduction

– /tags/2.0.0/ChangeLog ‒ Munin ‒ Trac _ , - _ ,. _
• http://munin-monitoring.org/browser/tags/2.0.0/ChangeLog ,. ´ ｀､ _,. ---
,＜＼／
／､＼／
• Inspiration for slides / / ＼ y 仲
– http://ja.wikipedia.org/wiki/魔法少女まどか☆マギカ / /､ヽヽヽ / ふ
– http://ja.wikipedia.org/wiki/俺の妹がこんなに可愛いわけがない / / / / / ヽ ', ﾊ ∨ 間
,' , i i| ｨ' / ｀ ' 丈 _ }
' | ' ', }! i え
,､ , { i |ィ匕´ｲ/ ', ! ヽ｀大ｰ i | が
• Community f,｀ヽ / ', j ﾊ ! .! !| /ﾚﾘ-ﾏﾘ- ﾊ | ﾊる
– Munin User Group Japan |i ｀ヽ｀ヽ / ', , ハ|､ ', Ⅳﾙ二'ｰ ,. =＝"ﾞっﾘ / / |
• htt //
http://munin.jp/
i j / ´ ￣｀ヽ .i|. . . ,. -､｀ーヽ /' !ﾄヽ 'ゎ"￣゛
ヽ i| ー― / !ﾄ, ゎﾊ/,／／!
ﾊ/ ／／! よ
ヽ !／/ ', ＼ ', , ヽ､ヽ//// ， //// 'y ´／‐人
∨ ./ ﾊヽ ', _＼!｀ｰ＿ -‐､／_,.ｨ―'´／＼！！
• Slideshare ヤ ∨ ! ｲハ ', }ゝ ' ､ゝノ , イし／／＼
– http://www slideshare net/zembutsu', ,ヽﾘ| 乂ﾘ ',! ,ﾊ｀｀ｰ=≧= _ .,￣_,.v=ﾆ三" ﾊ_ ∨/ / (ｲ
http://www.slideshare.net/zembutsu マッ
ミタ
ﾊ
}
≧
二 = ｸfﾆ'
´ 」≧ヽ /

チ .ネﾄヽ / （__,ゝﾉ＞―― -- _/r）ヽﾆr´_,. ' ｀77ｰ-v
ャ | ＼' ／ j｀二 r― ´ //,ｨｰ-v‐r―‐-､ // ｀ヽ
ン | ヽ＿,. ´ く｀ー/ , ＜. . ,-＜ヽ´ヽ. . .｀.ヽ/ ヽ

俺の Munin がこんなに軽いわけがない #監視ツール勉強会

Recommended

Recommended

More Related Content

More from Masahito Zembutsu

More from Masahito Zembutsu (20)

俺の Munin がこんなに軽いわけがない #監視ツール勉強会