今日から業務で使える17の運用系Linuxツール、そして円環の理
•
115 likes•13,875 views
運用系ツールのつもりが、新人さんに伝えたい「円環の理」資料になってしまいました。 “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy３周年記念LT大会 〜新人さん、業界にようこそ！〜 with ビール』 http://www.zusaar.com/event/613004 共有したかった事 ・2013年、這い寄る混沌・ガラケーは衰退しました ・基本コマンドの連携は必須 ・時系列リソース監視が鍵 ・仲間達と協力する心も大切
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 今日から業務で使える17の運用系Linuxツール、そして円環の理
Similar to 今日から業務で使える17の運用系Linuxツール、そして円環の理 (20)
More from Masahito Zembutsu
More from Masahito Zembutsu (20)
Recently uploaded
Recently uploaded (10)
今日から業務で使える17の運用系Linuxツール、そして円環の理
- 1. 新人エンジニアに贈る 今日から業務で使える １７ の 運用系Linuxツール えんかん ことわり そして、円環の理 Finale and Another Starting Point with useful tools Masahito Zembutsu @zembutsu Apr 13, 2013 qpstudy 2013.04 #qpstudy
- 2. このスライドは… 祝!! QP3周年 おめでとうございます!! • 概要 – “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy３周年記念LT大会 〜新人さん、業界にようこそ！〜 with ビール』 http://www.zusaar.com/event/613004 • 共有したかった事 – 2013年、這い寄る混沌・ガラケーは衰退しました • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 • 仲間達と協力する心も大切
- 3. (意訳：コイツ馬鹿ww)
- 4. ―Don't forget. always, somewhere, someone is fighting for you. ―As long as you remember her. Operation you are not alone. 運用 忘れないで、いつもどこかで誰かがあなたの為に戦っている。 彼女を覚えている限り、あなたは一人じゃない。 （出典：魔法少女まどかマギカ最終話「わたしの、最高の友達」） Monitoring 監視
- 5. こんな職場のイメージです。 去年からデータセンタの中で働いてます。 This Photo is under creative commons license by torkildr http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
- 6. A HUMAN WORK ホスティングサービス業務 サーバの形、心の形。見知らぬ、仕様書。光、そして影。 クラウド、来日。変わる業界。まごころを、お客様へ。 DECISIVE BATTLE 障害対応 鳴り止まない電話。静止したデータセンタの中で。 優先度の選択を。電源停止に至る病、そして。 仕事も色々… 営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。 You can advance. 次世代ニーズに向けた挑戦 特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
- 7. 1 実戦で使える13のコマンド /4 ARTS OF OURS
- 8. • ping / traceroute / mtr 運用現場（自分）が使う、コマンド実行履歴。 • diskstat / iostat $ history | awk {'print $1 '} | sort | uniq -c | sort -r • vmstat • dstat / top • sar • netstat • httping • wget ( 2getと打ち間違え ) or curl • nslookup / dig • nc • nmap • smartctl • tcpdump 各コマンドの意味は、Google先生にお訊ねください ←
- 9. ツール 2 ４つの鍵と連携して強化 /4 ドッキング 出力200% COLLABORATION WITH ARTS
- 10. 1つ1つのコマンドを強化 個々のコマンドで出来る事には、限界があります。 • sort しかし、これらのコマンドを組み合わせる事で、 自分が欲しいデータを簡単に入手できるのです。 • uniq • awk • watch 各コマンドの意味は、Google先生に(ry
- 11. 3 “Q”pstudy /4 I was Stupid, So Stupid
- 12. コマンド抑えておけば この先生きのこれる 実は、ここからが本編
- 18. ガ ラ FEATURE PHONE HAS DECLINED ケ ー 這い寄る は 衰 退 混沌 し CRAWLING CHAOS ま し た
- 19. スマートフォンは生活の一部 • 普及率 6% (2011Q1)→20%(2012Q1) – うち、 77% 毎日スマートフォンを使う – 常に 78% がスマートフォンを携帯 出典：Out Mobile Planet: 日本 モバイル ユーザーの実態 2012年5月, Google, Inc. http://services.google.com/fh/files/blogs/our_mobile_planet_japan_ja.pdf 調査は一昨年のものです。この時点で既にスマートフォン普及の兆しが 出始めてきていました。変化は確実に忍び寄っていたのです。
- 20. 地下鉄でのネット接続 2013年3月21日～東京メトロ全線 2013年3月27日～都営地下鉄全区間 携帯電話利用可能 平均 1.7倍増加 「電波開通により、通勤・通学中のインターネット接続時間が 一日平均1.7倍増加」4月5日～7日 楽天リサーチ株式会社 2013年4月9日発表 http://research.rakuten.co.jp/report/ 端末だけでなく、通信インフラでも大きな 動きが先月ありました。地下でも繋がる！ http://www.tokyometro.jp/news/2013/pdf/metroNes20130318_mobile.pdf
- 21. 進撃のスマートフォン 各社さんのIR情報 の中で、具体的か つ参考になりそう な企業さんの情報 を引用させていた だきました。 ちなみに、私は利 害関係ありません。 出典：サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
- 22. 進撃のスマートフォン スマートフォンが 経済に与える影響 は既に無視できな くなっています。 肌感覚で「みんな スマートフォン 使ってるな～」と 思っていましたが、 改めて数字で見る と「やっぱり」と 思いつつ、普及の 速さには驚かざる を得ません。 出典：サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36 http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
- 24. 最後に残った道しるべ 4 /4 The Only Thing I Have Left Go Guide Me
- 25. 時系列リソース監視
- 26. リソース監視の必要性 • スマートフォンの普及 – ますます生活に密着するインターネット – 僅かな障害も、大きな機会損失になり得る時代 • 時系列「変化」を簡単に把握するために – 過去の経緯を記録・参照 – グラフを通した人間の認識能力 • 「なんとなく重い」「もしかして障害？」を視覚化 – 客観的データの確保 • 属人性の排除
- 27. 一次元から二次元へ
- 28. ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw 6 1 90 2 0 1| 18k 22k| 0 0 |1915B 1554B| 243 187 0 0 96 1 0 3| 0 112k|8752B 8221B| 0 0 |1054 174 0 0 97 1 0 2| 0 128k| 0 0 | 0 0 |1033 81 コマンド実行結果は、 瞬間（点）におけるリソース値 一次元から二次元へ X軸 … 時間 Y軸 … リソース値
- 29. 時系列リソース監視 • Munin http://munin-monitoring.org/ http://munin.jp/ • Zabbix http://www.zabbix.com/jp/ • Nagios http://www.nagios.org/ • Ganglia http://ganglia.sourceforge.net/ • Cacti http://www.cacti.net/ • MRTG http://oss.oetiker.ch/mrtg/ 私、樹になります！
- 30. 個人的にはMuninがお勧め • すぐ使える – RHEL/CentOS ( EPEL レポジトリ使用 ) 1. yum install munin 2. htpasswd /etc/munin/munin-htpasswd Admin 3. service munin-node start 4. http://<HOSTNAME>/munin/ にアクセス、5分待つ • 単純＆強力な設計思想 • 一覧性に優れている http://demo.munin.jp/
- 31. Muninも万能ではない • 監視間隔が5分 – もっと短くしたいときは、Zabbix かな • 重たくなりがち – 監視対象が増えた時
- 32. とあるホスティングの場合 • Muninはマジで仕事に欠かせません。 – とにかく入れる – 片っ端から入れる – 無駄に入れる
- 33. Muninが変えた、障害対応の流れ • ツールにたよらない場合 – 各種ログの調査、コマンド実行(sysstat等) – 人の手が掛かり、時間もかかる←致命的 • Munin があれば… – サーバにログインしなくとも、状況把握 – 視覚的に比較できるので、異常値検出が用意 – 迅速な対応が可能 • 障害対応の Plan-Do-Check-Action (PDCA) • グラフを見た瞬間「この障害対応のエンディングが見えたッ！」
- 34. 今日日、監視対象が Before After とても増えつつあります。 コマンドでは追いつかな い場合も多々…
- 37. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ヽ__と/￣￣￣/ | ￣＼/＿＿＿/ 障害対応PDCA 円環の理 の予感！！
- 38. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ヽ__と/￣￣￣/ | 障害個所推測 ￣＼/＿＿＿/ 障害対応PDCA Do 円環の理 ＿＿＿ ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣ 実行 の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、 | ||＿＿|| ＜ 丿 | どこが障害ポイントなんだ？ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿ ﾉ） | | ( ./ / ﾉ)ノ,(ノi ( (ノし ┐) ∧,∧ ﾉ ..|( ( ....:::::::) ( ￣⊂/￣￣7 ) ヽ lヽ,,lヽ （/ 川口 /ﾉ ( ） やめて！ ￣TT￣ と、 ﾞi
- 39. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ヽ__と/￣￣￣/ | 障害個所推測 ￣＼/＿＿＿/ 障害対応PDCA Do 円環の理 ＿＿＿ ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣ 実行 の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、 | ||＿＿|| ＜ 丿 | どこが障害ポイントなんだ？ ,. -‐‘’‘’‘“”¨¨¨ヽ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿ ﾉ） (.＿＿_,,,... -ｧァﾌ| あ…ありのまま 今 Munin で見た事を話すぜ！ | ( ./ | / |i i| }! }} /／| ﾉ)ノ,(ノi |l､{ j} /,,ｨ//｜ 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ､_ﾉ／ u {:}//ﾍ 思ったらいつのまにかバックエンドのMySQLをみてた』 |ﾘ u' } ,ﾉ _,!V,ﾊ | ┐) ∧,∧ ﾉ ／´fト､_{ﾙ{,ィ'ｅﾗ , ﾀ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( /' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝ Check おれも何をされたのかわからなかった… ,ﾞ ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉 ￣⊂/￣￣7 ) ヽ lヽ,,lヽ |／_／ ﾊ !ニ⊇ '／:} V:::::ヽ 頭がどうにかなりそうだった… （/ 川口 /ﾉ ( ） やめて！ /／ 二二二7'T'' ／u' __ /:::::::/｀ヽ /'´r -―一ｧ‐ﾞＴ´ '"´ ／::::／-‐ ＼ ioDriveだとか超スピードだとか ￣TT￣ と、 ﾞi / // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ﾉ ' / ノ:::::`ー-､___／:::::／/ ヽ } _／｀丶 /::::::::::::::::::::::::::￣`ー-{:::... ｲ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
- 40. /ヽ /ヽ / ヽ / ヽ ＿＿＿＿＿＿ / ヽ＿＿/ ヽ Plan | ＿＿＿＿ ／ :::::::::::::::＼ 障害状況の把握 || || /／ | ● ● ＼ :::::::::::::::| ::::::::::::::| 何このアラート・・・ /つ_∧ || .| :::::::::::::| 計画 || | （__人__丿 .....:::::::::::::::::::/ /つ_,∧ 〈（ ﾟдﾟ） | |＿＿＿＿ ヽ .....:::::::::::::::::::::::< └＿＿＿／￣￣ :::::::::::::::::::::::::| ＼ｷﾀｰ／ |（ ﾟдﾟ） ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::| ＼ ＼ ＼＿＿＿ ::::::::::::::::::::::::| ∧＿∧ ￣||ヽ、 ヽ__と/￣￣￣/ | 障害個所推測 （ ） ||＿| ￣＼/＿＿＿/ （＿＿ つ三_ | ｶﾀｶﾀ /＿＿ヽ） || || ｶﾀｶﾀ 障害対応PDCA Do ＿||＿J || || 円環の理 ＿＿＿ ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣ 実行 の予感！！ Action / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、 | ||＿＿|| ＜ 丿 | どこが障害ポイントなんだ？ ,. -‐‘’‘’‘“”¨¨¨ヽ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿ ﾉ） (.＿＿_,,,... -ｧァﾌ| あ…ありのまま 今 Munin で見た事を話すぜ！ | ( ./ | / 改善 |i i| }! }} /／| ﾉ)ノ,(ノi |l､{ j} /,,ｨ//｜ 『おれはfontentの鯖でnginxを確認していたと ( (ノし i|:!ヾ､_ﾉ／ u {:}//ﾍ 思ったらいつのまにかバックエンドのMySQLをみてた』 |ﾘ u' } ,ﾉ _,!V,ﾊ | ┐) ∧,∧ ﾉ コマンド実行 ／´fト､_{ﾙ{,ィ'ｅﾗ , ﾀ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) ( /' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝ Check おれも何をされたのかわからなかった… ,ﾞ ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉 ￣⊂/￣￣7 ) ヽ lヽ,,lヽ |／_／ ﾊ !ニ⊇ '／:} V:::::ヽ 頭がどうにかなりそうだった… （/ 川口 /ﾉ ( ） やめて！ /／ 二二二7'T'' ／u' __ /:::::::/｀ヽ /'´r -―一ｧ‐ﾞＴ´ '"´ ／::::／-‐ ＼ ioDriveだとか超スピードだとか ￣TT￣ と、 ﾞi / // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価 ﾉ ' / ノ:::::`ー-､___／:::::／/ ヽ } _／｀丶 /::::::::::::::::::::::::::￣`ー-{:::... ｲ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
- 41. 重要な事なので、 もう一度書きます。 一次元から二次元へ ○○は俺の嫁 今期のアニメが(ry 二次が好きですが、こんな事を言っているより、 @zembutsu 自身の婚期を気にした方がいいと思います。 誰か助けて下さい ←
- 42. もう１つ、
- 43. 偉い博士も仰ってます。 他の方の発表にもあり ましたが、重要！！ 一色 健次郎 博士 Isshiki Kenjiro, Ph.D. 「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。 じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。 また１から研究のやりなおしじゃ」 出典：「ビビッドレッド・オペレーション」第12話 This Photo is under creative commons license by superchango http://www.flickr.com/photos/superchango/4376866953/
- 44. 二次元だけじゃなく、三次元 • 会社の同僚（仲間）とのコミュニケーション • 会社の外にも出よう – 勉強会 – セミナー – コミュニティ活動 • IT勉強会カレンダー 興味のある勉強会があれば、 参加してみては如何でしょう
- 45. 最後のまとめ… • 基本コマンドの連携は必須 • 時系列リソース監視が鍵 • 仲間達と協力する心も大切 「独りぼっちは寂しいもんな」 出典：魔法少女まどか★マギカ 佐倉杏子 インフラエンジニア的な円環の理 参考資料： 基盤少女インフラエンジニア - Togetter http://togetter.com/li/91857
- 46. おしまい
- 47. References • Munin 詳細は、他のスライドをご覧下さい（ ＾ω＾） http://slideshare.net/zembutsu/ 最後までありがとうございました。