IIJ社内で行われている新人向けハンズオン勉強会「IIJ Bootcamp」で行われた "監視 Overview" です。 システムにおける監視とは何か。なぜ監視をするのか。監視のアンチパターンなどを紹介します。 ▼IIJ Bootcampについて IIJ Bootcampとは、様々な技術に触れることを目的としたIIJ社内で行われている新人向けハンズオン勉強会です。 https://iij.github.io/bootcamp/ 各技術が誕生した経緯・歴史、ほかの技術と比較といった知識を得るためのきっかけとして、さまざまな言語・フレームワーク・ツールに触れて実際に動かすハンズオンを行っています。 カリキュラムにはハンズオンだけでなく、「overview」として技術ジャンルの全体像や歴史などを紹介する回も設けています。

1. 監視 Overview

2. まずは自己紹介
• 韮塚 凌平(nirazuka)
• 所属：INF-IE-CO / CI-TDO
• 主務：P2/GRP サーバ構築, 構築自動化/効率化
• 副務：GitHubEnterpriseやdrone.ioの管理人
• 趣味：おうちDC作り, お絵描き, 旅行, バイク, サバゲ, コスプレ, ソシャゲ, 課
• 技術：Kubernetes, Prometheus, Ansible
• 社歴
• 2019年度 新卒入社ESNGY-2
• 2021年度 INF本部異動
その他詳しくはConfluenceにて……
2

3. 講義の流れ
1. 監視という言葉
2. なぜ監視をするのか？
3. 監視のアンチパターン
4. まとめ
3
補助テキスト：https://github.com/iij/bootcamp/blob/master/src/cicd_infra/prometheus/README.md

4. ①
監視という言葉
4

5. 監視とは
• システムにおける監視は「monitoring」の意味で使われる
(辞書的な意味では)
• monitoring：(時間経過として)見張り、状態変化を検知するこ
と
(システムにおける意味では)
• monitoring：(主に)時間経過と共に変化したものを検知する
5

6. 例えば…
6
ｺﾝﾆﾁﾊ!! / ｱﾂｲ!! /
20℃ 80℃

7. Observability
• 最近の監視システムは「observability」の重要性が大切になっ
てきています。
(辞書的な意味では)
• observability：可観測性
(システムにおける意味では)
• observability：システム全体の中のコンポーネント同士がどの
ように動いているかを観測できる能力
7

8. モノリシック・アーキテクチャ
8
WEBサーバ!!/ APサーバ!!/ DBサーバ!!/
ユーザ

9. マイクロサービス・アーキテクチャ
9
出典：https://www.divante.com/blog/10-companies-that-implemented-the-microservice-architecture-and-paved-the-way-for-others

10. ②
なぜ監視をするのか？
10

11. 監視の目的
監視の目的は
サービスを通してユーザに価値を提供し続ける
こと
11

12. 監視がないとサービスは動かないの？
• 結論： 別に監視しなくてもサービス動く
• システム構築において監視は後回し
• コスト面で優先度が低くなる
12
ゆえに 障害が起きないシステムを
作ればいいのでは？

13. 監視をしなかった場合
• サーバが落ちててもユーザからの問い合わせで気が付く
• 同じ障害を何度も引き起こす
ユーザが離れていき、機会損失や利益を出せなくなる
13
その
結果

14. ソーシャルゲームの例
• 人気なガチャがある日はかきいれどきなので、確実にガチャを
回してもらいたい
• 常日頃からサーバ負荷を監視し、ユーザのアクセスが集中する
時間などの傾向をつかんで、あらかじめスケールさせておく
ユーザが正気に戻って課金をしなくなり、
ガチャを回してくれない
14
もしやらなかったら

15. 監視の役割
• 監視が持つ役割は主に4つ
• 可視性
• システムのリソース状況を誰でも見れるようになる
• 通知性
• 問題発生時にアラートを発され、即座に対応できるようになる
• 特定性
• 問題発生時の原因特定をしやすくなる
• 分析性
• 統計データを取りシステム傾向を掴み対策をとりやすくなる
15

16. 可視性
システムのリソース状況を誰でも見れるようになる
• システム全体状況を把握できる人が増え、監視属人化を防げる
• GUIを使ってグラフィカルに見れるWebUIがあると格段に上がる
• ただし、複雑化すると本末転倒になるので注意
16

17. 通知性
問題発生時にアラートを発され、即座に対応できるようになる
• サービス提供機会の損失を低くすることができる
• 電話などで通知すれば、よりはやい障害復旧が見込める
• ただし、障害の度合いにより適度に通知方法を選択しないと、
オオカミ少年状態になる
17

18. 特定性
問題発生時の原因特定をしやすくなる
• 障害発生前後の状態変化を記録しておけば、何が原因で障害が
発生したのかが特定しやすくなる
• 再発防止策の打ち立てにも役立ち、より障害を起こしづらい
サービスにすることができる
18

19. 分析性
統計データを取りシステム傾向を掴み対策をとりやすくなる
• 障害を未然に防ぐことができるようになる
• サービス稼働という面での分析の他に、ビジネス自体を分析で
きるようにすることもできる
19

20. 監視の役割(再)
• 監視によって実現されることは主に4つ
• 可視性
• システムのリソース状況を誰でも見れるようになる
• 通知性
• 問題発生時にアラートを発され、即座に対応できるようになる
• 特定性
• 問題発生時の原因特定をしやすくなる
• 分析性
• 統計データを取りシステム傾向を掴み対策をとりやすくなる
20

21. ③
監視アンチパターン
21

22. ツール依存
ツールありきで監視をデザインしてはいけない
• 他社や他チームが成功してるからと言って同じ監視システムが
正しいとは限りません
• 形だけ真似てもいずれボロがでます
22

23. 監視を役割にする
監視システムのエキスパートをチーム外から用意しない
• 監視システムの専門家はシステムの正常な状態を定義できない
• システム構成を理解しているチーム全体で監視のスキルを身に
着け、属人化を避ける
23

24. 監視ツールが複雑すぎる
機能がモリモリなフルパッケージ製品を避ける
• 色んな機能が盛りだくさんでパッケージングされている監視
ツールをそのまま使うと、大体担当者以外が操作できない
• 必要な機能を組み合わせて利用できる監視ツールが理想
24

25. 手動監視
人間の手で定期的に正常性をチェックしている項目は、
自動化できないか検討するべき
• 人はミスする生き物
• 必ずしも自動化が正しい選択肢とは限らないが、検討はする
25

26. ④
まとめ
26

27. 監視の目的(再)
監視の目的は
サービスを通してユーザに価値を提供し続ける
こと
27

28. ⑤
参考文献
28

29. オススメの本
入門監視
わかばちゃんと学ぶ
サーバ監視
基礎重視
29
イラスト多め
読みやすい

30. おわり
30