2019年1月の#ssmjp ～グラフを愛でる会～

1. 業務システムで使える
可視化テクニック
- Apache HTTP編 -
2019/01/22
1

2. ・ネットワークからサーバインフラ/アプリケーション開発・運用
・様々なレイヤ・プロトコルのデータを可視化
・データの特性上、残念ながら個々の事例は紹介できず
・ストーリー性が感じられるグラフを見ると興奮する性質
・生データ（rawデータ）が大好き
・好きなテレビ番組:「デザインあ」
https://www.facebook.com/yasuyuki.sugai
よろしくお願いしまーす
※この資料の内容は、
個人の見解です
自己紹介
菅井 康之
2
今日は同じクラスタの人が多いはず・・・・

3. 3

4. 4

5. 5
業務システムに限った話ではありませんが、
まぁ、、、なんかキャッチーなタイトルにしたかったので。。
あと自前でサービス運用する際のログ分析とは
ちょっと観点が違うので

6. 6

7. 7

8. 8
こういった説明では、一枚絵で説明できることは
あまりなくて、複数のグラフなどを並べて
ストーリー性を演出します

9. 9
良いグラフが描けると満足して
レポートに纏めるのを忘れてしまいます
何も言うまいって気持ちになっちゃうので・・・

10. 10

11. 11

12. 12

13. 13
再現性マジ大事

14. 14
複雑な機械処理が必要なときはPythonでやるけど
アドホックな分析はやっぱりRが良いなぁ

15. 15

16. 16
もう5年も前なのね・・・
https://www.slideshare.net/yasuyukisugai/r-charts

17. 17
あとは大量のグラフを埋め込んだレポートを
作成するようなときには手作業じゃメンテできないので
下書き部分は自動でやるなど、用途に合わせて利用します

18. 18
決められたマークダウン形式で記述

19. 19
R Markdownでの出力結果（HTML）

20. 20
R Markdownでの出力結果（Word）

21. 21
データを読み込んだりコマンド実行して
ad hocにデータを眺めていく
plotした図が表示される領域
色々な角度でデータを参照

22. 22
ある程度ストーリーの構想ができてきたら
これまで実行したコマンドがHistoryとして
溜まっているので・・・

23. 23
使えるコマンドをソースコードに移して
スクリプトとして汎化しながら整形・纏める
最終的に出来上がったスクリプトは
Linuxサーバ上に配置してcronで回したり
Apacheで参照できるところに出力して
定常的に利用したりもします

24. 24

25. 25
今回はトランザクションの時間軸に着目していますが
機能間の遷移ボリュームを表現するような可視化など
access_logだけで色々楽しむことができます

26. 26

27. 27

28. 28

29. 29

30. 30

31. 31

32. 32

33. 33

34. 34

35. 35

36. 36

37. 37
大したコード量じゃないですね

38. 38
なるべくRの標準関数だけでサンプルを構成していますが、
可視化のところだけライブラリ使わせてください・・・

39. 39
一連の可視化でだいたい数十枚はグラフ描いて調整するので、
いちいち手で画像保存してられないので機械的に画像化します

40. 40

41. 41

42. 42

43. 43

44. 44

45. 45

46. 46

47. 47

48. 48

49. 49

50. 50

51. 51
ちなみにXが多いのは、二重submitの例として
submitを連続で発生させたため・・・

52. 52
アクセスログはレスポンス時に書き込まれるので、
レコードの順序がアクセス順じゃないので注意

53. 53

54. 54
機械処理しやすいように見えて、実はデフォルトだと扱いにくいの

55. 55

56. 56
←出来上がったデータはこんな感じ

57. 57

58. 58
出来上がったデータはこんな感じ→

59. 59

60. 60

63. データ取ってるつもりでも、実は取れてなかったとか
保持期間が短かったり、機械処理に適さなかったり
するので、事前の仕込みがとても大事

64. おわり。
64