LINE DEVELOPER DAY 2017 C-12

2. Flink + Prometheus + Grafana
による
アクセスログの可視化とAlerting
松崎 学 (matsumana), LINE Fukuoka Dev Dept

3. - PrometheusとGrafanaの概要
- Prometheusの主なAdvantage
- Grafanaの主なAdvantage
- Flink + Prometheus + Grafana導入前
- Flink + Prometheus + Grafana導入後
- 移行によって改善できた事
Agenda

4. PrometheusとGrafanaの概要

5. Prometheusの主なAdvantage
-様々なミドルウェアのexporterが既に存在している
-無いものは自分で作ればよい

6. Grafanaの主なAdvantage
-time rangeを自由に指定可能
(e.g. 直近48Hを表示、昨日の14:00~15:00を表示 など)
-カーソルを当てればその時点のメトリクス値が表示される

7. Flink + Prometheus + Grafana導入前

8. 問題点（1）
-Fluentdで集計
-データ量が多いとサンプリングが必要
-サンプリングで消えたデータを見落とす
(e.g. 5xxの発生など)

9. 問題点（2）
-GrowthForecast (主にGrafanaと比較して)
-time rangeの柔軟な指定やzoom inができない
-実際のメトリクス値を確認できない
-複合グラフは自分で作らないといけない

10. 問題点解決のため移行
-Fluentdで集計 → Flinkへ
-GrowthForecast → Prometheus + Grafanaへ

11. Flink + Prometheus + Grafana導入後

12. Grafana Dashboard
-http statusそれぞれの発生回数
-http statusの割合
-latencyの割合
-latencyのpercentile

13. なぜFlink?
-このプロジェクトを進行している時、別チームがNorikraから
Flinkへの移行中だった
※LINE Developer Day 2016の資料が公開されています
【B-6】New Stream Processing Platform with Apache Flink

14. 移行によって改善できた事 （1）
-Fluentdで集計 → Flink
-サンプリング無しで全ログを処理出来るようになった

15. 移行によって改善できた事 （2）
-GrowthForecast → Prometheus + Grafana
-time rangeの柔軟な指定やzoom inが出来るようになった
-実際のメトリクス値をGrafanaで確認出来るようになった
-複合グラフを自分で作らなくてもよくなった
-全てのメトリクスが１つのツールで見れるようになった

16. 移行によって改善できた事 （3）
-今まで出来なかった事が出来るようになった
-Prometheusでサービス毎に最適な閾値でアラート通知
(e.g. latency悪化、5xx増加など)

17. Thank you