1. Monitoring with Fluentd
with 'fluent-plugin-notifier'
2013/07/12 Monitoring Casual Talks #4
@tagomoris
13年7月12日金曜日

2. TAGOMORI Satoshi (@tagomoris)
LINE corp.
13年7月12日金曜日

3. 13年7月12日金曜日

4. 13年7月12日金曜日

5. Fluentd for monitoring
datacounter + growthforecast
numeric-counter + growthforecast
numeric-aggregator + growthforecast
or other graph tools (ex: metricsense, zabbix, ...)
13年7月12日金曜日

6. Toooooooooooooooo
Many
Graphs!!!!!!!!!!!!!!!!!!!!!!!!!!!
13年7月12日金曜日

7. We need notifications
Graph + notification
output growthforecast
+ nagios plugin to check gf graph values
Notification on Fluentd directly
fluent-plugin-notifier (2653 downloads)
13年7月12日金曜日

8. Basics
<match apache.log.**>
type notifier
<def>
pattern apache_duration
check numeric_upward
warn_threshold 800000
crit_threshold 1000000
target_keys duration
</def>
<def>
pattern status_500
check string_find
warn_regexp 5dd
crit_regexp 500
target_key_pattern ^status.*$
exclude_key_pattern ^status_ignore_.*$
</def>
</match>
13年7月12日金曜日

9. Output
2012-05-15 19:44:29 +0900 notification:
{"pattern":"apache_duration",
"target_tag":"apache.log.xxx",
"target_key":"duration",
"check_type":"numeric_upward",
"level":"crit",
"threshold":1000000,
"value":"1057231",
"message_time":"2012-05-15 19:44:27 +0900"}
13年7月12日金曜日

10. Output controls
tag: 'notification'
default_tag, default_tag_warn, default_tag_crit
tag, tag_warn, tag_crit
notification suppression (intervals)
1st: 1min (5 times), 2nd: 5min (5 times), 3rd 30min
default_interval_1st, default_repetitions_1st
default_interval_2nd, default_repetitions_2nd
default_interval_3rd
interval_1st, repetitions_1st
interval_2nd, repetitions_2nd, interval_3rd
13年7月12日金曜日

11. Message testings
<match apache.log.**>
type notifier
<test>
check numeric
target_key duration # microseconds
lower_threshold 5000 # 5ms
upper_threshold 5000000 # 5s
</test>
<test>
check regexp
target_key vhost
exclude_pattern ^image.news.example.com$
</test>
<def>
....
</def>
</match>
13年7月12日金曜日

12. our practice
events
datacounter
numeric-counter
numeric-
aggregator
graph
notifier
irc
mail
13年7月12日金曜日

13. ... and what we want :)
events
datacounter
numeric-counter
numeric-
aggregator
graph
notifier
irc
mail
Norikra
13年7月12日金曜日