eureka x mackerel ~ eureka monitoring solution ~

1. eureka monitoring solution
kento yamashita
×

2. あけましておめでとうございます

3. 自己紹介
kento.yamashita
tansoken
山下 権人
Engineer at eureka, Inc.
目が細い
足が短い
気は長い

4. 今日の話
1.eureka services
2.Mackerelを導入する前の話
3.Mackerelを導入してみて
4.まとめ

5. eureka services

6. Copyright © 2009-2016 eureka, Inc. All rights reserved.
株式会社エウレカ → https://eure.jp
事業内容
自社サービスの企画・開発・運営
• オンライン・デーティング・サービス「pairs」
• カップル専用アプリ「Couples」
海外拠点
• 台湾 ：EUREKA TAIWAN CO., LTD.
• シンガポール：EUREKA SG Pte. Ltd.
エンジニア
60人
非エンジニア
35人
社員数: 95人
インターン・業務委託含む
平均年齢: 28歳
2015年5月に
米IACグループ入り

7. Copyright © 2009-2016 eureka, Inc. All rights reserved.

8. Copyright © 2009-2016 eureka, Inc. All rights reserved.
12年9月 13年3月 13年9月 14年3月 14年9月 15年3月 15年9月
330万
｡ﾟ+＼320万会員突破/／+.ﾟ
リリース 2012年 10月
会員数 320万人
プラットフォーム PC/SP/iOS/Android
オンライン・デーティング・サービス「pairs」
国内
No.1

9. Copyright © 2009-2016 eureka, Inc. All rights reserved.
14年5月 14年10月 15年3月 15年8月
330万
国内
No.1
リリース 2014年 5月
DL数 320万DL
プラットフォーム iOS/Android
カップル専用アプリ「Couples」
｡ﾟ+＼320万DL突破/／+.ﾟ

10. Copyright © 2009-2016 eureka, Inc. All rights reserved.
診断pairs
pairsコラム
高トラフィックを誇るメディア媒体
https://www.pairs.lv
https://a.pairs.lv

11. 怒
サービスに障害が発生してしまうと…

12. 不具合は０にはならないという思想の元、常にリスクヘッジを行い
適切な監視を行う必要があります。
※もちろん障害発生を許容するものではありません
怒

13. 監視サービスに
求めていること

14. 監視ツールに求めていること
1. 不具合が発生したら分かる人がすぐ気付けるアラートを飛ばしてくれる
2. 障害発生時の各システムの状態が可視化できること
3. 監視サーバが落ちない

15. 監視ツールに求めていること
いつでも分りやすい！！
のが大事

16. Mackerelを導入する前の話

17. Mackerelを導入する前の話
zabbix-server
DB
App
zabbix-agent
zabbix-agent

18. Mackerelを導入する前の話
zabbix-server
DB
App
zabbix-agent
zabbix-agent
zabbix-server
DB
App
zabbix-agent
zabbix-agent
pairs本体 pairsコラム

19. Mackerelを導入する前の話
zabbix-server
DB
App
zabbix-agent
zabbix-agent
zabbix-server
DB
App
zabbix-agent
zabbix-agent
zabbix-server
DB
App
zabbix-agent
zabbix-agent

20. Mackerelを導入する前の話
zabbix-server
DB
App
zabbix-agent
zabbix-agent
zabbix-server
DB
App
zabbix-agent
zabbix-agent
zabbix-server
DB
App
zabbix-agent
zabbix-agent
DynamoDB Elasticache
SES SQS
zabbixと以外の監視が登場

21. Mackerelを導入する前の話
◆ いろいろつらくなってきました
・複数zabbix server…
コスト、管理大変、都度セットアップ大変
ユーザー追加大変
・zabbix管理外でのshellの監視スクリプトがあったり
・設定のコード化ができていない
・みんながメトリクス見てるとzabbixサーバが重い…
(´･ω･`)

22. Mackerelを導入する前の話
「いつでも分りやすい！！」
に反している

23. Mackerelを導入する前の話
ということで…
管理サーバを自分らで持つのはやめにして
外部ベンダー使いましょう！

24. Mackerelを導入する前の話
datadogを試しに使って見ることにしました.

25. Mackerelを導入する前の話
☆ 試しに使って見るだけなので、とにかくお金をかけないように
・エージェントの無料枠は使う
・fluent-pluginを使ってエージェントを入れない監視体制を設計
（実際にGoサーバのメトリクスとかはこれで取っていました）
・ダッシュボードも結構作りこんでビジネスダッシュボードなんかも作ってい
ました

26. Mackerelを導入する前の話
色々試行錯誤して頑張ったdatadogでしたが、
なぜ今弊社がMackerelを使っているのか…？

27. Mackerelを導入する前の話
ある日の出来事…

28. Mackerelを導入する前の話
ʕº ̫͡ºʔ ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
私 ボス

29. Mackerelを導入する前の話
山下くん何してんの？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

30. Mackerelを導入する前の話
山下くん何してんの？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい！今 datadogのfluent-plugin 使ってdstatの情報
とってるんですがたまに詰まっちゃってるようなんで
原因調査中です!!

31. Mackerelを導入する前の話
山下くん何してんの？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい！今 datadogのfluent-plugin 使ってdstatの情報
とってるんですがたまに詰まっちゃってるようなんで
原因調査中です!!
ふーん。。。 > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

32. Mackerelを導入する前の話
ところでMackerelは使ってみた？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

33. Mackerelを導入する前の話
ところでMackerelは使ってみた？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < いやーまだ使えてないですね…

34. Mackerelを導入する前の話
ところでMackerelは使ってみた？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < いやーまだ使えてないですね…
（さすがに今から変えるなんて言わないよな。。）

35. Mackerelを導入する前の話
ところでMackerelは使ってみた？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < いやーまだ使えてないですね…
（さすがに今から変えるなんて言わないよな。。）
> ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
そうかー。

36. Mackerelを導入する前の話
ところでMackerelは使ってみた？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < いやーまだ使えてないですね…
（さすがに今から変えるなんて言わないよな。。）
> ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
そうかー。
じゃあとりあえずMackerelの人と打ち合わせ入れて
おくからそれまでにちょっと使ってみといて！

37. Mackerelを導入する前の話
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

38. Mackerelを導入する前の話
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
そして今に至ります

39. Mackerelを導入する前の話
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
（最初からMackerel押しのボス）
理由は後ほど

40. Mackerelを導入してみて

41. Mackerelを導入してみて
とにかく導入は簡単でした！
ʕº ̫͡ºʔ

42. Mackerelを導入してみて
Ansibleのplaybookに落とし込むのも簡単で、
設定をすべてコード化することができました!!
ʕº ̫͡ºʔ ʕº ̫͡ºʔ

43. Mackerelを導入してみて
毎週アップデートされるプラグインにテンション上がりつつ
自作プラグインもすぐに作れて楽しさもMAXでした！
ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ

44. Mackerelを導入してみて
・mackerel-plugin-gostats
→ Goサーバのメトリクス監視
・check-ssl-cert
→ SSL証明書の有効期限の日数でwarningとcriticalのアラートを
飛ばしてくれる
・SQSの監視
→ zabbix時代に独自のshell scriptで監視していたものを少し
いじってcheck-pluginとして使用
こんな感じのプラグイン作りました
ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ

45. Mackerelを導入してみて
・ダッシュボードもたくさん作ってます
それぞれ1時間単位と24時間単位とかで
ダッシュボード分けておくといい感じです！
ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ

46. Mackerelを導入してみて
URL外形監視はとにかく思い当たるところすべてに入れてます
簡単でパフォーマンスが悪くなった時とかすぐアラートくれるので助かってます
ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ
外形監視もフル活用！

47. Mackerelを導入してみて
mkrも便利です！
ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ
# あるIPのホストキーを取得する
mkr hosts ¦ jq -r '.[] ¦ select(.ipAddresses.eth0 == "10.10.10.10") ¦ .id'
# status=poweroffのホストを一気に退役させる
mkr retire --force $(mkr hosts --status poweroff ¦ jq -r '.[].id')
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

48. Mackerelを導入してみて
MackerelのAPIとGoogleスプレッドシートを連携させて
サーバリストを作成！
どのサーバがどのステータスになっているかとか一発でみれて便利！
ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔこんな使い方も！
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

49. Mackerelを導入してみて
現在台湾版pairsにのみ導入済みですが、
今後は日本版pairs、Couplesにも導入予定です！
ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ
ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ ʕº ̫͡ºʔ
ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

50. Mackerelを導入してみて
導入時のMackerelとdatadogの比較（個人の感想ですが..）
Mackerel datadog
使いやすさ ◎ ⃝
デザイン シンプルで分りやすい クールでかっこいい
日本語 ◎ △

51. Mackerelを導入してみて
日本語でサポートが受けられるのはありがたいです

52. Mackerelを導入してみて
実はこんなことがありました…

53. Mackerelを導入してみて
山下くん！山下くん！ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

54. Mackerelを導入してみて
山下くん！山下くん！ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい、なんでしょう？

55. Mackerelを導入してみて
山下くん！山下くん！ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい、なんでしょう？
この30万円の請求何かわかる？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢

56. Mackerelを導入してみて
山下くん！山下くん！ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい、なんでしょう？
この30万円の請求何かわかる？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < ？？？

57. Mackerelを導入してみて
山下くん！山下くん！ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい、なんでしょう？
この30万円の請求何かわかる？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < ？？？
あれ ？ datadog？

58. Mackerelを導入してみて
山下くん！山下くん！ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < はい、なんでしょう？
この30万円の請求何かわかる？ > ʕ̡̢̡
ʘ̅ ͟ ͡
͜ʘ̲̅ʔ̢̡̢
ʕº ̫͡ºʔ < ？？？
あれ ？ datadog？
（嫌な予感。。。）

59. Mackerelを導入してみて
ʕº ̫͡ºʔ
エージェントは全部止めてるし…
サービスメトリックも取らないようにしてあるし…

60. Mackerelを導入してみて
ʕº ̫͡ºʔ
？
？
？
？

61. Mackerelを導入してみて
ʕº ̫͡ºʔ
？！ ！
？

62. Mackerelを導入してみて
ʕº ̫͡ºʔインテグレーション…!?!?

63. Mackerelを導入してみて
ʕº ̫͡ºʔ
datadog
AWS-EC2インテグレーション：ON
インスタンス数分 x 単価 = 30万円
発生してしまいました。。。
もちろんdatadog側は悪くないのですが、ドキュメントを
ちゃんと読まなかった罰ですね…orz

64. Mackerelを導入してみて
分りやすいMackerelさんは安心です！

65. まとめ
・Mackerelとても楽しいです
・わかりやすくて導入しやすいという点が非常に良かったです
・開発も早いのでこれからもっと楽しみです
・コントリビューションもっと活発にして行って
Mackerel盛り上げていきたいです！

66. セグメントNo1サービス
グローバルビジネス
ハイブリッドエンジニア
pairs Goフルスクラッチ
大規模行動データ解析
マッチングアルゴリズム
Business Engineering Big Data
「世界で愛されるサービス」一緒に作りませんか？

67. ご清聴ありがとうございました
Credit: NASA Earth Observatory/NOAA NGDC