Enviar búsqueda
Cargar
Shadow Server on Fluentd at Fluentd Casual Talks #3
•
21 recomendaciones
•
7,164 vistas
Naotoshi Seo
Seguir
Educación
Vista de diapositivas
Denunciar
Compartir
Vista de diapositivas
Denunciar
Compartir
1 de 41
Descargar ahora
Descargar para leer sin conexión
Recomendados
Serfが面白いと俺の中で話題にwwwwww 【改訂版】
Serfが面白いと俺の中で話題にwwwwww 【改訂版】
Masahito Zembutsu
ドリコムを支える課金ライブラリを支えるJenkins
ドリコムを支える課金ライブラリを支えるJenkins
Go Sueyoshi (a.k.a sue445)
ドリコムのインフラCI
ドリコムのインフラCI
Go Sueyoshi (a.k.a sue445)
【20211202_toranoana.deno#3】denoでFFI
【20211202_toranoana.deno#3】denoでFFI
虎の穴 開発室
Pyconjp2014_implementations
Pyconjp2014_implementations
masahitojp
社内ツールが支えるドリコムの社内勉強会文化 #metabenkyokai
社内ツールが支えるドリコムの社内勉強会文化 #metabenkyokai
Go Sueyoshi (a.k.a sue445)
XML-RPC : Pythonが「電池付属」と呼ばれる理由
XML-RPC : Pythonが「電池付属」と呼ばれる理由
Ransui Iso
Inside FastEnum
Inside FastEnum
Takaaki Suzuki
Recomendados
Serfが面白いと俺の中で話題にwwwwww 【改訂版】
Serfが面白いと俺の中で話題にwwwwww 【改訂版】
Masahito Zembutsu
ドリコムを支える課金ライブラリを支えるJenkins
ドリコムを支える課金ライブラリを支えるJenkins
Go Sueyoshi (a.k.a sue445)
ドリコムのインフラCI
ドリコムのインフラCI
Go Sueyoshi (a.k.a sue445)
【20211202_toranoana.deno#3】denoでFFI
【20211202_toranoana.deno#3】denoでFFI
虎の穴 開発室
Pyconjp2014_implementations
Pyconjp2014_implementations
masahitojp
社内ツールが支えるドリコムの社内勉強会文化 #metabenkyokai
社内ツールが支えるドリコムの社内勉強会文化 #metabenkyokai
Go Sueyoshi (a.k.a sue445)
XML-RPC : Pythonが「電池付属」と呼ばれる理由
XML-RPC : Pythonが「電池付属」と呼ばれる理由
Ransui Iso
Inside FastEnum
Inside FastEnum
Takaaki Suzuki
【Unite Tokyo 2019】Understanding C# Struct All Things
【Unite Tokyo 2019】Understanding C# Struct All Things
UnityTechnologiesJapan002
GitHub APIとfreshで遊ぼう
GitHub APIとfreshで遊ぼう
虎の穴 開発室
【20220120 toranoana.deno#4】denoでffiの続き
【20220120 toranoana.deno#4】denoでffiの続き
虎の穴 開発室
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
Go Sueyoshi (a.k.a sue445)
Consulを頑張って理解する
Consulを頑張って理解する
Masakazu Watanabe
ご注文は監視自動化ですか?
ご注文は監視自動化ですか?
Masahito Zembutsu
Consul は 全自動オーケストレーションの 夢を見るか?
Consul は 全自動オーケストレーションの 夢を見るか?
Uchio Kondo
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ai Makabi
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
Atsuo Ishimoto
最速C# 7.x
最速C# 7.x
Yamamoto Reki
VPP事始め
VPP事始め
npsg
Rust-DPDK
Rust-DPDK
Masaru Oki
VTI の中身
VTI の中身
Masakazu Asama
Rust-DPDK
Rust-DPDK
Masaru Oki
RUNNING Smalltalk - 実践Smalltalk
RUNNING Smalltalk - 実践Smalltalk
Sho Yoshida
最強のPHP統合開発環境 PHPStorm
最強のPHP統合開発環境 PHPStorm
晃 遠山
Perl/CGI 入門
Perl/CGI 入門
keroyonn
Kotlinではじめる Webアプリケーション入門
Kotlinではじめる Webアプリケーション入門
虎の穴 開発室
Vyatta 改造入門
Vyatta 改造入門
Masakazu Asama
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
Yoshifumi Kawai
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
外道 父
NHNグループ合同勉強会 ライブドア片野
NHNグループ合同勉強会 ライブドア片野
livedoor
Más contenido relacionado
La actualidad más candente
【Unite Tokyo 2019】Understanding C# Struct All Things
【Unite Tokyo 2019】Understanding C# Struct All Things
UnityTechnologiesJapan002
GitHub APIとfreshで遊ぼう
GitHub APIとfreshで遊ぼう
虎の穴 開発室
【20220120 toranoana.deno#4】denoでffiの続き
【20220120 toranoana.deno#4】denoでffiの続き
虎の穴 開発室
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
Go Sueyoshi (a.k.a sue445)
Consulを頑張って理解する
Consulを頑張って理解する
Masakazu Watanabe
ご注文は監視自動化ですか?
ご注文は監視自動化ですか?
Masahito Zembutsu
Consul は 全自動オーケストレーションの 夢を見るか?
Consul は 全自動オーケストレーションの 夢を見るか?
Uchio Kondo
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ai Makabi
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
Atsuo Ishimoto
最速C# 7.x
最速C# 7.x
Yamamoto Reki
VPP事始め
VPP事始め
npsg
Rust-DPDK
Rust-DPDK
Masaru Oki
VTI の中身
VTI の中身
Masakazu Asama
Rust-DPDK
Rust-DPDK
Masaru Oki
RUNNING Smalltalk - 実践Smalltalk
RUNNING Smalltalk - 実践Smalltalk
Sho Yoshida
最強のPHP統合開発環境 PHPStorm
最強のPHP統合開発環境 PHPStorm
晃 遠山
Perl/CGI 入門
Perl/CGI 入門
keroyonn
Kotlinではじめる Webアプリケーション入門
Kotlinではじめる Webアプリケーション入門
虎の穴 開発室
Vyatta 改造入門
Vyatta 改造入門
Masakazu Asama
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
Yoshifumi Kawai
La actualidad más candente
(20)
【Unite Tokyo 2019】Understanding C# Struct All Things
【Unite Tokyo 2019】Understanding C# Struct All Things
GitHub APIとfreshで遊ぼう
GitHub APIとfreshで遊ぼう
【20220120 toranoana.deno#4】denoでffiの続き
【20220120 toranoana.deno#4】denoでffiの続き
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
Consulを頑張って理解する
Consulを頑張って理解する
ご注文は監視自動化ですか?
ご注文は監視自動化ですか?
Consul は 全自動オーケストレーションの 夢を見るか?
Consul は 全自動オーケストレーションの 夢を見るか?
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
最速C# 7.x
最速C# 7.x
VPP事始め
VPP事始め
Rust-DPDK
Rust-DPDK
VTI の中身
VTI の中身
Rust-DPDK
Rust-DPDK
RUNNING Smalltalk - 実践Smalltalk
RUNNING Smalltalk - 実践Smalltalk
最強のPHP統合開発環境 PHPStorm
最強のPHP統合開発環境 PHPStorm
Perl/CGI 入門
Perl/CGI 入門
Kotlinではじめる Webアプリケーション入門
Kotlinではじめる Webアプリケーション入門
Vyatta 改造入門
Vyatta 改造入門
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
Similar a Shadow Server on Fluentd at Fluentd Casual Talks #3
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
外道 父
NHNグループ合同勉強会 ライブドア片野
NHNグループ合同勉強会 ライブドア片野
livedoor
Cloudera impala
Cloudera impala
外道 父
キャパシティ プランニング
キャパシティ プランニング
外道 父
Perl で作るメディアストリーミングサーバー
Perl で作るメディアストリーミングサーバー
Hideo Kimura
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
Go Sueyoshi (a.k.a sue445)
1Uサーバーから始めるスケーラブルな「mCloud Project Server」
1Uサーバーから始めるスケーラブルな「mCloud Project Server」
Satoshi Konno
そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
エピック・ゲームズ・ジャパン Epic Games Japan
プライベートクラウド作ってみました
プライベートクラウド作ってみました
Koji Hasebe
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
VirtualTech Japan Inc.
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
日本Javaユーザーグループ
otomodachi-kakumei
otomodachi-kakumei
Uchio Kondo
Lagopusで試すFirewall
Lagopusで試すFirewall
Tomoya Hibi
Try new transport protocol SRT (ver. 2)
Try new transport protocol SRT (ver. 2)
Tetsuyuki Kobayashi
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
Tomoya Hibi
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
Kazuho Oku
DeNAでのVertica運用
DeNAでのVertica運用
Shota Suzuki
Serf という Orchestration ツール #immutableinfra
Serf という Orchestration ツール #immutableinfra
Naotoshi Seo
FFRKを支えるWebアプリケーションフレームワークの技術
FFRKを支えるWebアプリケーションフレームワークの技術
dena_study
小さく始める Docker container の deploy
小さく始める Docker container の deploy
Yoshinori Teraoka
Similar a Shadow Server on Fluentd at Fluentd Casual Talks #3
(20)
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
NHNグループ合同勉強会 ライブドア片野
NHNグループ合同勉強会 ライブドア片野
Cloudera impala
Cloudera impala
キャパシティ プランニング
キャパシティ プランニング
Perl で作るメディアストリーミングサーバー
Perl で作るメディアストリーミングサーバー
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
1Uサーバーから始めるスケーラブルな「mCloud Project Server」
1Uサーバーから始めるスケーラブルな「mCloud Project Server」
そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
プライベートクラウド作ってみました
プライベートクラウド作ってみました
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
otomodachi-kakumei
otomodachi-kakumei
Lagopusで試すFirewall
Lagopusで試すFirewall
Try new transport protocol SRT (ver. 2)
Try new transport protocol SRT (ver. 2)
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
DeNAでのVertica運用
DeNAでのVertica運用
Serf という Orchestration ツール #immutableinfra
Serf という Orchestration ツール #immutableinfra
FFRKを支えるWebアプリケーションフレームワークの技術
FFRKを支えるWebアプリケーションフレームワークの技術
小さく始める Docker container の deploy
小さく始める Docker container の deploy
Más de Naotoshi Seo
ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
Naotoshi Seo
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
Naotoshi Seo
Mobage を支える Ruby の技術 ~ 複数DB編 ~
Mobage を支える Ruby の技術 ~ 複数DB編 ~
Naotoshi Seo
Fluentd Hacking Guide at RubyKaigi 2014
Fluentd Hacking Guide at RubyKaigi 2014
Naotoshi Seo
InfluxDB の概要 - sonots #tokyoinfluxdb
InfluxDB の概要 - sonots #tokyoinfluxdb
Naotoshi Seo
Sinatra Pattern 20130415
Sinatra Pattern 20130415
Naotoshi Seo
Is ruby logger thread(process)-safe? at RubyConf 2013
Is ruby logger thread(process)-safe? at RubyConf 2013
Naotoshi Seo
Yohoushi
Yohoushi
Naotoshi Seo
Haikanko rubykaigi 20130531
Haikanko rubykaigi 20130531
Naotoshi Seo
Mina 20130417
Mina 20130417
Naotoshi Seo
Fluentdcasual 02-haikanko
Fluentdcasual 02-haikanko
Naotoshi Seo
capistrano-colorized-stream
capistrano-colorized-stream
Naotoshi Seo
Ruby test double
Ruby test double
Naotoshi Seo
Más de Naotoshi Seo
(13)
ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
Mobage を支える Ruby の技術 ~ 複数DB編 ~
Mobage を支える Ruby の技術 ~ 複数DB編 ~
Fluentd Hacking Guide at RubyKaigi 2014
Fluentd Hacking Guide at RubyKaigi 2014
InfluxDB の概要 - sonots #tokyoinfluxdb
InfluxDB の概要 - sonots #tokyoinfluxdb
Sinatra Pattern 20130415
Sinatra Pattern 20130415
Is ruby logger thread(process)-safe? at RubyConf 2013
Is ruby logger thread(process)-safe? at RubyConf 2013
Yohoushi
Yohoushi
Haikanko rubykaigi 20130531
Haikanko rubykaigi 20130531
Mina 20130417
Mina 20130417
Fluentdcasual 02-haikanko
Fluentdcasual 02-haikanko
capistrano-colorized-stream
capistrano-colorized-stream
Ruby test double
Ruby test double
Último
UniProject Workshop Make a Discord Bot with JavaScript
UniProject Workshop Make a Discord Bot with JavaScript
yuitoakatsukijp
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
Tokyo Institute of Technology
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
koheioishi1
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ssusere0a682
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
YukiTerazawa
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ssusere0a682
Último
(6)
UniProject Workshop Make a Discord Bot with JavaScript
UniProject Workshop Make a Discord Bot with JavaScript
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習105 -n人囚人のジレンマモデル- #ゲーム理論 #gametheory #数学
Shadow Server on Fluentd at Fluentd Casual Talks #3
1.
Fluentd で Shadow
サーバ用意し たら捗った話(と性能検証の話) December 13th, 2013 Naotoshi Seo @sonots PFSYS DEPT, GPS DIV., DeNA Co., Ltd. Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
2.
かじゅある!(挨拶 2 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
3.
自己紹介 ・Naotoshi Seo ・@sonots ・インフラアプリエンジニア ・Fluentdコミッタ 3 Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
4.
Haikanko Fluentd クラスタ管理ツール ログのパス ホスト 監視ワード デプロイボタン http://blog.livedoor.jp/sonots/archives/23590458.html Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
5.
Yohoushi 分散GrowthForecastグラフツール http://blog.livedoor.jp/sonots/archives/29646713.html Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
6.
Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
7.
弊社のFluentd事例 7 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
8.
Fluentdの用途 ⁃ ログ監視 ⁃ grep,
grepcounter, ikachan, mail ⁃ ログ可視化 ⁃ datacounter, numeric-monitor, calc, yohoushi, record-reformer ⁃ ログ収集 ⁃ rewrite, file-alternative http://blog.livedoor.jp/sonots/archives/25861525.html 8 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
9.
アーキテクチャ watcherを監視 ・ホスト毎の通知をまとめたりグラフ集計する serializer ノード ・fluent-plugin-ping-message
を使った Fluentd プロセスの生存監視 9 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
10.
弊社の事例の規模 ⁃ Fluentd152プロセス ⁃ 600万行/min ⁃
10万行/sec (at peak) 世界最大級の Fluentd ユーザ (conf的な意味でw 10 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
11.
本題 11 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
12.
困ってるんです(31歳 男性 ⁃ Fluentd
のプラグインを作った!単体テストも書いた! ⁃ 実際に本番に入れてみてたら変なデータ(例えば UTF-8 invalid とかとか!)が入ってきてあぼーん ⁃ Fluentd の設定を書いた!動作確認もした! ⁃ 実際に本番に入れてみたら負荷があがってあぼーん あるある! 12 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
13.
そこで Shadow サーバ 13 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
14.
Shadow (プロキシ)サーバとは Webアプリケーションのテストをいくら入念に整備したとしても、実際 に起こり得るすべての可能性を網羅することは難しいのはもちろん、同じ コードを複数の環境(言語やフレームワーク、ミドルウェア等のバージョ ン)で同じように動作することを保証するのは至難の業です。そこで、ユ ーザの実リクエストを複製して、稼働中の環境とは別に用意したテスト用 の環境にもリクエストを送ることで検証をするというアプローチがとられ ます。そのために使われるツールのことを、シャドウプロキシサーバ (shadow proxy
server)と呼びます。 主な実装 ・Kage (Ruby) ・Geest (Perl) ・Delta (Go) http://qiita.com/kentaro/items/17e2c334a902677af995 14 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
15.
それ Fluentdでも やりたい ;-) 15 Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
16.
できます 16 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
17.
しかも簡単に 17 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
18.
# deliver.conf <match **> type
copy <store> type forward <server> host real.local port 24224 </server> </store> <store> type forward <server> host shadow.local port 24224 </server> </store> </match> type copy して shadow サーバに forward するだけ (web サーバのようにレスポンスを切る必要すらない) Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. 18
19.
かじゅある! 19 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
20.
導入できたし RubyConf にでも行くか @Miami http://blog.livedoor.jp/sonots/archives/34188090.html 20 Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
21.
リーダー「ちょっと待った。 Fluentdのメモリ使用量すご い増えてない?」 21 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
22.
22 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
23.
え 23 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
24.
/(^o^)\ 24 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
25.
リーダー「直してからMiami 行こうね(にっこり」 25 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
26.
カジュアルすぎた orz カジュアルに試せるように導入したのに ... 26 Copyright
(C) 2013 DeNA Co.,Ltd. All Rights Reserved.
27.
ちゃんと 性能検証します ... 27 Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
28.
ここから性能検証の話 28 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
29.
dummy_log_generator ⁃ ログを吐き出しまくるツール ⁃ 特徴 ⁃
rate (行数/秒)を指定できる ⁃ ログメッセージをランダム生成できる ⁃ dummy_log_generator_simple も付属 ⁃ システムのI/O限界を引き出せる http://qiita.com/sonots/items/750da77a18e62852a02f 29 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
30.
検証環境 ⁃ CPU: Xeon
E5-2670 2.60GHz x 2 (32コア) ⁃ メモリ: 24G ⁃ ディスク読み込み: 250MB/sec (hdparamベンチ) ⁃ ディスク書き込み: 160MB/sec (ddベンチ) 30 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
31.
ログ読み込み(送信なし) 限界 lines /
sec CPU (%) メモリ (kB) fluent-agent-lite 560,219 99.8 952 fluentd v10 (in_tail) 157,148 100.4 38,280 fluentd v10 (in_tail_ex) 154,107 100.1 43,980 fluentd v11 (in_tail) 159,178 99.8 27,372 ・fluent-agent-lite はログ送信しないように改変 https://gist.github.com/sonots/7586077 ・負荷なく計測できるように https://github.com/sonots/fluent-plugin-flowcounter-simple を作成 31 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
32.
ログ送信 32 Copyright (C) 2013
DeNA Co.,Ltd. All Rights Reserved.
33.
out_forward のパラメータ http://d.hatena.ne.jp/tagomoris/20120731/1343707793 33 Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
34.
chunk 毎にTCPソケットをopen/close http://www.slideshare.net/harukayon/fluentd-22317236 34 Copyright (C)
2013 DeNA Co.,Ltd. All Rights Reserved.
35.
ログ送信(1) fluentd v10 (out_forward) buffer_chun k_limit num_thre
限界 lines / sec CPU (%) ads 100k 32 32000 1m 32 100936 100% 10m 32 88208 100% 100m 8 メモリ (kB) 88814 備考 [warn] size of the emitted data exceeds buffer_chunk_limit. 165212 安定時は 150000 lines /sec だ がそれを超えると詰まり始める 詰まった。10 sec に1回まとめ て 888143 行の emit fluentd v10 (keep_forward with keepalive) buffer_chun k_limit num_thre 限界 lines / sec CPU (%) ads 1m 32 115460 103% メモリ (kB) 備考 chunk が小さい場合、keepalive に効果あり。10m では効果なし flush_interval はメモリを出来る限り早く空けるために 0s に固定 buffer_queue_limit は「queue size limit exceeds」の warn が出ない程度に大きくした 35 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
36.
ログ送信(2) 受信(in_forward)は受け取って捨てるだけ (type null) fluent-agent-lite 限界
lines / sec 送信 CPU (%) メモリ (%) 受信 CPU (%) メモリ (%) 528,749 99.8 87% 0.1% 0.3% out_forward はなぜ詰まる? ⁃ fluent-agent-lite はログを送信できない場合は、読み込ま ない、という制御が入っている ⁃ 一方、fluentd は、ログを送信できなくても、どんどんログを 読み込んでしまう ⁃ バッファにログが溜まってどんどん処理効率が落ちて性能劣化 ・fluentd の out_forward にログを出すパッチ https://gist.github.com/sonots/7646378 をあてて計測 ・out_forward って詰まると劣化する? http://togetter.com/li/595607 36 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
37.
ログ送信まとめ ⁃ fluentd の送信制御は
out_forward 側で行われる ⁃ fluent-agent-lite は素晴らしい ⁃ 全く詰まりなし ⁃ 528,749 lines /sec ⁃ out_forward 安定パラメタ ⁃ flush_interval 0s ⁃ buffer_chunk_limit 1m ⁃ num_threads 32 (サーバの数に合わせて要調節) ⁃ 100,936 lines / sec ⁃ chunk が 1m 程度に小さい場合 keepalive に効果あり 37 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
38.
全体まとめ ⁃ Shadow サーバを導入しました ⁃
かじゅあるに本番データでテスト可能になった :D ⁃ Haikanko で Shadow だけ更新できるようにしている ⁃ Deliver ノードの安定パラメータを紹介 ⁃ buffer_chunk_limit 1m が安定 ⁃ ※ただし、詰まりがなければ 10m のほうが性能は出る ⁃ num_threads も大きくしましょう ⁃ 色々作った ⁃ ベンチマークツール dummy_log_generator ⁃ keep_forward で keepalive 接続 38 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
39.
Appendix:アーキテクチャ watcherを監視 ・ホスト毎の通知をまとめたりグラフ集計する serializer ノード ・fluent-plugin-ping-message
を使った Fluentd プロセスの生存監視 39 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
40.
Appendix: 監視の話 ⁃ プロセス監視 ⁃
fluentd は daemontools で起動しているので svstat で生死監視 ⁃ fluent-plugin-ping-message で agent 含め生死監視 ⁃ 重複デーモン監視: 直っているのでやってない ⁃ 負荷監視 ⁃ flowcounter で流量を監視。安定稼働できる流量を把握 ⁃ queue size limit exceeds (out_forward で詰まると出る) ⁃ detached forwarding server の頻度 ⁃ その他各種プラグインのエラーログメッセージ http://www.slideshare.net/GedowFather/fluentd-meetup-2-fluentd http://docs.fluentd.org/ja/articles/monitoring 40 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
41.
Fluentd Advent Calendar
まだ空いてます! http://qiita.com/advent-calendar/2013/fluentd Thank you 41 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Descargar ahora