Submit Search
Upload
Fluentdへようこそ
•
4 likes
•
2,881 views
Manabu Shinsaka
Follow
10分で説明するfluentd 社内勉強会用の資料 fluentdの概要とプラグイン作成が簡単であることのアピール
Read less
Read more
Technology
Report
Share
Report
Share
1 of 21
Download now
Download to read offline
Recommended
Fluentdの使い方
Fluentdの使い方
Tomohiro Goya
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Kibanaでログを可視化してみた
Kibanaでログを可視化してみた
Daigou Harada
それFluentdで! #fluentd
それFluentdで! #fluentd
Atsuko Shibuya
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Kensuke Maeda
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207
Jun Ohtani
Node予備校 vol.1 名古屋
Node予備校 vol.1 名古屋
Mori Shingo
オンプレ&HTTP Proxyな環境でRancherOS入れてみた話
オンプレ&HTTP Proxyな環境でRancherOS入れてみた話
YASUKAZU NAGATOMI
Recommended
Fluentdの使い方
Fluentdの使い方
Tomohiro Goya
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Kibanaでログを可視化してみた
Kibanaでログを可視化してみた
Daigou Harada
それFluentdで! #fluentd
それFluentdで! #fluentd
Atsuko Shibuya
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Kensuke Maeda
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207
Jun Ohtani
Node予備校 vol.1 名古屋
Node予備校 vol.1 名古屋
Mori Shingo
オンプレ&HTTP Proxyな環境でRancherOS入れてみた話
オンプレ&HTTP Proxyな環境でRancherOS入れてみた話
YASUKAZU NAGATOMI
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
Shinsuke Sugaya
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Tadayasu Yotsu
ZabbixのAPIを使って運用を楽しくする話
ZabbixのAPIを使って運用を楽しくする話
Masahito Zembutsu
Solr 4.0 の主な機能
Solr 4.0 の主な機能
Shinichiro Abe
PaaSの作り方 Sqaleの場合
PaaSの作り方 Sqaleの場合
hiboma
20160929_InnoDBの全文検索を使ってみた by 株式会社インサイトテクノロジー 中村範夫
20160929_InnoDBの全文検索を使ってみた by 株式会社インサイトテクノロジー 中村範夫
Insight Technology, Inc.
Osc2015 hokkaido postgresql-semi-stuructured-datatype
Osc2015 hokkaido postgresql-semi-stuructured-datatype
Toshi Harada
raspi + soracom #pakeana33
raspi + soracom #pakeana33
@ otsuka752
Lagopus 0.2
Lagopus 0.2
Masaru Oki
Custom Scan API - PostgreSQL Unconference #3 (18-Jan-2014)
Custom Scan API - PostgreSQL Unconference #3 (18-Jan-2014)
Kohei KaiGai
[data analytics showcase] B12: サーバー1,000台を監視するということ by 株式会社インサイトテクノロジー 小幡 一郎
[data analytics showcase] B12: サーバー1,000台を監視するということ by 株式会社インサイトテクノロジー 小幡 一郎
Insight Technology, Inc.
Lagopus 0.2.2
Lagopus 0.2.2
Masaru Oki
コンテナ情報交換会2
コンテナ情報交換会2
Masahide Yamamoto
OpenStack + Common Lisp
OpenStack + Common Lisp
irix_jp
NanoStrand
NanoStrand
Masashi Umezawa
Do postgres-dream-of-graph-database
Do postgres-dream-of-graph-database
Toshi Harada
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
知教 本間
Capistranoで自動デプロイ
Capistranoで自動デプロイ
toyoshi
あなたの知らないPostgreSQL監視の世界
あなたの知らないPostgreSQL監視の世界
Yoshinori Nakanishi
C#次世代非同期処理概観 - Task vs Reactive Extensions
C#次世代非同期処理概観 - Task vs Reactive Extensions
Yoshifumi Kawai
社内向けTech Talk資料~Fluentdの基本紹介~
社内向けTech Talk資料~Fluentdの基本紹介~
Daisuke Ikeda
FluentdとGrothForecastをインストールする
FluentdとGrothForecastをインストールする
regret raym
More Related Content
What's hot
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
Shinsuke Sugaya
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
Tadayasu Yotsu
ZabbixのAPIを使って運用を楽しくする話
ZabbixのAPIを使って運用を楽しくする話
Masahito Zembutsu
Solr 4.0 の主な機能
Solr 4.0 の主な機能
Shinichiro Abe
PaaSの作り方 Sqaleの場合
PaaSの作り方 Sqaleの場合
hiboma
20160929_InnoDBの全文検索を使ってみた by 株式会社インサイトテクノロジー 中村範夫
20160929_InnoDBの全文検索を使ってみた by 株式会社インサイトテクノロジー 中村範夫
Insight Technology, Inc.
Osc2015 hokkaido postgresql-semi-stuructured-datatype
Osc2015 hokkaido postgresql-semi-stuructured-datatype
Toshi Harada
raspi + soracom #pakeana33
raspi + soracom #pakeana33
@ otsuka752
Lagopus 0.2
Lagopus 0.2
Masaru Oki
Custom Scan API - PostgreSQL Unconference #3 (18-Jan-2014)
Custom Scan API - PostgreSQL Unconference #3 (18-Jan-2014)
Kohei KaiGai
[data analytics showcase] B12: サーバー1,000台を監視するということ by 株式会社インサイトテクノロジー 小幡 一郎
[data analytics showcase] B12: サーバー1,000台を監視するということ by 株式会社インサイトテクノロジー 小幡 一郎
Insight Technology, Inc.
Lagopus 0.2.2
Lagopus 0.2.2
Masaru Oki
コンテナ情報交換会2
コンテナ情報交換会2
Masahide Yamamoto
OpenStack + Common Lisp
OpenStack + Common Lisp
irix_jp
NanoStrand
NanoStrand
Masashi Umezawa
Do postgres-dream-of-graph-database
Do postgres-dream-of-graph-database
Toshi Harada
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
知教 本間
Capistranoで自動デプロイ
Capistranoで自動デプロイ
toyoshi
あなたの知らないPostgreSQL監視の世界
あなたの知らないPostgreSQL監視の世界
Yoshinori Nakanishi
C#次世代非同期処理概観 - Task vs Reactive Extensions
C#次世代非同期処理概観 - Task vs Reactive Extensions
Yoshifumi Kawai
What's hot
(20)
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
Log analysis by using elasticsearch,kibana and fluentd.
Log analysis by using elasticsearch,kibana and fluentd.
ZabbixのAPIを使って運用を楽しくする話
ZabbixのAPIを使って運用を楽しくする話
Solr 4.0 の主な機能
Solr 4.0 の主な機能
PaaSの作り方 Sqaleの場合
PaaSの作り方 Sqaleの場合
20160929_InnoDBの全文検索を使ってみた by 株式会社インサイトテクノロジー 中村範夫
20160929_InnoDBの全文検索を使ってみた by 株式会社インサイトテクノロジー 中村範夫
Osc2015 hokkaido postgresql-semi-stuructured-datatype
Osc2015 hokkaido postgresql-semi-stuructured-datatype
raspi + soracom #pakeana33
raspi + soracom #pakeana33
Lagopus 0.2
Lagopus 0.2
Custom Scan API - PostgreSQL Unconference #3 (18-Jan-2014)
Custom Scan API - PostgreSQL Unconference #3 (18-Jan-2014)
[data analytics showcase] B12: サーバー1,000台を監視するということ by 株式会社インサイトテクノロジー 小幡 一郎
[data analytics showcase] B12: サーバー1,000台を監視するということ by 株式会社インサイトテクノロジー 小幡 一郎
Lagopus 0.2.2
Lagopus 0.2.2
コンテナ情報交換会2
コンテナ情報交換会2
OpenStack + Common Lisp
OpenStack + Common Lisp
NanoStrand
NanoStrand
Do postgres-dream-of-graph-database
Do postgres-dream-of-graph-database
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
Capistranoで自動デプロイ
Capistranoで自動デプロイ
あなたの知らないPostgreSQL監視の世界
あなたの知らないPostgreSQL監視の世界
C#次世代非同期処理概観 - Task vs Reactive Extensions
C#次世代非同期処理概観 - Task vs Reactive Extensions
Similar to Fluentdへようこそ
社内向けTech Talk資料~Fluentdの基本紹介~
社内向けTech Talk資料~Fluentdの基本紹介~
Daisuke Ikeda
FluentdとGrothForecastをインストールする
FluentdとGrothForecastをインストールする
regret raym
Fluentd casual
Fluentd casual
oranie Narut
Pycon2014 django performance
Pycon2014 django performance
hirokiky
関西オープンソース 2008 30days Albumの裏側
関西オープンソース 2008 30days Albumの裏側
Gosuke Miyashita
Djangoフレームワークの紹介
Djangoフレームワークの紹介
Shinya Okano
LogicFlow 概要
LogicFlow 概要
Tomoyuki Obi
140917運用管理勉強会job scheduler
140917運用管理勉強会job scheduler
OSSラボ株式会社
Ansible2.0と実用例
Ansible2.0と実用例
OSSラボ株式会社
Lightweight-Stream-APIのあるAndroidアプリ開発
Lightweight-Stream-APIのあるAndroidアプリ開発
Shinobu Okano
Inside mobage platform
Inside mobage platform
Toru Yamaguchi
Ruby Postgres 2009
Ruby Postgres 2009
Akio Ishida
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
日本Javaユーザーグループ
Programming camp Codereading
Programming camp Codereading
Hiro Yoshioka
How To Drink Wsgi
How To Drink Wsgi
Atsushi Odagiri
Webサーバ勉強会 LT資料
Webサーバ勉強会 LT資料
学 松崎
Rx java x retrofit
Rx java x retrofit
Shun Nakahara
mod_auth_ticket - Bringing Single-Sign-On to lighttpd
mod_auth_ticket - Bringing Single-Sign-On to lighttpd
Taisuke Yamada
NPAPIを使ったandroid標準ブラウザの拡張方法
NPAPIを使ったandroid標準ブラウザの拡張方法
Naruto TAKAHASHI
Fluentd1.2 & Fluent Bit
Fluentd1.2 & Fluent Bit
Seiya Mizuno
Similar to Fluentdへようこそ
(20)
社内向けTech Talk資料~Fluentdの基本紹介~
社内向けTech Talk資料~Fluentdの基本紹介~
FluentdとGrothForecastをインストールする
FluentdとGrothForecastをインストールする
Fluentd casual
Fluentd casual
Pycon2014 django performance
Pycon2014 django performance
関西オープンソース 2008 30days Albumの裏側
関西オープンソース 2008 30days Albumの裏側
Djangoフレームワークの紹介
Djangoフレームワークの紹介
LogicFlow 概要
LogicFlow 概要
140917運用管理勉強会job scheduler
140917運用管理勉強会job scheduler
Ansible2.0と実用例
Ansible2.0と実用例
Lightweight-Stream-APIのあるAndroidアプリ開発
Lightweight-Stream-APIのあるAndroidアプリ開発
Inside mobage platform
Inside mobage platform
Ruby Postgres 2009
Ruby Postgres 2009
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
Programming camp Codereading
Programming camp Codereading
How To Drink Wsgi
How To Drink Wsgi
Webサーバ勉強会 LT資料
Webサーバ勉強会 LT資料
Rx java x retrofit
Rx java x retrofit
mod_auth_ticket - Bringing Single-Sign-On to lighttpd
mod_auth_ticket - Bringing Single-Sign-On to lighttpd
NPAPIを使ったandroid標準ブラウザの拡張方法
NPAPIを使ったandroid標準ブラウザの拡張方法
Fluentd1.2 & Fluent Bit
Fluentd1.2 & Fluent Bit
More from Manabu Shinsaka
Extreme t2nano
Extreme t2nano
Manabu Shinsaka
Amazon RDS (MySQL) 入門
Amazon RDS (MySQL) 入門
Manabu Shinsaka
Redmineでいこう
Redmineでいこう
Manabu Shinsaka
つかおうPaypal決済
つかおうPaypal決済
Manabu Shinsaka
10分でわかる決算書
10分でわかる決算書
Manabu Shinsaka
プレゼンテーション入門
プレゼンテーション入門
Manabu Shinsaka
Amazon Provisioned IOPS for RDS
Amazon Provisioned IOPS for RDS
Manabu Shinsaka
Amazon EBSプロビジョンドIOPS
Amazon EBSプロビジョンドIOPS
Manabu Shinsaka
ZendStudioのご紹介
ZendStudioのご紹介
Manabu Shinsaka
More from Manabu Shinsaka
(9)
Extreme t2nano
Extreme t2nano
Amazon RDS (MySQL) 入門
Amazon RDS (MySQL) 入門
Redmineでいこう
Redmineでいこう
つかおうPaypal決済
つかおうPaypal決済
10分でわかる決算書
10分でわかる決算書
プレゼンテーション入門
プレゼンテーション入門
Amazon Provisioned IOPS for RDS
Amazon Provisioned IOPS for RDS
Amazon EBSプロビジョンドIOPS
Amazon EBSプロビジョンドIOPS
ZendStudioのご紹介
ZendStudioのご紹介
Fluentdへようこそ
1.
fluentdへようこそ サーバーワークス 新坂
2.
アジェンダ 概要 要求 作る 公開する 使う
3.
fluentdとは
4.
fluentdって オープンソースなログコレクタ Input+Buffering+Output JSONで出力 ファイル syslog DBMS apache log アプリケーション ストレージ [{ “type”:
“JSON”} ] http://fluentd.org/
5.
デフォルト プラグイン INPUT Plugin OUTPUT
Plugin in_forward in_http in_unix in_tail in_exec in_syslog in_scribe etc... out_file out_forward out_exec out_copy out_stdout out_s3 out_mongo etc...
6.
コミュニティ プラグイン http://fluentd.org/plugin/
7.
要求は魔物
8.
こんな要求 RDS(MySQL)の general_logを 取得して 保存したい。
9.
捜索 コミュニティプラグインに RDSの slowlogを 取得するものは あった。 (general_log取得ではない)
10.
プラグイン、 ありません
11.
できませんは言いません できませんは 言いません。 福岡県から来ました、 大家志津香です。
12.
プラグイン、 作ります
13.
プラグインを作る プラグインをつくるルールがある。
14.
既存のプラグインを真似る GitHubでソース公開されている (ことが多いようだ) ↓ forkして改造 (ライセンスは確認しつつ)
15.
rubygem
16.
インストール gem install fluent-plugin-rds-log
17.
設定 <source> type rds_log log_type general_log host
hoge.cxsdbrhobd0u.ap-northeast-1.rds.amazonaws.com username shinsaka password hoge refresh_interval 10 auto_reconnect true tag rds.general </source> <match rds.general> type file path /tmp/rds.general </match>
18.
ログ確認 2013-10-25T00:07:35+09:00 rds.general {"event_time":"2013-10-24 15:07:45","user_host":"rdsadmin[rdsadmin] @ localhost [127.0.0.1]","thread_id":"9","server_id":"138 8689632","command_type":"Query","argume nt":"SELECT 1"}
19.
まとめ fluentdで、とりあえずログ採取 扱いやすいデータ
分析もしやすいに違いない
20.
おわり 必要なプラグインは作ってみよう!
21.
資料 Fluentdで始めるリアルタイムでのログ有効活用 http://codezine.jp/article/detail/6958 Fluentd meetup #2 http://www.slideshare.net/treasure-data/fluentdmeetup-2
Download now