Enviar búsqueda
Cargar
Fluentとmongoで作るサービス
•
2 recomendaciones
•
5,418 vistas
直也 堀松
Seguir
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 31
Descargar ahora
Descargar para leer sin conexión
Recomendados
Lt
Lt
LGA128
20120512
20120512
YAMANE Toshiaki
Rubyist started to learn Groovy - things important to leran new LL
Rubyist started to learn Groovy - things important to leran new LL
Uchio Kondo
NDEF Writerを使ってみよう
NDEF Writerを使ってみよう
Hirokuma Ueno
coinsLT#0 tkbctf3 miocatができるまで
coinsLT#0 tkbctf3 miocatができるまで
Mei Akizuru
LTSの準備をチョットやってみた。lxcチョット触ってみた
LTSの準備をチョットやってみた。lxcチョット触ってみた
Naoki Matsumoto
第1部「一時間で覚えるruby」
第1部「一時間で覚えるruby」
Hiromu Shioya
Hubotで遊ぶ
Hubotで遊ぶ
treby
Recomendados
Lt
Lt
LGA128
20120512
20120512
YAMANE Toshiaki
Rubyist started to learn Groovy - things important to leran new LL
Rubyist started to learn Groovy - things important to leran new LL
Uchio Kondo
NDEF Writerを使ってみよう
NDEF Writerを使ってみよう
Hirokuma Ueno
coinsLT#0 tkbctf3 miocatができるまで
coinsLT#0 tkbctf3 miocatができるまで
Mei Akizuru
LTSの準備をチョットやってみた。lxcチョット触ってみた
LTSの準備をチョットやってみた。lxcチョット触ってみた
Naoki Matsumoto
第1部「一時間で覚えるruby」
第1部「一時間で覚えるruby」
Hiromu Shioya
Hubotで遊ぶ
Hubotで遊ぶ
treby
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Takuya Ueda
IMのはなし
IMのはなし
stibear (stibear1996)
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
Takuya Ueda
ハニーポットで見る攻撃手法(特に結論はありません)
ハニーポットで見る攻撃手法(特に結論はありません)
abend_cve_9999_0001
ググリワードを探す話
ググリワードを探す話
toru ishikawa
ウェブエンジニアとしての1年目を振り返って
ウェブエンジニアとしての1年目を振り返って
Kohki Yamagiwa
python-ptraceでプロセスメモリエディタっぽいことをしよう
python-ptraceでプロセスメモリエディタっぽいことをしよう
monochrojazz
Open Licensing?
Open Licensing?
真行 八田
Goroutineと channelから はじめるgo言語
Goroutineと channelから はじめるgo言語
Takuya Ueda
Goとテスト
Goとテスト
Takuya Ueda
ret2libcとpopretで初等的BOF攻撃
ret2libcとpopretで初等的BOF攻撃
monochrojazz
NDEF WriterとOSとPaSoRi
NDEF WriterとOSとPaSoRi
Hirokuma Ueno
Osc2011 shibutra-toruuetani
Osc2011 shibutra-toruuetani
toruuetani
仕事でも Groovy を使おう!
仕事でも Groovy を使おう!
Oda Shinsuke
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Takuya Ueda
TddでFizzBuzzしてみる in Swift
TddでFizzBuzzしてみる in Swift
Shoichi Matsuda
Unity3dにおけるus c# boo比較
Unity3dにおけるus c# boo比較
Nobukazu Hanada
運用で爆発四散しないためのメタプログラミングとの付き合い方
運用で爆発四散しないためのメタプログラミングとの付き合い方
Yuki Ishikawa
ルネサスナイト
ルネサスナイト
yamanekko
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
Katsuhiro Endo
PHPでOpenCVしてみた
PHPでOpenCVしてみた
直也 堀松
BigQuery + Fluentd
BigQuery + Fluentd
徹 上野山
Más contenido relacionado
La actualidad más candente
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Takuya Ueda
IMのはなし
IMのはなし
stibear (stibear1996)
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
Takuya Ueda
ハニーポットで見る攻撃手法(特に結論はありません)
ハニーポットで見る攻撃手法(特に結論はありません)
abend_cve_9999_0001
ググリワードを探す話
ググリワードを探す話
toru ishikawa
ウェブエンジニアとしての1年目を振り返って
ウェブエンジニアとしての1年目を振り返って
Kohki Yamagiwa
python-ptraceでプロセスメモリエディタっぽいことをしよう
python-ptraceでプロセスメモリエディタっぽいことをしよう
monochrojazz
Open Licensing?
Open Licensing?
真行 八田
Goroutineと channelから はじめるgo言語
Goroutineと channelから はじめるgo言語
Takuya Ueda
Goとテスト
Goとテスト
Takuya Ueda
ret2libcとpopretで初等的BOF攻撃
ret2libcとpopretで初等的BOF攻撃
monochrojazz
NDEF WriterとOSとPaSoRi
NDEF WriterとOSとPaSoRi
Hirokuma Ueno
Osc2011 shibutra-toruuetani
Osc2011 shibutra-toruuetani
toruuetani
仕事でも Groovy を使おう!
仕事でも Groovy を使おう!
Oda Shinsuke
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Takuya Ueda
TddでFizzBuzzしてみる in Swift
TddでFizzBuzzしてみる in Swift
Shoichi Matsuda
Unity3dにおけるus c# boo比較
Unity3dにおけるus c# boo比較
Nobukazu Hanada
運用で爆発四散しないためのメタプログラミングとの付き合い方
運用で爆発四散しないためのメタプログラミングとの付き合い方
Yuki Ishikawa
ルネサスナイト
ルネサスナイト
yamanekko
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
Katsuhiro Endo
La actualidad más candente
(20)
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
IMのはなし
IMのはなし
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
ハニーポットで見る攻撃手法(特に結論はありません)
ハニーポットで見る攻撃手法(特に結論はありません)
ググリワードを探す話
ググリワードを探す話
ウェブエンジニアとしての1年目を振り返って
ウェブエンジニアとしての1年目を振り返って
python-ptraceでプロセスメモリエディタっぽいことをしよう
python-ptraceでプロセスメモリエディタっぽいことをしよう
Open Licensing?
Open Licensing?
Goroutineと channelから はじめるgo言語
Goroutineと channelから はじめるgo言語
Goとテスト
Goとテスト
ret2libcとpopretで初等的BOF攻撃
ret2libcとpopretで初等的BOF攻撃
NDEF WriterとOSとPaSoRi
NDEF WriterとOSとPaSoRi
Osc2011 shibutra-toruuetani
Osc2011 shibutra-toruuetani
仕事でも Groovy を使おう!
仕事でも Groovy を使おう!
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
TddでFizzBuzzしてみる in Swift
TddでFizzBuzzしてみる in Swift
Unity3dにおけるus c# boo比較
Unity3dにおけるus c# boo比較
運用で爆発四散しないためのメタプログラミングとの付き合い方
運用で爆発四散しないためのメタプログラミングとの付き合い方
ルネサスナイト
ルネサスナイト
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
Destacado
PHPでOpenCVしてみた
PHPでOpenCVしてみた
直也 堀松
BigQuery + Fluentd
BigQuery + Fluentd
徹 上野山
はじめての datadog
はじめての datadog
Naoya Nakazawa
20141008物体検出器
20141008物体検出器
Takuya Minagawa
Opencv object detection_takmin
Opencv object detection_takmin
Takuya Minagawa
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
Takehiro Suemitsu
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
Kentaro Yoshida
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
Amazon Web Services Japan
OpenCVの基礎
OpenCVの基礎
領一 和泉田
OpenCVをAndroidで動かしてみた
OpenCVをAndroidで動かしてみた
徹 上野山
局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出
MPRG_Chubu_University
OpenCVを用いた画像処理入門
OpenCVを用いた画像処理入門
uranishi
OpenCV 3.0 on iOS
OpenCV 3.0 on iOS
Shuichi Tsutsumi
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Norishige Fukushima
Destacado
(14)
PHPでOpenCVしてみた
PHPでOpenCVしてみた
BigQuery + Fluentd
BigQuery + Fluentd
はじめての datadog
はじめての datadog
20141008物体検出器
20141008物体検出器
Opencv object detection_takmin
Opencv object detection_takmin
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
OpenCVの基礎
OpenCVの基礎
OpenCVをAndroidで動かしてみた
OpenCVをAndroidで動かしてみた
局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出
OpenCVを用いた画像処理入門
OpenCVを用いた画像処理入門
OpenCV 3.0 on iOS
OpenCV 3.0 on iOS
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Similar a Fluentとmongoで作るサービス
UnityでのLINQ活用例
UnityでのLINQ活用例
Ryota Murohoshi
オレオレ言語実装に役立つプル型ASTウォーカーAPI
オレオレ言語実装に役立つプル型ASTウォーカーAPI
隆行 神戸
働き方が大きく変わった 入社3年目のときのとあるエピソード
働き方が大きく変わった 入社3年目のときのとあるエピソード
Shohei Okada
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
Eric Sartre
doctest を書こう @ pycon kansai
doctest を書こう @ pycon kansai
YosukeHojo
なぜ今OSGiか
なぜ今OSGiか
Hiroki Kondo
社内発表資料
社内発表資料
ssuser0b0d0b
Seq2Seqでボットづくり
Seq2Seqでボットづくり
Masato Fujitake
Similar a Fluentとmongoで作るサービス
(8)
UnityでのLINQ活用例
UnityでのLINQ活用例
オレオレ言語実装に役立つプル型ASTウォーカーAPI
オレオレ言語実装に役立つプル型ASTウォーカーAPI
働き方が大きく変わった 入社3年目のときのとあるエピソード
働き方が大きく変わった 入社3年目のときのとあるエピソード
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
doctest を書こう @ pycon kansai
doctest を書こう @ pycon kansai
なぜ今OSGiか
なぜ今OSGiか
社内発表資料
社内発表資料
Seq2Seqでボットづくり
Seq2Seqでボットづくり
Último
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
Último
(8)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
Fluentとmongoで作るサービス
1.
FluentdとMongoで作る サービス PHPStudy 73rd @kogarasi_cross
2.
は、、、初20枠です!
3.
自己紹介 名前: こがらし Twitter: @kogarasi_cross 仕事:
Unityを使って飛び跳ねます(物 理)
4.
こんな感じ …なんか違う
5.
冗談はさておき…
6.
まずは登場人物を紹介
7.
8.
Fluentdとは ログ収拾のためのツール とってもPluggableなツール いろんなものを投げれる いろんなものをはける
9.
Fluentdとは Part.2 何を投げれるのか? ログファイル(Tail PHPとかからプッシュ(Socket TwitterのStream←重要
10.
Fluentdとは Part.3 何に投げれるのか 標準出力・ファイル・S3 MySQL/MongoDB…各種DB WebSocket
11.
Fluentdとは Part.4 つまるところ何でもいける! 内部でJSONだったりMsgPackを使って いる。 そういうのをプラグイン上で処理出来れ ばOK
12.
etc めっちゃいろんなプラグインがあります zabbixとか(zabbixってなに twilioとか http://fluentd.org/plugin/
13.
14.
MongoDBとは JSONぽいのを扱えるNoSQL DB Capped Collectionとかいうものがある (これを使う) JSを使って内部で集計処理とかやらせら れる
15.
Capped Collection 保持できるデータ量に制限(Capped)が ついたもの 指定したデータ数・データサイズになる と、自動的に古いものから削除してくれる ※ただし、ユーザー操作でデータの削除や 途中挿入・並び替えは出来ない
16.
ということで本題
17.
あれ、Fluentdって ログ収拾ツールだよね?
18.
そうです! そんなFluentdが今回は主役です!
19.
簡単な物から まずはFluentd単体で! Twitterから“なう"を集める http://nowtter.kogarasi.com
20.
中身 TwitterプラグインでPublic Streamを取得 Rewriteプラグインで”なう”が含まれるツ イートを抽出(日本語なのでTwitter APIで のフィルタリングが出来ない) WebSocketプラグインでクライアントへ転 送(簡単にWSサーバーになってくれる)
21.
チェックポイント サーバーサイドのコーディングしてない
22.
ゲームに転用← 「Stream Fighter」 至って普通のシューティング …ただし、敵が ”つぶやきによって出現すること以外は”
23.
つぶやきの量=時間帯に よってスクリームの沸く 量が変わる ピーク時にやるとかなり つらい
24.
チェックポイント ユーザーに伝わらない←
25.
+MongoDBで Twitterで雨っぽいことを抽出して、各地 のお天気を表示 http://kogarasi.com/weather
26.
27.
簡単な流れ Twitterプラグインでつぶやきを取得 集めたつぶやきから単語で抽出 抽出したつぶやきをMongoDBに片っ端から投げ込 む! Jenkinsで定期的にデータを集計しておく 集計データから現在の状況を表示する
28.
チェックポイント Capped Collectionを利用しているので、 古いデータが自動的に破棄されていく ↑難しいデータ管理とか必要無い 雨には反応するけど、晴れには反応し ない\(^_^)/
29.
まとめ 基本的な部分は動くように”設定”するだ け(Fluentd/MongoDB/Jenkins) コーディングしてるのはフロントエンド に近い部分のみ と思ったけど、集計処理とかは書いてた …
30.
質問とかそういうの
31.
ご清聴 ありがとうございました
Descargar ahora