LT: Fluentd から BigQuery へデータ投入

1. BigQuery + Fluentd
2014/12/13
GDG Kyoto 2014 年忘れ勉強会

2. BigQuery とは...
 Google Cloud Platform で
提供されるサービスのひとつ
 RDBライクな分散クエリエンジン
巨大なデータベースに対して
高速にクエリ処理できる
他社製品だと，Redshift(AWS),
Impala(Cloudera), Vertica(HP) など

3. 速さの秘訣①
 カラム志向型データベース
3
テーブル 通常のRDBMS
BigQuery
列方向のスキャンが速い！
（平均，最大/最小値，...）

4. 速さの秘訣②
 分散処理
4
クエリ
数千台！

5. お高いんでしょ？？
 ストレージ料金
 容量：$0.02 / GB・月
 ストリーム投入：$0.01 / 10万行 (2015年～)
（※MB・秒 単位で計算される）
 クエリ料金
 オンデマンドタイプの時
• $5 / TB (MB単位)
 予約タイプの時
• 月額$2万 / 毎秒5GB
5

6. 使い方
 Developpers Console
(console.developers.google.com) から
BigQuery APIを有効にする
6

7. 使い方
 BigQueryのコンソールに移動して操作
 データセットやテーブルの作成・削除
 データインポート
 クエリ実行
7

8. Fluentd
 オープンソースの
ログ集約管理ソフトウェア
 TresureData製
 syslogやログファイルからデータを収集し
集計処理や伝送処理を受け持つ。
8
DB
監視
ツール
Erasticsearch
S3
Bigquery ...
Kibana
Grafana ...

9. ということで，組み合わせてみる
9
RaspberryPi
BigQuery
Python

10. BigQuery のテーブルスキーマ
10
> bq mk -t kosaic-jp:fluent_test.fluent_test
schema.json
Google Cloud SDK Shell から
プロジェクト名:データセット名.テーブル名[
{
"name": "time",
"type": "TIMESTAMP"
},
{
"name": "value",
"type": "FLOAT"
}
]

11. fluentd.conf
11
<source>
type forward
port 24224
</source>
<match test.**>
type bigquery
method insert
auth_method private_key
email ～～@developer.gserviceaccount.com
private_key_path ～.p12
project kosaic-jp
dataset fluent_test
table fluent_test
time_format %s
time_field time
fetch_schema true
field_integer time
</match>
← OAuthの秘密鍵ファイル(P12)パス
← OAuthのメールアドレス
← プロジェクト名
← データセット名
← テーブル名
← タグ

12. Python
12
#!/usr/bin/python
import time
from fluent import sender
from fluent import event
FL_TAG="test"
# init fluentd
sender.setup(FL_TAG)
# send data
event.Event("metrics", {
"value": 6.0
})

13. Demo
13

14. まとめ
14
という記事がQiitaにありましたので
今回試してみました。
詳しいことを知りたいかたは
以下の元記事をごらんください (_ _)
『Raspberry PiからFluentdでBigQueryにデータを送る
ウェザーステーションの作り方』
http://qiita.com/kazunori279/items/0f8d827ac9966c9804ab