Analytics CloudとEmbulkを使ったツイッターのデータを分析してみた話

1. Analytics CloudとEmbulk
を使った社会的データの分析
株式会社ウフル 田実 誠

2. Who Am I?
名前：田実 誠
所属：ウフルの人
Salesforce Summer Tokyoに申し込まずにコミュニ
ティハッピーアワーにだけ飛び入り参加する不心得者は
私の事です。
Blog: http://freedom-man.com/blog/
Github: tzmfreedom
Twitter: @tzm_freedom
SlideShare: tzm_freedom

3. Analytics Cloud？
• BIツール付きデータストアな、大量データ分析プラットフォーム
• 億レベルのレコード数のデータを格納／解析可能
• レンズ、ダッシュボードによるクリックベースの設定
• SAQL（Apache Pig Latinライクなクエリ言語）
• フロントエンドはReact/EclairNG
• 転置インデックス
• カラムナーDB
概要資料
http://www.salesforce.com/jp/analytics-cloud/overview/
アーキテクチャ
http://www.slideshare.net/mokamoto/biweb
“Analytics Cloud用”のDeveloper環境で試せる！
https://developer.salesforce.com/promotions/orgs/wave-de

4. AnalyticsCloudのUIから取り込めるデータ種別

5. AnalyticsCloudのUIから取り込めるデータ種別
び、微妙…

6. AnalyticsCloudのUIから取り込めるデータ種別
S3とかTreasureDataとかBigQueryとかRedShiftとかHDFSとか、そういうところからロードしたいはず。
え、CSVだけ…？
それ以外はファイル変換しなきゃダメなの…？
普通のRDBからも入力したいな…
んーエンジニアっぽくテキストベースでスマートに
バルクロードできるやつないかなー

7. ということでEmbulkに目を付けた
• バルクデータローダなOSS
• 並列処理をすることで高速なアップロードを実現
• Fluentdのバッチ版
• Fluentd同様プラガブルなアーキテクチャ
• リトライ／エラーハンドリング
→利用するプラグインに依存するけど…
• 設定ファイルをある程度自動的に作成してくれる仕組み(guess)
• TreasureDataが担っているOSS
$ embulk run config.yml

8. embulk-output-analytics_cloudをリリース

9. こんな感じで設定すればおｋ
out:
type: analytics_cloud
username: hoge@example.com
password: xxxxxx
edgemart_alias: foobar
auto_metadata_settings: {} INPUTから算出したスキーマ情報から、自動
的にメタデータJSONを作ってくれる。
明示的に指定することも可能

10. 全体こんな感じ
in:
type: s3
bucket: tzmfreedom-tweet-stock
path_prefix: sakamichi/2016/05/01
endpoint: s3-ap-northeast-1.amazonaws.com
access_key_id: AKI******
secret_access_key: *******
decoders:
- {type: gzip}
parser:
type: jsonl
charset: UTF-8
newline: CRLF
columns:
- {name: id_str, type: string}
- {name: text, type: string}
- {name: timestamp_ms, type: string}
filters:
- type: typecast
columns:
- {name: created_at, type: timestamp, format: "%a %b %d %H:%M:%S %z %Y"}
out:
type: analytics_cloud
username: hoge@example.com
password: *******
edgemart_alias: foobar
auto_metadata_settings: {}
S3から
jsonl形式のデータを
gzipで圧縮されたファイルで
AnalyticsCloudにロードする

11. 嫌な予感しかしないDEMO
今回は乃木坂46, 欅坂46に関するツイートを集めて
Analytics Cloudで分析。
Twitter Streaming APIで
各メンバーの名前及びグループ名が
入っているツイートをリアルタイムに取得
embulk-output-
analytics_cloud
jsonlファイルとして格納

12. Embulkの起動

13. ジョブはこんな感じ

14. ツイート分析ダッシュボード