Treasure data demo.0517

© SIOS Technology, Inc. All rights Reserved.
データの入力、確認、出力
Treasure Dataの利用方法の紹介
サイオステクノロジー株式会社
クラウドソリューション部
2013.05.17
大村和子
サイオステクノロジー株式会社

自己紹介
名前:大村和子
所属：サイオステクノロジー株式会社
クラウドソリューション部
ビッグデータ技術ブログ書いてます！！
http://sstd-bigdata.blogspot.jp/

目次
全体図
Treasure Dataへtd-agentでデータをイ
ンポート
Treasure Dataのデータの監視と確認
Treasure Dataのデータを出力
Treasure DataとREST
Treasure Dataのその他の機能紹介
Treasure DataとBIツールの連携

全体図

Google Apps
全体図
Amazon Web Service
株価
Treasure Data
Database
Google
Spreadsheet
SiosWebSite
td-agent
Twitter
データ
Faceboo
kデータ
HRForecast
PG
td-agent
MySQL
監視、確認

Treasure Dataへtd-agentでデータをインポート

Treasure Dataへデータをインポート
Treasure Data
Database
SiosWebSite
td-agent

td-agent.confの設定
#/etc/td-agent/td-agent.conf
<source>
type tail
format apache
path /var/log/httpd/access_log
pos_file /var/log/td-agent/httpd-access.log.pos
tag td.sios_web.www_access
</source>
<match td.sios_web.www_access>
type tdlog
apikey XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
auto_create_table
buffer_type file
buffer_path /var/log/td-agent/buffer/td
use_ssl true
</match>
設定ファイルを記述し、
td-agentを動作させる

Treasure Dataのデータの監視と確認

Treasure Dataの監視と確認
Treasure Data
Database
監視、確認

Treasure Dataコンソール
ダッシュボード
データベース
クエリ
インポート
ジョブ
出力先
スケジュール

tdコマンドでも監視できます

Wikiデータの検索
wikimedia.orgの
オープンデータの
約11億レコードが
Treasure Dataに入ってます！！
検索してみましょう！！

HiveQL（はいぶきゅーえる）
SQLに似ているHiveの問い合わせ言語
TreasureDataのデータもこれで検索できます。
select
TD_TIME_FORMAT(time, 'yyyy-MM-dd') as tm
,count(1) as cnt
from wiki_tbl
group by TD_TIME_FORMAT(time, 'yyyy-MM-dd')
↑
日付別の件数を取得するHiveQL

HiveQL（はいぶきゅーえる）の実行１

HiveQL（はいぶきゅーえる）の実行２
実行中
Job Id:2786765

HiveQL（はいぶきゅーえる）の実行３
終了

HiveQL（はいぶきゅーえる）の実行４
結果

Treasure Dataのデータを出力

Treasure Dataのデータを出力
Google Apps
Amazon Web Service
Treasure Data
Database
Google
Spreadsheet
HRForecast
PG
MySQL
BIツール

GoogleスプレッドシートにPush 1
Result（出力先)の登録（現在はtdコマンドからのみ）
$ td result:create my_gspreadsheet
‘gspreadsheet://<user>:<password>@gmail.com/<ブック名>’

先ほどのwikiのクエリを指定し、Resultに
先ほど作った名前とシート名を設定
{Result名}:{シート名}
my_gspreadsheet:wiki_list

結果

定期的に出力することも可能

MySQLに出力
Googleスプレッドシートとほぼ同じです
$ td result:create my_db
‘mysql://<user>:<password>@<host>/<db>’

Treasure DataとREST

現在、標準ライブラリが用意されている言語
•Ruby
•Java
•Node.js

こんなかんじです（Ruby）
#Treasure Dataクライアント作成
cln = TreasureData::Client.new(ENV['TREASURE_DATA_API_KEY'])
#過去3日分のデータを取得
sql = "select close ,date_time,low,high from stocks where code=3744 and date_time >= '"
+ str_startday + "'"
#query
job = cln.query("rps_db",sql)
#wait
until job.finished?
sleep 2
job.update_progress!
end
#get data
job.result_each{|row|
#send data
res = Net::HTTP.post_form(URI.parse('http://localhost:5127/api/stocks/sios/price'),
{'number'=>row[0].to_i.to_s, 'datetime'=>row[1].to_s})
}

HRForecastに書き込んでみました。

Treasure Dataのその他の機能紹介

Bulk Import
すでに大量の過去ログがある
んだけど。。
大丈夫です！
Bulk Importで確実に
インポートできます！

手動インポート
ちょっとだけ手動でデータを
インポートしたいんだけど。。
大丈夫です！
ちょっともできます。
コンソールからも可能です。

データの分析
Treasure Data中のデータを
分析したいんだけど。。
大丈夫です！
各種BIツールと連携できます！！

Treasure DataとBIツールの連携

どのようなツールが利用できるの？
Treasure Dataはデータベース内の
データをさまざまなBIツールから
直接利用することができます。
• JDBC接続
• ODBC接続（準備中）
• Treasure Data専用の設定

Metric InsightsとTreasure Data

最後に宣伝です

ビッグデータに関する技術支援もしています
• アトリビューション分析支援
• マイニング用リソース構築(RDB,NoSQL)
• 形態素解析支援（MeCab等）
• データ分析支援（R言語）
• BIツール紹介
Treasure Dataの導入支援、サポート以外にも
いろいろやってます！

ブログもやってます！
SIOSビッグデータ技術ブログ
http://sstd-bigdata.blogspot.jp/
「ビッグデータブログ」
で検索！

ご清聴ありがとうございました。

Treasure data demo.0517

Recomendados

Recomendados

Más contenido relacionado

Similar a Treasure data demo.0517

Similar a Treasure data demo.0517 (20)

Último

Último (7)

Treasure data demo.0517