DOMOユーザー会#1にて登壇した内容＋時間の関係で削ったシートを足したものになります。

1. Copyright © 2004-2007 GREE,Inc. All Rights Reserved.
DOMOによる
モニタリングオートメーションの
ススメ
リクルートジョブズ
商品本部プロダクト開発室
ITマネジメント部ITサービスマネジメントG
吉岡 太郎

2. 私について
• 吉岡 太郎
• 出身
• 東京 国立生まれ
• どんな仕事
• NetyearでIAとして活動。
• その後、GREEでSNS開発ディレクターを担当。
• 2013年からリクルートジョブズで開発側のプランナーと
して、開発フローの改善やツール導入推進など行って
いる。
1

3. DOMOの特徴
1. 様々なデータソースにリンクして、データソースを組み合わせ
てダッシュボードが作れる
▼これは一部です。

4. DOMOの特徴
2. ETL機能が充実。内部JOINや正規化などの処理をビジュアル
プログラミングで行うことができる。
サイカタのコネ
クタでデータ取
得
必要ないカラム
は削除
列展開
内部ジョイン

5. DOMOの特徴
3. MySQLも書けるので、DOMO内にデータマートを作ることがで
きる。

6. 特徴
ETLが充実してるデー
タマート作成兼BI
ハイパーピボットグラフ
ツール
フリーのピボットグラフ
作成BI
得意分野
複数データソースをま
とめて処理すること
指標同士の相関関係
を見つけるのが得意
無料なので人数制限な
くデータ共有できる
権限 こまかく設定可能 こまかく設定可能 設定できない
DWH DWHの構築可能
ないので、別途データ
マート構築必須
ないので、別途データ
マート構築必須
コネクタ
多数用意、
Spreadsheetコネクタ
とFTPコネクタが便利
代表的なDB、
Spreadsheet
代表的なDB、Pandas、
ＵＲＬ（ｊｓｏｎ）
DOMOと他ツールの比較

7. ケーススタディ
DOMOコネクタがない時の
モニタリング・オートメーション実現方法

8. コネクタがない場合の３つの壁
• コネクタがない場合、モニタリングオートメーションを実現するに
は、３つの壁が立ちはだかる！
様々なデータソース
DOMO
データセン
ター
DOMO
ダッシュ
ボード
１
2
3
コネクタ
コネクタ

9. ちなみに、workbenchは使いません
• 理由１：mac環境で作業してるので。
• VMwareなんか使いたくない…結構メモリ消費しちゃうので。
• 理由２：できることが多くない。
• Excel や CSV、ODBC そして QuickBooks などの外部データソースからデータを
定期的に Domo にアップロード…ではたりない
• スクレイピングが必要！
• APIを実行しないといけない！
• 若干のデータ処理したい！タイムスタンプ追加とか。
• シェルで実行したい！
• osxのタスクランナーはiCalのほうが便利！

10. 第１の壁：コネクタがない！…が、APIがある
• 例えば、ExperianのMailPublisherとかSearchmanとか…
コネクタがない！
APIがある！
サービスA

11. 第１の壁の突破：API実行＋FTPコネクタで解決
サービスA ローカル環境
API実行 → ＳＱＬｉｔｅ追記 → CSV生成 → FTPアップ
AWS FTP area DOMO SFTPコネクタ ＤＯＭＯ DWH
カレンダー(iCal)
（スケジューラ）
Ａｕｔｏｍａｔｏｒ
（アプリ実行）
自動実行
実行(ruby)
自動
実行

12. 第１の壁を破壊！
様々なデータソース
DOMO
データセ
ンター
DOMO
ダッシュ
ボード
１
2
3
コネクタ
コネクタ

13. 第２の壁：コネクタもAPIもない…がDOMが見える…
• APIもコネクタもないサービス…。ただHTMLを覗いてみると
データがソースに埋まっているようなサービスなら…
コネクタがない！
<table>
<tr>
<td>
データ
データが埋まってる
APIもない！
サービスB

14. 第２の壁の突破：スクレイピング＋FTPコネクタで解決
AWS FTP area DOMO SFTPコネクタ ＤＯＭＯ DWH
自動
実行
サービスB
ローカル環境
カレンダー(iCal)
（スケジューラ）
Ａｕｔｏｍａｔｏｒ
（アプリ実行）
自動実行
実行(node.js)
CasperJSスクレイピング → ＳＱＬｉｔｅ追記 → CSV生成→
FTPアップ

15. 第２の壁を破壊！
様々なデータソース
DOMO
データセ
ンター
DOMO
ダッシュ
ボード
１
2
3
コネクタ
コネクタ

16. 第３の壁：APIもないし、DOMも見えない…
• 最近ではスクレイピング対策されているサイトも増えてきていま
す、DOM見てもデータがHTMLに埋まってない…
コネクタがない！
<div>
</div>
データが埋まってな
い…
APIもない！
サービスC

17. 第３の壁の突破： Automatorで手作業を自動実行する
AWS FTP area DOMO SFTPコネクタ ＤＯＭＯ DWH
自動
実行
サービスC
ローカル環境
カレンダー(iCal)
（スケジューラ）
Ａｕｔｏｍａｔｏｒ
（アプリ実行）
自動実行
実行(applescript＋cliclick+シェル)
cliclickでログイン → cliclickでCSVダウンロード→ シェルで
CSVを移動 →シェルで追記スクリプト実行 → FTPアップ

18. 第３の壁を破壊！
様々なデータソース
DOMO
データセ
ンター
DOMO
ダッシュ
ボード
１
2
3
コネクタ
コネクタ

19. ３つの壁を撃破してモニタリングオートメーション実現！
様々なデータソース
自動で
定期
取得
DOMO
データセ
ンター
DOMO
ダッシュ
ボード
複数
ソース
の
データ
処理

20. おまけ：コネクタがあるがつかえない
• APIに不具合あって使えないサービス：代表的なのが、
AdobeAnalytics。データ欠損が結構頻発する
正常終了してるけど、
データ欠損！
Adobe
Analytics
接続先
Adobe
Analytics
コネクタ

21. DWH＋FTPコネクタで解決
Adobe DWH
Adobe FTP area
ローカル環境
AWS FTP area DOMO SFTPコネクタ ＤＯＭＯ DWH
CSV自動
送信
自動
実行
ローカル環境
カレンダー(iCal)
（スケジューラ）
Ａｕｔｏｍａｔｏｒ
（アプリ実行）
自動実行
実行(ruby)
CSV取得→FTPエリアの古いCSV削除→CSV整形
→FTPアップ

22. 最後に
エクセル手作業でのデータ集計は
もうやめましょう
モニタリングオートメーションで
空いた工数でより良い打ちてを
考えましょう！
さようなら、Excel

23. 本日の内容は後日、
リクルートジョブズtechblogにて詳細掲載します！
https://techblog.recruitjobs.net/
より良き、モニタリングライフを！！