AlibabaCloud上で実現するTwitter分析ハンズオン

1. DataWorksハンズオン
SBクラウド株式会社
技術部 テクニカルコンサル課
(2019/04/00)

2. ハンズオンで想定するデータパイプライン
2
ログ・業務データ等の
ローデータ
分散
ストレージ
バッチ処理
データを蓄積 データを集計・加工
データマート
分析用に一部を抽出 可視化ツールで
レポート閲覧

3. ハンズオンシステム構成図
3
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

4. 作業の流れ
4
③DataWorks作業
DataWorksAccessKey設定
Project作成
データソース設定
②OSS
Bucket作成
コンテンツアップロード
⑥DataV
サービス有効化（購入）
Project作成
⑤RDS
サービス有効化（購入）
DB作成
①RAM
RAMユーザ作成
ロール作成
Step1. 環境構築
④VPC
VPC作成
vSwitch作成

5. 作業の流れ
5
Step1. 環境構築
# プロダクト 作業内容
1 RAM RAMユーザ作成
ロール作成
2 OSS Bucket作成
データアップロード
3 DataWorks DataWorksAccessKey設定
Project作成
データソース設定
4 VPC VPC作成
vSwitch作成
5 RDS サービス有効化（購入）
DB作成
6 DataV サービス有効化（購入）
Project作成

6. 作業の流れ
6
②ノード作成
Virtual Node
ODPS SQL Node
Data Sync Node
Step2-1. データ同期設定
①BusinessFlow作成
③Nodeの依頼関係設定
Start
④スケジュール設定
⑤JOBのSumbit
①データソース設定
Step2-２. JOB作成 Step2-3. JOB実施状況確認
①JOB実施状況確認

7. サンプルデータダウンロード
7
下記のURLよりダウンロード
https://sbc-assets.oss-ap-northeast-1.aliyuncs.com/dataworks_handson/sampletweet.csv

8. Step1.環境構築
ー プロダクトの購入とインスタンス作成 ー

9. RAM
サービス有効化
RAMユーザー作成
権限付与ポリシー編集
9
ドキュメントURL：
https://jp.alibabacloud.com/help/product/28625.htm?spm=a21mg.m28257.a1.48.121a2f9fZnHaFs

10. 10
アカウント種別 アカウント名 用途
root （メールアドレス） 普段は使用しません。
環境構築など、rootアカウントが必要な操作を行う場合のみ使用します。
RAM bigdata ユーザーのログイン用アカウントです。
普段はこちらのアカウントでコンソールにログインします。
RAM di Data Integration専用アカウントです。
Data IntegrationがOSS・RDSにアクセスするのに使用します。
今回の環境では以下のアカウントを使用します。
次ページからRAMアカウントを作成していきます。
RAM アカウント一覧

11. コンソールからRAMへ
11
①
②

12. RAM ユーザー作成(1)
12
①
②

13. RAM ユーザー作成(2)
13
設定項目 値
ログイン名 bigdata
表示名 bigdata
【ID: bigdata】
設定項目 値
ログイン名 di
表示名 fordi
【ID: di】

14. RAM 権限付与ポリシー編集(1)
14
①
②

15. RAM 権限付与ポリシー編集(2)
15
ポリシーを選択して権限ポリシー
に追加
設定項目 値
追加する権限付与ポリシー AdministratorAccess
【ID: bigdata】
【ID: di】
設定項目 値
追加する権限付与ポリシー AliyunOSSFullAccess
AliyunRDSFullAccess

16. RAM AccessKeyの作成(1)
16
①
②
“di”ユーザーのAccessKeyを後工程で使用するので、作成します。

17. RAM AccessKeyの作成(2)
17
AccessKeyを保存します。
「AK情報を保存」をクリックするとCSVダウンロードが可能です。

18. OSS
購入・バケット作成
デモデータアップロード
18
ドキュメントURL：
https://jp.alibabacloud.com/help/product/31815.htm?spm=a21mg.m28257.a1.8.121a2f9fAyMp7z

19. ハンズオンシステム構成図
19
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

20. OSS（Object Storage Service）とは
20

21. コンソールからOSSへ
21
①
②

22. バケットの作成(1)
22

23. バケットの作成(2)
23
設定項目 値
パケット名 twitter-rawdata<ランダムな数字>
※パケット名はユニークである必要
があります
リージョン Japan(Tokyo)
ストレージクラス 標準ストレージ
ACL 非公開

24. デモデータのアップロード(1)
24

25. デモデータのアップロード(2)
25
設定項目 値
アップロード カレントディレクトリ
ファイルACL パケットから継承
アップロード デモ用ファイル（sampletweet.csv）
「アップロード」を
クリック

26. デモデータのアップロード(3)
26
OSSにファイルをアップロードできました。

27. DataWorks AccessKey 設定（初回アクセス時）
27
DataWorksのタスク実行を円滑にするため、DataWorksにAccess Keyを設定します。
AccessKeyはAlibaba Cloudサービス間の認証のために使用されます。
詳細は下記を参照してください。
https://jp.alibabacloud.com/help/doc-detail/74246.htm

28. ハンズオンシステム構成図
28
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

29. AccessKey取得(1)
29
①
②
rootユーザーのAccessKeyを取得します。

30. AccessKey取得(2)
30

31. AccessKey取得(3)
31
AccessKeyを保存します。
「AK情報を保存」をクリックするとCSVダウンロードが可能です。

32. コンソールからビックデータ概要へ
32
①
②

33. DataWorks AccessKey 設定(1)
33

34. DataWorks AccessKey 設定(2)
34

35. DataWorks AccessKey 設定(3)
35
作成したAccessKeyのIDとSecretを設定します。
設定項目 値
AccessKey ID 先の手順で作成したもの
AccessKey
Secret
先の手順で作成したもの

36. Dataworks
購入・プロジェクト作成
36
ドキュメントURL：
https://jp.alibabacloud.com/help/product/72772.htm?spm=a21mg.m28257.a1.41.d7b92f9fLjwFWc

37. コンソールからDataworksへ
37
①
②

38. MaxComputeの購入(1)
38
“Go buy”をクリックし、購入画面に進み
ます。

39. MaxComputeの購入(2)
39
「東京（日本）」リージョンを選択

40. Data Integrationの購入(1)
40
“Go buy”をクリックし、購入画面に進み
ます。

41. Data Integrationの購入(2)
41
「アジア太平洋NE1（日本）」を選択

42. WorkSpaceを作成（初回作成画面）
42
設定項目 値
project name 任意

43. WorkSpaceの作成完了
43
作成したWorkSpaceが表示されています。
クリックするとDataStudio画面に遷移する。

44. VPC
サービス有効化
VPC作成・vSwitch作成
44
ドキュメントURL：
https://jp.alibabacloud.com/help/product/27706.htm?spm=a21mg.m28257.a1.19.ef882f9fBf0VbT

45. ハンズオンシステム構成図
45
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

46. コンソールからVPCへ
46
①
②

47. VPC作成(1)
47
「VPCの作成」をクリック

48. VPC作成(2)
48
大項目 小項目 値
VPC
名前 任意
例）bigdata-vpc
IPv4 CIDR ブロック 例）
192.168.0.0/16
vSwitch
名前 任意
例）bigdata-vswitch
ゾーン Tokyo Zone A

49. RDS
サービス有効化・DB作成
設定
49
ドキュメントURL：
https://jp.alibabacloud.com/help/product/26090.htm?spm=a21mg.m28257.a1.12.5e4d2f9fXdHbOO

50. ハンズオンシステム構成図
50
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

51. コンソールからRDSへ
51
①
②

52. RDS DB作成(1)
52

53. RDS DB作成(2)
53
「従量課金」をクリック 設定項目 値
リージョン 日本
DBエンジン MySQL
バージョン 5.6
エディション ハイアベイラビリティ
ストレージタイプ ローカルSSD
ゾーン マルチゾーン（ゾーンA+ゾーンB）

54. RDS DB作成(3)
54
大項目 小項目 値
ネットワーク タイプ VPC
VPC bigdata-vpc
vSwitch bigdata-vswitch
インスタンス
タイプ
タイプ 1コア、1GB（インスタン
スタイプコード：
rds.mysql.t1.small）
ストレージ 容量 ５GB
購入プラン 数量 1

55. RDS ホワイトリスト設定(1)
55

56. RDS ホワイトリスト設定(2)
56

57. RDS ホワイトリスト設定(3)
57
設定項目 値
ネットワーク分離
モード
VPC（既定）
グループ名 任意
例）bigdata
ホワイトリスト 以下のIPアドレスをコンマ区切りで入
力してください。
・DataWorksのJapanリージョンのIP
アドレス
IPアドレス一覧は下記参照
https://jp.alibabacloud.com/help/doc-
detail/72977.htm
・ローカルPCのIPアドレス
下記サイトで調べることができます。
https://www.cman.jp/network/support/g
o_access.cgi

58. RDS アカウント作成(1)
58
①
②

59. RDS アカウント作成(2)
59
設定項目 値
データベースアカ
ウント
bigdata
アカウントタイプ 特権アカウント
パスワード 任意

60. RDS データベース作成(1)
60
① ②

61. RDS データベース作成(2)
61
設定項目 値
データベース(DB)
名
twitter
サポートされる文
字コード
utf8
許可されたアカウ
ント
空欄
（何も操作しなくてOKです）

62. RDS テーブル作成(1)
62
①
②
③

63. RDS テーブル作成(2)
63
次の作業で使うので、「インターネットアドレ
ス」をコピーしてください。

64. RDS テーブル作成(1)
64
MySQLクライアントソフトでRDSに接続し、テーブルを作成します。
このハンズオンではクライアントソフトとしてSequel Proを使用します。
※SequelPro… MacOS専用のクライアントソフト。 https://www.sequelpro.com/
設定項目 値
名前 任意
ホスト RDSのインターネットアドレス
（例：rm-
XXXX.mysql.japan.rds.aliyuncs.com
）
ユーザ名 bigdata
パスワード (bigdataのパスワード）
データベース (空欄でOK)
ポート (空欄でOK)
SSLを使用して接
続
チェックしない

65. RDS テーブル作成(2)
65
①”twitter”をクリック
②「クエリ」をクリック
④「前を実行」をクリック
③SQL文を入力
（SQL文は次スライドを参
照）

66. RDS テーブル作成(3)
66
CREATE TABLE `lang_count` (
`lang` varchar(100) DEFAULT NULL,
`count` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
出力テーブル作成

67. RDS テーブル作成(4)
67
テーブルが作成されました。

68. DataV
サービス有効化・Project作成
68
ドキュメントURL：
https://jp.alibabacloud.com/help/product/43570.htm?spm=a21mg.m28257.a1.43.23172f9f6z3bBj

69. ハンズオンシステム構成図
69
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

70. コンソールからDataVへ
70
①
②

71. DataV 購入
71
設定項目 値
リージョン 日本
バージョン ベーシック
購入期間 1年

72. DataV プロジェクト作成(1)
72

73. DataV プロジェクト作成(2)
73
①”Blank Canvas”を選択
②”作成する”をクリック

74. PoC環境構築
Step2-1. データソース設定
ー データソースを設定 ー

75. ハンズオンシステム構成図
75
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

76. Data Integrationの設定
76
Data Integrationをクリック
DataWorksの管理コンソール画面から、
対象のPJの「Enter Project」ボタンク
リックし、「DataStudio」画面に遷移
する。

77. Data Integrationの設定
77
①
②
MaxComputeのテーブルのコネクタ、
デフォルトに作られる。

78. 78
OSSデータソースの設定(1)

79. OSSデータソースの設定(2)
79
設定項目 値
Data Source Name raw_data
Description 任意
Endpoint oss-ap-northeast-1-
internal.aliyuncs.com
Bucket twitter-rawdata<ランダム
な数字>
（パケット作成したもの）
Accesskey ID （RAMユーザー「di」作成
時に作成したAccessKeyの
情報を入力）
AccessKey Secret （RAMユーザー「di」作成
時に作成したAccessKeyの
情報を入力）
接続テストにパスしたら
Completeをクリック

80. (参考) OSS情報の参照箇所
80
Bucket名
Endpoint

81. OSSデータソースの設定(3)
81
先ほど設定したOSSデータソースがこちらに表示されています

82. RDSデータソースの設定(1)
82

83. RDSデータソースの設定(2)
83
設定項目 値
Data Source
Name
twitter
RDS Instance ID （次スライド参照）
RDS Instance
Account
（次スライド参照）
Database Name twitter
Username bigdata
Password RDS作成時に作ったもの
接続テストにパスしたら
Completeをクリック

84. 参考：RDS情報の参照箇所
84
RDS Instance ID
RDS Instance
Account
Database Name

85. RDSデータソースの設定(3)
85
先ほど設定したRDSデータソースがこちらに表示されています

86. Step２−２DataWorksでのJOB作成
ー DataWorks作業ー

87. ハンズオンシステム構成図
87
OSS
ローカルPC
レポート
閲覧
データ収集 データ蓄積 データ処理 データ準備 データ利用
Action Trail
（監査サービス）
RDS
ワークフロー作成
Data V
アップロード
Data
Integration
DataStudio
Max Compute
テーブル
(入力データ)
SQL
テーブル
(出力データ)
Data
Integration
監査レポート
閲覧
CSV
VPC
root
ユーザー
一般
ユーザー
root
ユーザー
Alibaba Cloud

88. 3.リリース&実行状況確認
DataWorksでの作業の流れ
88
1.JOB・テーブル作成
②
③
①
毎日12時間間隔で実行したい
②
③
①
②
③
①
0時
②
③
①
12時
インスタンス
生成
BusinessFlow
BusinessFlow
2.スケジュール・依存関係設定

89. 「1.Job・テーブル作成」の流れ
89
下準備
1. 入力テーブルを作成
2. BusinessFlowを作成
※出力テーブルはJobで都度作成するの
で下準備では作成しません。
Business Flow
Job
入力
テーブル
OSS
Job
DataWorks
出力
テーブル
RDS
本作業
1. Job作成

90. DataWorksプロジェクトを開く
90
①Alibabaコンソール上で
「DataWorks」をクリックする
②対象のPJを選択し、
「Enter Project」ボタンをクリック
する

91. 入力テーブル作成
91
Tips：
[|||]マークをクリックし、
サイドメニューを開くことができます

92. 入力テーブル作成
92
設定項目 値
Node Name createtable_rawdata
①SQL文を入力
（次スライド参照）
②実行ボタンをクリック

93. 入力テーブル作成
93
CREATE TABLE `raw_data` (
`created_at` string COMMENT 'ツイートの投稿日時',
`id` string COMMENT 'ツイートid',
`text` string COMMENT 'ツイート本文',
`source` string COMMENT 'ツイートに使用されたクライアント',
`user_id` string COMMENT 'ユーザーid',
`user_name` string COMMENT 'ユーザー名',
`user_creen_name` string COMMENT 'ユーザーのスクリーンネーム',
`user_created_at` string COMMENT 'ユーザー作成の日時',
`user_lang` string COMMENT 'ユーザーの言語',
`user_followers_count` string COMMENT 'ユーザーのフォロワー数',
`user_friends_count` string COMMENT 'ユーザーのフォロー数',
`user_statuses_count` string COMMENT 'ユーザーのツイート数',
`user_profile_background_image_url_https` string COMMENT 'ユーザーのプロフィールバックグラウンド写真のurl',
`user_profile_image_url` string COMMENT 'ユーザー写真のurl',
`lang` string COMMENT 'ツイート言語'
)
PARTITIONED BY (twitter_date string)
LIFECYCLE 100;
入力テーブルの作成には以下のSQL文を使用してください。

94. BusinessFlow作成
94
Tips：
[|||]マークをクリックし、
サイドメニューを開くことができ
ます

95. BusinessFlow作成
95
①「BusinessFlow」を右クリック
する。
②「Create Business Flow」を選
択する
方法１ 方法２
アイコンをクリッ
クし、
「BusinessFlow」を選
択する

96. BusinessFlow作成
96
「BusinessFlowName」と
「Description」を入力した
上で、「Create」ボタンを
クリックする。
設定項目 値
BusinessFlowName handson
Description handson

97. BusinessFlow作成
97
名称 説明
Data Integration データ転送用に使用する
Data Analytics データ分析時に使用する
Table 生成されたテーブルを管理
する
Resource MPやその他のリソースの
管理用
Function MaxComputeで利用できる
関数一覧
Algorithm 機械学習Node
Control コントロールノード管理
一つのBusinessFlowで作成する要素がカテゴリ別に整理されて表示されます。

98. 作成するワークフロー
98
【フロー開始Node】
仮想Node。処理は特に行わない。
【Data Integration Node(CSVから入力テーブル)】
OSS上のCSVファイルの中身を「Create_table」で作成した入力テー
ブル(raw_data)に同期する
【Data Integration Node(出力テーブルからRDS)】
出力テーブル(lang_count_data)のデータをRDSへ同期する
【SQL実行Node】
SQLを実行して集計を行うNode
言語別のツイート数の集計を行い、出力テーブル(lang_count_data)
に書き込む
【フロー終了Node】
仮想Node。処理は特に行わない。

99. Node一覧紹介（１）
99
中カテゴリ 小カテゴリ 説明
Data Integration
Data Sync DataIntegrationの同期Node
OSS(CSVやテキスト), 各種DBと同期ができる
Data Analytics
ODPS SQL MaxComputeへの問合せ時に使用するSQL Node
文法はHiveに似ている
SQL Component SQL文の定型文Node
PyODPS Python Node
Virtual Node 仮想Nodeで、計算などの処理は行わない。
一般的に処理の開始Node”start”として利用される
ODPS MR Map-Reduce Node
Jarファイルをアップし、MapReduce処理を行う

100. Node一覧紹介（２）
100
中カテゴリ 小カテゴリ 説明
Control
do-while 繰り返しNode、繰り返し処理が必要の時に使用する
Merge Node 上位二つ以上のNodeの輸出値を纏める時に使用する
Branch node 分岐Node、あらかじめ設定された条件により、分岐
を行う
※Assignment Nodeと一緒に使用する
Assignment Node Branch nodeに値を輸出時に使用する
※Branch Nodeと一緒に使用する
Cross-Tenant Node 他のアカウントのNodeへ通信する必要がある時使用
する

101. フロー開始Node 作成
101
①「Virtual Node」
をクリックする
② NodeNameを
入力し、「Submit」ボ
タンをクリックする
設定項目 値
Node Name start

102. Data Integration Node作成
102
①「DataSync」
をクリックする
②NodeNameを入力し、
「Submit」ボタンを
クリックする
設定項目 値
Node Name import_rawdata

103. Data Integration Node作成
103
対象のDIノードをダブル
クリックし、DIの設定画
面を開く

104. Data Integration Node作成
104
入力側（どこから）
の設定
出力側（どこへ）
の設定

105. Data Integration Node作成（Source）
105
名称 ”import_rawdata” Nodeの入
力項目
説明
Data Source OSS 事前に設定したデータソー
ス名
Object Name csvstore/sampletweet.csv OSS上取り込みたいファイ
ルのパス
File Type csv サポートファイルタイプ：
csv,text
Field Delimiter ,
Encoding UTF-8 SJISはサポート範囲外
Null String (空欄)
Compression Format None 圧縮対象：Gzip,Bzip2,Zip
Include Header No 実際のファイル内容に応じ
て選択
[Preview]ボタンをクリックし、対
象ファイルの中身を確認すること
ができます。
Data Integration Nodeは二つ作成します。
【”import_rawdata” Nodeのプロパティ】

106. Data Integration Node作成（Destination）
106
名称 入力項目 説明
Connection ODPS odps_first 事前に設定した項目名
Table raw_data 事前に作成したテーブル
名
Partition Key
Column
1 パーティションキー
Writing Rule Write with Original Data
Deleted (Insert Overwrite)
データの書き込み方式を
選択する
上書き、追記
Convert Empty
String to Null
No デフォルトはNo
Data Integration Nodeは二つ作成します。
【”import_rawdata” Nodeのプロパティ】

107. Data Integration Node作成（Source）
107
名称 ”import_rawdata” Nodeの入
力項目
説明
Data Source OSS 事前に設定したデータソー
ス名
Object Name csvstore/sampletweet.csv OSS上取り込みたいファイ
ルのパス
File Type csv サポートファイルタイプ：
csv,text
Field Delimiter ,
Encoding UTF-8 SJISはサポート範囲外
Null String (空欄)
Compression
Format
None 圧縮対象：Gzip,Bzip2,Zip
Include Header No 実際のファイル内容に応じ
て選択
Data Integration Nodeは二つ作成します。
【”export_lang_count” Nodeのプロパティ】

108. Data Integration Node作成（Destination）
108
名称 入力項目 説明
Data Source ODPS 事前に設定した項目名
Table raw_data 事前に作成したテーブル
名
Writing Rule Write with Original Data
Deleted (Insert Overwrite)
データの書き込み方式を
選択する
上書き、追記
Convert Empty
String to Null
No デフォルトはNo
Data Integration Nodeは二つ作成します。
【”export_lang_count” Nodeのプロパティ】

109. Data Integration Node作成（Mapping）
109
クリックする

110. Data Integration Node作成（Mapping）
110
①足りない行数を補充
する
②「OK」クリック

111. Data Integration Node作成（Mapping）
111
同行mappingを選択する

112. Data Integration Node作成（Mapping）
112
mapping結果を確認

113. Data Integration Node作成（Channel）
113
名称 入力項目
DMU 1
Concurrent Jobs 2
Bandwidth Throttling Disabled
DMU：同期タスクの実行に使用されるリソースの量。
Concurrent Jobs： 1 つの同期タスクで同時にデータソース
からデータを読み取る、またはターゲットデータソースに
データを書き込むために使用できるスレッドの最大数。
Bandwidth Throttling：同期速度の制限の有無

114. Data Integration Node作成
114
保存ボタンをクリックし、
設定画面を閉じる

115. SQL実行 Node作成
115
①「ODPS SQL」
をクリックする
設定項目 値
Node Name lang_count
②NodeNameを入力し、
「Submit」ボタンを
クリックする

116. SQL実行 Node作成
116
①SQL文を入力する
（次スライド参照）
②Saveをクリックして保存

117. SQL実行 Node作成
117
drop TABLE IF EXISTS lang_result;
create table lang_result as
select lang, count(lang) as count
from `twitter_csv`
where twitter_date = '1'
group BY lang;
SELECT * FROM lang_result;

118. スケジュール設定
118
②実施させたいスケジ
ュールを設定する
①設定対象Nodeを開き、
右側の「Schedule」を
クリックする
名称 入力項目
Instance Created Next Day
Schedule Normal
Recurrence Day
Specify Time チェック
Run At 任意

119. 依頼関係を設定する
119
実行したい順番で
GUI上で並べます 線でNodeを結ぶ

120. Startノードの依頼関係設定
120
①Scheduleをクリックする
②Use Root Nodeをクリッ
クする

121. Jobの動作確認
121
実行ボタンをクリックする

122. Jobの動作確認(Logの確認方法)
122
対象Nodeを右クリックし、
「View Log」をクリックす
る

123. Jobの動作確認
123

124. JOB submit
124
①submitボタンをクリック
する
②リリース対象ノードをチ
ェック入れる
③submitボタンをクリック

125. PoC環境構築
Step２−３ JOB実施状況確認
ー DataWorks作業 ー

126. OperationCenter切り替え
126
「Operation Center」をクリ
ックし、画面を切り替える

127. OperationCenter（O&M Overview）
127
毎日インスタンスの実施状
況を確認できるダッシュボ
ード

128. JOB実施状況確認
128
②「Cycle Task」を
クリック

129. JOB実施状況確認(sumbitしたNode)
129
①「DataStudio」でSumbit
したNodeをここで確認する
ことができる
「ProjectName_root」はPJのルー
トノード、全てのノードはこのル
ートノードの下にぶら下がる
※PJ作成時に自動生成される。作
成＆Sumbitする必要がありません

130. JOB実施状況確認
130
①デフォルトでは上下Node
３層しか表示させません
②上下Nodeを確認したい場
合は、端っこのNodeを右ク
リックし、「Show Child
Nodes」→「Layer」数を選
択する

131. JOB実施状況確認（インスタンスの確認方法）
131
「Cycle Instance」をクリッ
クする
241は生成されたインスタン
スの番号、意味はその日生
成された241番目のインスタ
ンス
※スケジュールの設定は10
分間隔です

132. インスタンスの実施Logの確認方法
132
①対象Nodeを右クリックし、
「View Log」をクリックす
る
②新しい画面でLogViewが
表示される

133. EOF