Azure Synapse Analyticsのターゲットエンドポイントとしての利用

© 2019 QlikTech International AB. All rights reserved.
Azure Synapse Analyticsの
ターゲットエンドポイント
としての利用
クリックテック・ジャパン株式会社

2
概要
このセクションでは、レプリケーションタスクのターゲットとしてMicrosoft Azure Synapse Analyticsをセットアップして使用する方法につ
いて説明します。Microsoft Azure Synapse Analyticsはクラウド上にあり、Microsoft Azureアカウントを通じてアクセスできます。

3
一般的な前提条件
• 以下のセクションでは、Microsoft Azure Synapse AnalyticsをReplicateタスクのターゲットエンドポイントとして使用するために
必要な前提条件について説明します。
• Microsoft Azure Blob Storageへのサインアップ（ADLS Gen2 Storageを使用する場合はこの手順は不要）
• Microsoft Azure Synapse Analyticsへのサインアップ
• 必要なクライアントのインストール
• 必要な権限
• 必要なファイアウォールのポートを開く

4
Microsoft Azure側の
設定

5
Microsoft Azure Blob Storageへのサインアップ
• この工程は、ADLS Gen2 Storageを使用する場合は必要ありません。
• Azure Blob Storageアカウントにサインアップし、アカウント名、アカウントキー、コンテナ名、ターゲットフォルダをメモしておきます（後で必要になります）。
※ 最高のパフォーマンスを得るために、Azure Blob Storageコンテナは、Microsoft Azure Synapse Analyticsと同じリージョンに設置してください。
• 以下のblobストレージタイプがサポートされています。
• Standard storage with block blobs
• Premium storage with block blobs only

6
Microsoft Azure Synapse Analyticsへのサインアップ
• Microsoft Azure Synapse Analyticsにサインアップし、サーバー名、ポート、ユーザー名、パスワード、データベース名、Azure Blob Storage access
Credential をメモしておきます。なお、Azure Blob Storage access Credential をまだ作成していない場合は、「一般的な接続プロパティの設定」で
説明するように、レプリケートが自動的に作成するように設定することができます。

7
Azure Synapse Analyticsのデプロイメント
• Azureポータルで[Azure Synapse Analytics]を選択します。
• [Create Synapse workspace]もしくは[+Create]を選択します。

8
• [Basic]タブの各項目を画像を参考に設定します。設定が完了したら[Next ]
を選択します。
• Resource group : 任意の名前を指定。ここでは、synapse
• Workspace name：任意の名前を指定。ここでは
workspace1283749718
• Account name : 任意の名前を指定。ここでは、
storageaccount1283749718
• File System name : 任意の名前を指定。ここでは、
filesystem1283749718

9
• [Security]タブで、管理者権限をもつユーザーのパスワードを入力して[Next
]を選択します。
• ここで設定するSQL Server admin loginのユーザー名とSQL
PasswordをQlik Replicateのエンドポイント設定で使用しますので、控
えてください。
• 最後のページまで[Next]で進みます。

10
• 最後のページまで進み、[Create]をクリックします。Deploymentが完了する
まで数分待ちます。

11
WorkspaceのDedicated SQL Endpointのコピー
• Deployの完了後、作成したSynapse workspaceを開き、[Overview]ページの[Dedicated SQL Endpoint]をコピーして控えます。後ほどQlik
Replicateからの接続に使用します。

12
Dedicated SQL Poolの作成
• Synapse Workspace上で[SQL Pool]タブを開き、[+New]を選択します。

13
Dedicated SQL Poolの作成
• Dedicated SQL pool nameに任意の名称を入力して[Review +
Create]を選択します。
• 設定内容を確認し、[Create]を選択してSQL Poolを作成します。
Deploymentが完了するまで数分待ちます。

14
Master Keyの作成
• Storage AccountとSQL Poolを接続するためのMaster Keyを作成します。
• Synapse workspaceを開いて[Overview]ページの[Open Synapse
Studio] > [Open]を選択します。Synapse Studioが立ち上がります。

15
Master Keyの作成
• [Data]> [Databases]>[<作成したSQL Pool名>]>[New SQL script]>[Empty script]を選択します。
• “CREATE MASTER KEY;” コマンドを入力し、[Run]します。

16
Azure Active Directoryへのアプリ登録
• Qlikデータ統合製品からAzure上のStorage AccountなどへのAPIアクセスを許可するためにAzure Active Directoryへのアプリ登録を行います。
• Azureポータルで[Azure Active Directory]を選択します。

17
• 左側のメニューから[App registrations]を選択します。続いて、[+ New registration]を選択します。

18
• 任意の名前を設定し、[Register]を選択します。

19
• ここで生成される”Application (client) ID” と “Directory (tenant) ID”を後ほどQlik Replicateからの接続パラメータとして使用しますので、テ
キストエディタなどにコピー&ペーストして保存してください。

20
• 左側のメニューから[API permissions]を選択します。続いて、[+ Add permission]を選択します。

21
• [Microsoft API]配下の[Azure Data Lake]を選択します。

22
• [Delegated permissions]配下の[user_impersonation]にチェックを入れ、
[Add permissions]を選択します。

23
• 左側メニューから[Certificates & secrets]を選択します。
• 続いて、[+ New client secret]を選択します。

24
• Descriptionに任意で名称を記入し、期限を[12 months]とし、[Add]を選択します。

25
• 直後に生成されるClient secretの[value]をテキストエディタなどにコピー&ペーストし安全な場所に保存してください。以降、このページを離れ
るとSecretのValueは二度と確認することができなくなりますので、必ず生成直後に保存してください。

26
ADLS Gen2のストレージアカウントの設定
• 作成したStorage Accountのページに移動します。

27
• [Access key]を選択します。[Show keys]を選択して、Key1 の[Key]を表示させます。
• 後ほどQlik Replicateの設定にこちらのKey1の[Key]を使用しますので控えておいてください。

28
• 続いてコンテナを作成します。左側メニューから[Containers]を選択し、[+ Container]を選択します。
• 右側に表示されるNew containerにて、任意のコンテナ名(ここでは「replicate」)を指定し、[Create]を選択してコンテナを作成します。

29
• コンテナ一覧から、作成した[replicate]を選択します。
• 続いて、[+Add Directory]を選択します。

30
• 右側に表示されるメニューからディレクトリを作成します。Nameを「landing」とし、[Save]を選択します。

31
• Storage Accountのトップページから[Access Control (IAM) ] を選択します。続いて[+Add]>[Add role assignment]の順に選択し
ます。

32
• 以下の項目を設定し、[Save]を選択します。
• Roleタブで、Storage Blob Data Contributorを選択し、Membersタブに移動
• Membersタブで、Assign access to: User, group, or service principalを選択し、[+ Select members]を選択
• 右側にSelect membersメニューが表示されるので、先ほどADで登録したアプリ名(ここでは「synapse」)を選択し、Selectを選択。

33
• [Review + assign]を選択し、設定内容を確認しもう一度[Review + assign]を選択します。

34
Qlik Replicate側の
設定

35
必要なクライアントのインストール
• Windows版Qlik Replicate
• ソースデータベースのすべてのバージョンについて、Microsoft ODBC Driver 17 (17.6) for SQL Server またはそれ以
上を Qlik Replicate Server マシンにインストールします。
• Linux版Qlik Replicate
• SQL Server用のMicrosoft ODBC Driver 13 (13.01.0009)以上をQlik Replicate Serverのマシンにインストー
ルしてください。

36
ポートの設定
• Replicate ServerがAzure外のマシン上で動作する場合 - アウトバウンドトラフィック用にポート1433を開きます。
• Replicate ServerがAzureVM上で動作する場合 - アウトバウンドトラフィック用に以下のポートを開きます。
• 1433
• 11000-11999
• 14000-14999

37
Qlik Replicateでの
エンドポイント定義

38
一般的な接続プロパティの設定
• Microsoft Azure Synapse AnalyticsのターゲットをQlik Replicateに追加するには、以下の手順で行います。
1. Qlik Replicate コンソールで [Manage Endpoint Connections] をクリックし、[Manage Endpoints Connections] ダイアログボックスを開
きます。
2. [Manage Endpoint Connections］ダイアログボックスで［New Endpoint Connection］をクリックします。
3. [Name］フィールドに、エンドポイント名を入力します。この名前は、Microsoft Azure Synapse Analyticsデータベースを識別するのに役立つ任
意の名前にすることができます。
4. [Description］フィールドに、Microsoft Azure Synapse Analytics対象データベースの識別に役立つ説明を入力します。これは任意の項目で
す。
5. [Role]として［Target］を選択します。
6. [Type］として［Microsoft Azure Synapse Analytics］を選択します。

39
7. 以下のSynapse ODBC Accessの情報を入力してください。 :
• Server name: Dedicated SQL endpointのURLを入力します。
• Authentication method: SQL認証またはAzure Active Directory認
証のいずれかを適切に選択します。
• Port: Microsoft Azure Synapse Analyticsに接続するためのポート番
号を指定します。
• User name: 登録されているMicrosoft Azure Synapse Analyticsユー
ザーのユーザー名を指定します。
• Password: user nameの欄に入力したユーザーのパスワードを指定します。
• Database name: ターゲットデータベース名を指定します。(ここでは、作成し
たsqlpool1を指定)
• 以下の中から適切なものを選択してください。 :
• Automatically create SQL Server Credential
• Use existing SQL Server Credential
※ レプリケーションタスク中、Microsoft Azure Synapse AnalyticsはSQL
Server Credentialを使用して外部データソースを認証します。実行時に自動的
にクレデンシャルを作成するようにReplicateを構成するか（デフォルト）、既存のク
レデンシャルを使用することができます。

40
8. [Azure Storage]セクションの「Storage type」ドロップダウンリストから、ストレージタイプを選択します。画像ではADLS Gen2を使用しています。
※ Qlik ReplicateがLinuxで動作している場合、Blobストレージオプションはサポートされません。
• Azure Blob Storageを選択した場合:
• [Azure Storage account name」欄に、コンテナへの書き込み権限を持つアカウント名を
指定します。
• [Container name］フィールドに、コンテナ名を指定します。
• コンテナ名は、Microsoft のガイドラインに準拠する必要があります。
• [Access key］フィールドで、アカウントのアクセスキーを指定します。
• [Folder］フィールドで、Blobストレージ上のデータファイルを作成する場所を指定します。
• Azure Data Lake Storage (ADLS) Gen2を選択した場合:
• [Storage account]: ストレージアカウント名を指定します。
• [Container]: フォルダやファイルを含むコンテナを指定します。 (ここでは、replicate)
• [Azure Active Directory ID］: Azure ADのDirectory(tenant) IDを指定します。
• [Azure Active Directory application ID］:Azure ADのApplication ID を指定しま
す。
• [Azure Active Directory application key]: Client secretを指定します。
• [Access key] : Storage accountのAccess keyを指定します。
• [Target folder]: 作成したディレクトリを[Browse...]のリストから選択します。 (ここでは、
landing)

41
高度な接続プロパティの設定
[Advanced ] タブでは、次のプロパティを設定できます。
• Max file size (MB): Microsoft Azure Synapse Analyticsへのデータ転送に使用するCSVファイルの最大サイズを選択または入力します。デフォルト
値は1024です。
• ODBC driver: Microsoft Azure Synapse Analyticsへの接続に使用しているデフォルトのODBCドライバの名前です。デフォルトのドライバーは「
ODBC Driver 17 for SQL Server」です。
• Additional ODBC connection properties: 必要に応じて、追加のODBC接続プロパティを入力します。
• Proxy server:
• Use proxy server: プロキシサーバー経由でMicrosoft Azure Synapse Analyticsにアクセスする場合は、このオプションを選択します。
• Host name: プロキシサーバのホスト名
• Port: プロキシサーバにアクセスする際のポート
• User name: プロキシサーバにアクセスするユーザー名
• Password: プロキシサーバにアクセスする際のパスワード

43
必要な権限
• Storage permissions: Microsoft Azure Synapse Analyticsのエンドポイント設定で指定するユーザーに、以下のスト
レージ権限を付与する必要があります。
• BlobストレージまたはADLS Gen2 storageのいずれかを使用する場合に適用されます。
• Azure Blob/ADLS Gen2 Storage container: LIST
• Azure Blob/ADLS Gen2 Storage folder。READ、WRITE、DELETE
• ADLS Gen2 storage を使用している場合のみ該当 :
• ADLS Gen2ファイルシステムのアクセスコントロール（IAM）の設定で、「Storage Blob Data Contributor」ロー
ルをReplicate（AD App ID）に割り当てます。ロールが有効になるまで数分かかることがあります。

44
必要な権限
• Table permissions: Microsoft Azure Synapse Analyticsのエンドポイント設定で指定したユーザーには、以下のテーブル
操作の権限を付与する必要があります。
• SELECT, INSERT, UPDATE and DELETE
• Bulk Load
• CREATE, ALTER, DROP (タスク定義で必要な場合)

45
必要なファイアウォールのポートを開く
• Replicate ServerがAzure外のマシン上で動作する場合 - アウトバウンドトラフィック用にポート1433を開きます。
• Replicate ServerがAzureVM上で動作する場合 - アウトバウンドトラフィック用に以下のポートを開きます。
• 1433
• 11000-11999
• 14000-14999

46
制限事項
• CHAR/VARCHARデータ型を持ち、ラテン語以外の照合順序（"Chinese_PRC_CI_AS "など）を持つソース列は、
NVARCHARにマッピングする必要があります。これは、レプリケーションタスク内のすべてのテーブルに対してグローバルな変換を定
義するか、特定のテーブルに対して単一の変換を定義することで行うことができます。
• Microsoft Azure Synapse Analyticsは、空（NULL）のカラムをサポートしていません。そのため、空の値を持つソース列を
複製する場合、Replicateは対応するターゲット列にスペースを挿入します。
• rename column DDLはサポートされていません。
• Qlik ReplicateがLinuxにインストールされている場合、Blobストレージはサポートされません。
• フルLOBレプリケーションはサポートされていません。
• 1MBを超えるレコードのレプリケーションはサポートされていません。

47
制限事項
• 変更処理（CDC）の制限 :
• 2000バイトを超えるBLOBカラムの変更のキャプチャはサポートされていません。
• 4000バイトを超えるCLOB/NCLOBカラムの変更のキャプチャはサポートされていません。

48
ターゲットデータ型
• Microsoft Azure Synapse Analytics Replicateエンドポイントは、ほとんどのMicrosoft Azure Synapse Analytics
データタイプをサポートしています。次の表は、Qlik Replicateの使用時にサポートされているMicrosoft Azure Synapse
Analyticsターゲットのデータタイプと、Qlik Replicateのデータタイプからのデフォルトのマッピングを示しています。

49
ターゲットデータ型
Qlik Replicate データ型 Azure Synapse データ型
BOOL BIT
BYTES If length is => 1 and =< 8000, then:
VARBINARY (Length in Bytes)
If length is => 8001 and =< 2147483647, then:
VARBINARY (8000)
DATE DATE
TIME TIME
DATETIME DATETIME2 (s)
INT1 SMALLINT
INT2 SMALLINT
INT4 INTEGER
INT8 BIGINT
NUMERIC DECIMAL (p,s)
REAL4 FLOAT(24)
REAL8 FLOAT(53)
STRING If length is => 1 and =< 8000, then:
VARCHAR (Length in Bytes)
VARCHAR (8000)
UINT1 TINYINT
UINT2 SMALLINT
UINT4 INTEGER
UINT8 BIGINT
Qlik Replicate データ型 Azure Synapse データ型
WSTRING If length is => 1 and =< 4000, then:
NVARCHAR (Length in Bytes)
NVARCHAR (4000)
BLOB Full Load:
VARBINARY (8000)
Change Processing:
VARBINARY (4000)
NCLOB NVARCHAR (4000)
CLOB Full Load:
VARCHAR (8000)
Change Processing:
VARCHAR (4000)

50
LOBサポート
• フルLOBデータタイプはサポートされていません。限定サイズのLOBデータタイプをレプリケーションに含める方法については、
「Customizing tasks」の「Metadata 」タブの説明を参照してください。

Azure Synapse Analyticsのターゲットエンドポイントとしての利用

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Azure Synapse Analyticsのターゲットエンドポイントとしての利用

Similar to Azure Synapse Analyticsのターゲットエンドポイントとしての利用 (20)

More from QlikPresalesJapan

More from QlikPresalesJapan (20)

Azure Synapse Analyticsのターゲットエンドポイントとしての利用