Azure Stack をインストールする際に必要な情報をまとめました。

1. Azure Stack 受け入れ準備
MICROSOFT MVP CLOUD AND DATACENTER MANAGEMENT
松本 裕志
2018年6月30日

2. 自己紹介
• 松本 裕志 (Matsumoto Hiroshi)
• 某 ハードウェアメーカ 勤務
– Hyper-V などの設計構築や Azure Stack のインストールなど。
• System Center User Group Japan 参加者
• ブログ：https://mhiroblog.wordpress.com/
• Facebook：https://www.facebook.com/people/Hiroshi-Matsumoto/100012360255052

3. Agenda
• Azure Stack とは
• Azure Stack 導入の流れ
• Azure Stack のコンポーネント
• Deployment Worksheet
– 接続モデル
– DNS 要件
– 証明書要件
– ネットワーク要件
• Azure Stack のインストール
• まとめ

4. Azure Stack とは？

5. Azure と Azure Stack
Truly consistent hybrid cloud platform
Consistency

6. Azure and Azure Stack
Truly consistent hybrid cloud platform
Azure StackAzure
Developers
Operator
CONSISTENCY

7. Azure Stack Integrated System
Azure Stack が正常に稼働する検証済みのハー
ドウェアで提供されます。
提供中
• Cisco Systems
• Dell EMC
• HPE
• Lenovo
提供予定
• Avanade
• Worthmann AG
• Huawei
• Fujitsu

8. ハイブリッドクラウドプラットフォーム 仮想化のリプレース
What it is What it is not
IaaS, PaaS, & cloud solutions
をセルフサービスで提供する統合システム
DIY インフラストラクチャ
Azure-consistency のため
定期アップデート
Static system you deploy & forget
Cross-platform Hybrid Cloud Windows オンリーのクラウド
The right way to think about Azure Stack

9. Azure IaaS available on-premises:
beyond traditional virtualization

10. Azure PaaS available on-premises: High productivity
development

11. Azure
Stack
Hosted and
On-premises
Azure ビジネスモデルの拡張です。
Azure Stack 上でサービスを利用した分だけ
課金されます
事前にライセンス料金は払いません。利用を開
始したタイミングで課金されます。
Azure と同じサブスクリプション形式で、請求
書も同じです。
EA と CSP channels の2種類の利用ができ
ます。
Pay-as-you-use model

12. Azure
Stack
Hosted and
On-premises
非接続の場合、コマースやメータリングには接続し
ません。
物理コアベースの料金体系となり、年額支払いで
す。
IaaS のすべての機能が使えますが、PaaS サービ
スは別途ライセンス料が必要です。
EA channel のみの契約で利用できます。
Capacity model

13. クラウドオペレーティングモデル と ジョブロール
Azure Stack の
オペレーター

14. Azure Stack Operator の運用範囲
Operatorによる管理
Operatorによる管理
Operatorによる管理

15. Azure Stack アップデート
1709
(GA)
1710
(2017/10/20)
1711
(2017/12/01)
1712
(2018/1/06)
1802
(2018/3/02)
1803
(2018/3/29)
1804
(2018/5/13)
1805
(2018/6/05)
• アップデートは OEM と マイクロソフトの2種類があります。
• OEM アップデートは、ハードウェアのファームウェアやドライバーのアップデートと、HLH のWindows Update などが含まれます。
最新の2つ前までサポートサポート対象外
・ マイクロソフト アップデート
・ Dell EMC アップデート
1709
(GA)
1710
(2017/11/14)
1712
(2018/1/30)
1803
(2018/5/25)
1804
(2018/6/05)
・ Keep your system under support
https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-servicing-policy?WT.mc_id=facebook#keep-your-system-
under-support

16. Exam 70-537
Microsoft Azure Stackを使用したハイブリッドクラウドの設定と運用
• Configuring and Operating a Hybrid Cloud with Microsoft Azure Stack
1. Azureスタック環境の展開と統合 (20-25%)
2. Azureスタック環境用のPaaSとIaaSの設定 (25-30%)
3. Azureスタックテナントにサービスを提供し、DevOpsを有効にする (25-30%)
4. Azureスタック環境の保守と監視 (20-25%)
• Azure Stack オペレーターのドキュメント
– サービスの提供 (IaaS、MarketPlace、PaaS、App Services、プランとオファー の設計/インストール)
– アップデートの適用
– キャパシティやサービス監視
– 障害対応
– などなど。

17. Azure Stack 導入の流れ

18. Azure Stack 導入の流れ

19. Azure Stack 導入の流れ
準備していただくもの
・ [ToR – お客様スイッチ] をつなぐケーブル
・ お客様スイッチ
・ 証明書
・ サブスクリプション (EA/CSP)
・ AAD or AD/ADFS

20. Azure Stack のコンポーネ
ント

21. H/Wコンポーネント
管理用スイッチ(1台)
Dell Networking S3048-ON (1GbE)
ToRスイッチ(2台)
Dell Networking S4048T-ON (10GbE)
管理サーバー(1台)
PowerEdge R640
Azure Stackノード
PowerEdge R740XD
専用ラック
Titan 40U storage rack
スケールユニット（ラック）
Azure Stackシステムの単位
1ラックごとにスケールユニットと呼ぶ
Dell EMC Cloud for Microsoft Azure Stack
VxRack AS

22. ハードウェア
• サーバーとスイッチ
• Azure Stack ノード
• Azure Stack ノードキャパシティ (1ノードあたり)
コンポーネント 数量 機種
HLH ホスト 1 Dell EMC PowerEdge R640
ToR スイッチ 2 Dell EMC PowerEdge S4048-ON
BMC スイッチ 1 Dell EMC PowerEdge S3048-ON
サイズ 数量 機種
Small 4 Dell EMC PowerEdge R740XD
Medium 8 Dell EMC PowerEdge R740XD
Large 12 Dell EMC PowerEdge R740XD
構成 CPU (2個) メモリ キャッシュ キャパシティ
Low Gold 5118 - 12 cores, 2.3 GHz 384 GB 6 x 960 GB SSD (約 5.7 TB) 10 x 4 TB HDD (40 TB)
Medium Gold 6130 - 16 cores, 2.1 GHz 512 GB 6 x 1.92 TB SSD (約 11.5 TB) 10 x 8 TB HDD (80 TB)
High Platinum 8160 24 cores, 2.1 GHz 788 GB 6 x 1.92 TB SSD (約 11.5 TB) 10 x 10 TB HDD (100 TB)
スケールユニット

23. 電源ケーブル

24. 物理ネットワーク
・ 操作やサービスをサポートするための回復性と可用性の高い設計になっています。

25. HLH (Hardware Lifecycle Host)
• HLH は スタンドアロンのHyper-V ホストです。Azure Stack ソフトウェアのインストール と Azure Stack ハードウェアの管理、
監視サービスを提供する仮想マシンを稼働させます。 (各ベンダーにより、提供されるソフトウェアは異なります。)
• Dell EMC のAzure Stack では、ハードウェア監視をする下記 2台の仮想マシンを稼働させます。
– OME-VM (Open Manage Essentials、SupportAssist Enterprise)
– OMNM-VM (Open Manage Network Manager)
– DVM (Azure Stack をインストールする仮想マシン。インストール後に削除)
• Open Manage Essentials は サーバーの管理/監視をするソフトウェアです。
– Discovery and inventory
– Firmware update
– Set up SNMP for monitoring and alerting
– Support Assistant
• Open Manage Network Manager はスイッチの管理/監視をするソフトウェアです。
– Switch discovery/inventory
– Switch firmware inventory and update
– Switch configuration backup
– Performance Monitoring
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
OK
FAIL
N2200-PAC-400W
OK
FAIL
N2200-PAC-400W
ID
MGMT 1
0
STAT
CONSOLE
N3K-C3048-FAN
FAN
STAT
CISCO NEXUS 3172-10GE
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54
CISCO NEXUS 3172-10GE
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54

26. Azure Stack ノード
• Azure Stack ソフトウェアを提供する Hyper-V ホストクラスターです。
• ４ ～ 16 台の構成で利用できます。 (※ 16ノード構成は開発中：2018年06月30日)
• Hyper-V の HCI 構成です。
• S2D のディスク構成は 3 way ミラーで構成されます。
• Infrastructure VM と Tenant VM を稼働させます。
• Infrastructure VM は 27台 で約 200 GB メモリを使用します。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
OK
FAIL
N2200-PAC-400W
OK
FAIL
N2200-PAC-400W
ID
MGMT 1
0
STAT
CONSOLE
N3K-C3048-FAN
FAN
STAT
CISCO NEXUS 3172-10GE
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54
CISCO NEXUS 3172-10GE
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54
Cache Capacity Capacity

27. Azure Stack キャパシティ プランニング
• マイクロソフト社から キャパシティ プランニング ツールが提供されています。
– Azure Stack Capacity Planner (Version 1805.01)
– 利用想定の仮想マシン台数から Azure Stack の推奨構成を確認できるツールです。(誰でも利用できます！)
• Azure Stack を提供する各OEM ベンダーもキャパシティツールを持っているはずです。
– 担当者へ確認することで、最適なハードウェア構成を提案してもらえます。

28. 4 ノード上の仮想マシン 27台

29. Azure Stack インフラを構成する仮想マシン 27 台
No. 仮想マシン名 メモリ 役割
1 <Prefix>-ACS01、<Prefix>-ACS02、<Prefix>-ACS03 8192 ストレージサービス
2 <Prefix>-ADFS01、<Prefix>-ADFS02 4096 ADFS
3 <Prefix>-CA01 856 (動的？) Azure Stack 用の CA
4 <Prefix>-DC01、<Prefix>-DC02 4096 Azure Stack 内部ドメイン、DNS、DHCP
5 <Prefix>-ERCS01、<Prefix>-ERCS02、<Prefix>-ERCS03 4096 PEP アクセス、Emergency Recovery Console VM.
6 <Prefix>-GWY01、<Prefix>-GWY02 8192 テナントのS2S VPN アクセスなどの ゲートウェイサービス
7 <Prefix>-NC01、<Prefix>-NC02、<Prefix>-NC03 4096 ネットワークサービス用のネットワークコントローラー
8 <prefix>-PXE01 840 (動的？) PXE Boot 用？ノード追加などをする際に利用するのかも。
9 <Prefix>-SLB01、<Prefix>-SLB02 8192 Azure Stack インフラと テナントの SLB Mux
10 <Prefix>-SQL01、<Prefix>-SQL02 8192 Azure Stack インフラ用の SQL データベース
11 <Prefix>-WAS01 12288 管理者ポータルと 管理者用 リソースマネージャーサービス
12 <Prefix>-WASP01、<Prefix>-WASP02 12288 テナントポータルとテナント用 リソースマネージャーサービス
13 <Prefix>-XRP01、<Prefix>-XRP02、<Prefix>-XRP03 12288 インフラストラクチャ管理コントローラー
メモリ使用量 合計 約 200 GB PaaS は含まれていません。
仮想マシンのロール
https://docs.microsoft.com/ja-jp/azure/azure-stack/asdk/asdk-architecture#virtual-machine-roles

30. ASDK (Azure Stack Development Kit)
• ASDK はシングルノードで利用できる Azure Stack の PoC 環境です。
• 要件をクリアしたハードウェアを準備すれば、だれでも無料で Azure Stack 環境を利用することができます！
• Azure Stack のデプロイ計画に関する考慮事項
– https://docs.microsoft.com/ja-jp/azure/azure-stack/asdk/asdk-deploy-considerations#hardware
• 新しいビルドが公開されるたびに、再インストールするのが大変です。。
– https://docs.microsoft.com/ja-jp/azure/azure-stack/asdk/asdk-release-notes
コンポーネント 最小構成 推奨構成
ディスク ドライブ: ホストOS 最低 200 GB 最低 200 GB
ディスク ドライブ: S2D キャパシティ用 4 本 (最低 140 GB) 4 本 (最低 250 GB)
CPU デュアル ソケット: 12 個の物理コア デュアル ソケット: 16 個の物理コア
メモリ 96 GB 128 GB

31. Deployment Worksheet

32. Deployment Worksheet (パラメーターシート)
• Azure Stack のインストールに必要なパラメーターを決定する Excel シートです。
• 下記の情報を決定する必要があります。
Customer and Environment Info シート
1. ID ストア (AAD or ADFS)
2. 内部ドメイン名
3. 外部ドメイン名
4. Naming Prefix
5. 証明書のパスワード
6. DNS フォワーダ
7. NTP サーバ
8. タイムゾーン
Network Settings シート
1. 各ネットワークの IP サブネット
2. ネットワークのルーティング方式
› スタティック
› BGP (AS番号も必要です)
3. Syslog サーバー (オプション)

33. 接続モデル

34. Azure Identity Store

35. Azure Stack デプロイの接続モデル
オプション Azure 接続あり (Connected) Azure 接続なし (Disconnected)
Billing キャパシティと従量課金 (CSP, EA) キャパシティのみ。(EA)
Identity AAD、ADFS ADFS のみ
Marketplace syndication 〇 ×
Register to Azure 〇 ×

36. AAD Single Tenant
Use cases: Enterprises, Dedicated Hosting

37. AAD Multi Tenant
Use cases: CSP, Shared Hosting

38. AAD
• Azure Stack のインストールに必要なアカウントです。CSP か EA のサブスクリプションのみサポートされています。
• 下記 全体管理者アカウント と Billing アカウントは、同じAAD アカウントでも可能です。
• Azure の登録の検証
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-validate-registration
フィールド 説明
Global admin account
(全体管理者)
AAD の 全体管理者アカウントを使用して、Azure Stack のインストールを行います。
Billing account このアカウントで Azure Stack の料金が請求されます。Azure Stack の課金情報を、Azure コマース
と接続するために利用します。 (Connected / Disconnected のどちらのシナリオでも必要です。)

39. ADFS
• ADFS を利用することで、既存の AD ユーザで Azure Stack ポータルにログインする環境を提供できます。
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-key-features#active-directory-federation-services
Azure Stack 統合システムの Azure から切断されたデプロイ計画の決定

40. ADFS 制約 (1)
• ADFS シナリオの場合、下記の制約があります。
機能 影響
VM のデプロイ後を構成するための DSC 拡張機能を備えた VM デ
プロイ
損なわれる - DSC 拡張機能は、最新の WMF がないかどうかインターネットを参照します。
Docker コマンドを実行するための Docker 拡張機能を備えた VM
デプロイ
損なわれる – Docker は最新バージョンがないかどうかインターネットをチェックするため、このチェックは失敗します。
Azure Stack ポータルでのドキュメント リンク 使用できない – インターネット URL を使用するリンク ([フィードバックのご提供]、[ヘルプ]、[クイック スタート] など)
は機能しません。
オンライン修復ガイドを参照する、アラートによる修復/軽減 使用できない – インターネット URL を使用するアラート修復リンクはすべて機能しません。
マーケットプレース シンジケーション – Azure Marketplace から直
接ギャラリー パッケージを選択して追加する機能
損なわれる - Azure Stack を非接続モード (インターネット接続なし) でデプロイする場合、Azure Stack ポータ
ルを使用して Marketplace アイテムをダウンロードすることはできません。 ただし、マーケットプレース シンジケーション
ツールを使用して、インターネットに接続されたマシンに Marketplace アイテムをダウンロードしてから、Azure
Stack 環境に転送することができます。
Azure Stack デプロイを管理するための Azure Active
Directory フェデレーション アカウントの使用
使用できない – この機能には Azure への接続が必要です。 代わりに、ローカルの Active Directory インスタン
スによる AD FS を使用する必要があります。
アプリケーション サービス 損なわれる - WebApps では、コンテンツの更新のためにインターネットへのアクセスが必要です。

41. ADFS 制約 (2)
• ADFS シナリオの場合、下記の制約があります。
機能 影響
コマンド ライン インターフェイス (CLI) 損なわれる – CLI は、サービス プリンシパルの認証およびプロビジョニングの点で機能が削減されます。
Visual Studio – クラウド検出 損なわれる – Cloud Discovery は別のクラウドを検出するか、またはまったく機能しないかのどちらかです。
Visual Studio – AD FS 損なわれる – AD FS をサポートするのは Visual Studio Enterprise だけです。
テレメトリ 使用できない – Azure Stack のテレメトリ データや、テレメトリ データに依存するすべてのサード パーティ製ギャラリー パッ
ケージ。
証明書 使用できない – HTTPS のコンテキストでの証明書失効リスト (CRL) およびオンライン証明書状態プロトコル (OSCP)
サービスにはインターネット接続が必要です。
Key Vault 損なわれる – Key Vault の一般的なユースケースでは、アプリケーションに実行時にシークレットを読み取らせます。 このた
め、アプリケーションではディレクトリ内にサービス プリンシパルが必要です。 Azure Active Directory では、通常のユー
ザー (非管理者) は、既定ではサービス プリンシパルの追加を許可されます。 AD (ADFS を使用) では許可されません。
これにより、どのアプリケーションを追加するにもディレクトリ管理者を経由する必要があるため、エンド ツー エンドのエクスペリエ
ンスに問題が発生します。

42. DNS 要件

43. Customer Information

44. Azure Stack の DNS 名前空間
• Azure Stack を導入する際、DNSに関して決定が必要な情報です。
フィールド 説明 例
リージョン Azure Stack のデプロイの地理的な場所。 Shinagawa
外部ドメイン名 Azure Stack のデプロイに使用したいゾーンの名前。 Interact2018.com
内部ドメイン名 Azure Stack のインフラストラクチャ サービスに使用される内部ゾーン
の名前です。
azurestack.local
DNS フォワーダ Azure Stack の外部 (企業イントラネットまたはパブリック インター
ネット上) でホストされている DNS クエリ、DNS ゾーンおよびレコード
を転送するために使用される DNS サーバー。
8.8.8.8
Naming Prefix Azure Stack インフラストラクチャ ロール インスタンス マシン名に使
用する名前付けのプレフィックス。 指定されていない場合、既定値は
azs です。(AzS-ERCS01 など)
Azs
• この情報で導入した場合、Azure Stack エンドポイントは下記のようになります。
– TenantPortal: https://portal.shinagawa.interact2018.com
– AdminPortal: https://adminportal.shinagawa.interact2018.com

45. 名前解決
• 内部ドメイン (azurestack.local)：AzS-DC01
• 外部ドメイン (interact2018.com)：AzS-WASP01 (？)
interact2018.com
プライマリ Zone
Azurestack.local
AD統合 Zone
WASP01
外部DNSサーバ
お客様DNSサーバ
azs-
ns01.tokyo.interact2018.com
azs-
ns02.tokyo.interact2018.com
NS レコードと
Aレコードを登録
or
条件付きフォワーダ

46. AzureStackStampInfo.json
• インストールした OEM ベンダーから共有されますが、Powershell で取得することも可能です。
コマンド：Get-AzureStackStampInformation (PEP で実施してください)
{
"DeploymentID": "108a1234-fd9c-4af9-b097-f20b12345678",
"OemVersion": null,
"PackageHash": null,
"StampVersion": "1.1805.1.47",
"Prefix": "AzS",
"CompanyName": "Microsoft",
"ServerSku": "Core",
"Topology": "HyperConverged",
"Timezone": "Tokyo Standard Time",
"HardwareOEM": null,
"HardwareInfo": null,
"RegionName": "local",
"DomainNetBIOSName": "azurestack",
"DomainFQDN": "azurestack.local",
"Timeserver": "192.168.1.60",
"NumberOfNodes": 1,
"AADTenantID": "21876921-6c9a-4b90-b92c-ee712345678",
"AADTenantName": “abc.onmicrosoft.com",
"ExternalDNSFQDN01": "AzS-ns01.local.azurestack.external",
"ExternalDNSFQDN02": "AzS-ns02.local.azurestack.external",
"ExternalDNSIPAddress01": "192.168.102.10",
"ExternalDNSIPAddress02": "192.168.102.12",
"CloudID": "3cbb4219-1bea-4cf0-b24b-7dd3d7f6ddc9",
"EmergencyConsoleIPAddresses": [
"192.168.200.224"
],
"RootCACertificates": [
{
"Thumbprint": "E0F2F11546D1DFE882E12E05D9DE7B3E56012B4B",
"NotBefore": "¥/Date(1528303320000)¥/",
"NotAfter": "¥/Date(1686070320000)¥/",
"Certificate":
"MIIDlzCCAn+gAwIBAgIQXfq0E0gflp1AqIpvve1XIzANBgkqhkiG9w0BAQsFADBeMRUwEwYKCZImiZPyLGQBGRYFbG
Skw5WUmmi34khNN8Be7aXsZd0GsKELx8yttpf5UIoEbeBUsIks558WlSPZ/3G8SV+yXX4VxMNuJ0pVjL6grcVcUb/QL
}
],
"TenantExternalEndpoints": {
"TenantResourceManager": "https://management.local.azurestack.external/",
"TenantResourceManagerCertificateMetadata": "https://management.local.azurestack.external:30024/",
"TenantPortal": "https://portal.local.azurestack.external/"
},
"AdminExternalEndpoints": {
"AdminResourceManager": "https://adminmanagement.local.azurestack.external/",
"AdminResourceManagerCertificateMetadata": "https://adminmanagement.local.azurestack.external:30024/
"AdminPortal": "https://adminportal.local.azurestack.external/",
"AdminFrontdoor": "https://adminmanagement.local.azurestack.external/",
"AdminShellSite": "https://adminportal.local.azurestack.external/",
"AdminGallery": "https://adminportal.local.azurestack.external:30015/"
},
"IdentitySystem": "AzureAD",
"ExternalDomainFQDN": "local.azurestack.external"
}

47. 各ドメインのレコード
local.azurestack.external
local.cloudapp.azurestack.external
dbadapter.local.azurestack.external
appservice.local.azurestack.external
azurestack.local
Internal External

48. 必要な名前解決ができないとトラブルを引き起こす可能性があ
ります。

49. 証明書要件

50. Certificate for end points

51. 証明書の要件
1. 内部の証明機関または公的証明機関のどちらかから発行されている必要があります。
2. Azure Stack インフラストラクチャは、証明書において公開されている証明機関の証明書失効リスト (CRL) の場所にネットワーク
アクセスできる必要があります。この CRL は、http エンドポイントである必要があります。
3. 自己署名証明書は使用できません。
4. 証明書署名アルゴリズムを SHA1 にすることはできません
5. Azure Stack のインストールには公開キーと秘密キーの両方が必要なため、証明書の形式は PFX である必要があります。
6. 証明書 pfx ファイルの "Key Usage" フィールドには、"Digital Signature" と "KeyEncipherment" の値が含まれてい
る必要があります
7. 証明書の pfx ファイルの "Enhanced Key Usage" フィールドには、"Server Authentication
(1.3.6.1.5.5.7.3.1)" と "Client Authentication (1.3.6.1.5.5.7.3.2)" の値が含まれている必要があります。
8. 証明書の "Issued to:" フィールドは "Issued by:" フィールドと同じにしないでください。
9. すべての証明書 pfx ファイルのパスワードが同じである必要があります。
10. 証明書 pfx に対するパスワードは、複雑なパスワードである必要があります。
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-pki-certs#certificate-requirements

52. 証明書要求ファイル
[Version]
Signature="$Windows NT$"
[NewRequest]
Subject = "CN=portal.shinagawa.interact2018.com,OU=AzureStack,O=Interact,L=Shinagawa,ST=Shinagawa,C=JP"
Exportable = TRUE ; Private key is not exportable
KeyLength = 2048 ; Common key sizes: 512, 1024, 2048, 4096, 8192, 16384
KeySpec = 1 ; AT_KEYEXCHANGE
KeyUsage = 0xA0 ; Digital Signature, Key Encipherment
MachineKeySet = True ; The key belongs to the local computer account
ProviderName = "Microsoft RSA SChannel Cryptographic Provider"
ProviderType = 12
SMIME = FALSE
RequestType = PKCS10
HashAlgorithm = SHA256
; At least certreq.exe shipping with Windows Vista/Server 2008 is required to interpret the [Strings] and [Extensions] sections below
[Strings]
szOID_SUBJECT_ALT_NAME2 = "2.5.29.17"
szOID_ENHANCED_KEY_USAGE = "2.5.29.37"
szOID_PKIX_KP_SERVER_AUTH = "1.3.6.1.5.5.7.3.1"
szOID_PKIX_KP_CLIENT_AUTH = "1.3.6.1.5.5.7.3.2"
[Extensions]
%szOID_SUBJECT_ALT_NAME2% = "{text}dns=portal.shinagawa.interact2018.com&dns=adminportal.shinagawa.interact2018.com&
dns=management.shinagawa.interact2018.com&dns=adminmanagement.shinagawa.interact2018.com&
dns=*.blob.shinagawa.interact2018.com&dns=*.queue.shinagawa.interact2018.com&dns=*.table.shinagawa.interact2018.com&
dns=*.vault.shinagawa.interact2018.com&dns=*.adminvault.shinagawa.interact2018.com&
dns=*.dbadapter.shinagawa.interact2018.com&dns=*.appservice.shinagawa.interact2018.com&
dns=*.scm.appservice.shinagawa.interact2018.com&dns=api.appservice.shinagawa.interact2018.com&
dns=ftp.appservice.shinagawa.interact2018.com&dns=sso.appservice.shinagawa.interact2018.com&
dns=*.sso.appservice.shinagawa.interact2018.com"
%szOID_ENHANCED_KEY_USAGE% = "{text}%szOID_PKIX_KP_SERVER_AUTH%,%szOID_PKIX_KP_CLIENT_AUTH%"
[RequestAttributes]

53. 証明書 (導入時に必要)
Scope Subdomain Namespace Required Certificate Subject and Subject Alternative
Names (SAN)
Portals ARM <REGION>.<EXTERNALFQDN> portal. <REGION>.<EXTERNALFQDN>
adminportal. <REGION>.<EXTERNALFQDN>
management. <REGION>.<EXTERNALFQDN> SSL
adminmanagement. <REGION>.<EXTERNALFQDN>
Storage blob.<REGION>.<EXTERNALFQDN> *.blob.<REGION>.<EXTERNALFQDN>
table.<REGION>.<EXTERNALFQDN> *.table.<REGION>.<EXTERNALFQDN>
queue.<REGION>.<EXTERNALFQDN> *.queue.<REGION>.<EXTERNALFQDN>
Key Vault vault.<REGION>.<EXTERNALFQDN> *.vault.<REGION>.<EXTERNALFQDN>
wildcard SSL certificate
adminvault.<REGION>.<EXTERNALFQDN> *.adminvault.<REGION>.<EXTERNALFQDN>
wildcard SSL certificate
• 導入時に必須の証明書です。
• 1枚のマルチドメインワイルドカード証明書も利用できますが、1枚ずつ準備することも可能です。(1803 以前でインストールする場合、
Storage 用のワイルドカードドメインは1枚にまとめる必要があります。)
https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-pki-certs#mandatory-certificates

54. 証明書 (ADFS の場合に追加で必要)
Scope Subdomain Namespace Required Certificate Subject and Subject Alternative
Names (SAN)
ADFS adfs.<REGION>.<EXTERNALFQDN> adfs.<REGION>.<EXTERNALFQDN>
​​​​​​​SSL Certificate
Graph graph.<REGION>.<EXTERNALFQDN> graph.<REGION>.<EXTERNALFQDN>
SSL Certificate
• ADFS を利用してインストールする場合に必要な証明書です。

55. 証明書 (PaaS 用に追加で必要)
Scope Subdomain Namespace Required Certificate Subject and Subject
Alternative Names (SAN)
SQL
MySQL
dbadapter.<REGION>.<EXTERNALFQDN> *.dbadapter.<REGION>.<EXTERNALFQDN>
wildcard SSL Certificate
App Service appservice.<REGION>.<EXTERNALFQDN>
scm.appservice.<REGION>.<EXTERNALFQDN
>
*.appservice.<REGION>.<EXTERNALFQDN>
*.scm.appservice.<REGION>.<EXTERNALFQDN>
Multi Domain wildcard SSL Certificate
api.appservice.<REGION>.<EXTERNALFQDN>
SSL Certificate (separate certificate for endpoint)
ftp.appservice.<REGION>.<EXTERNALFQDN>
SSL Certificate2 (separate certificate for endpoint)
sso.appservice.<REGION>.<EXTERNALFQDN>
SSL Certificate (separate certificate for endpoint)
• PaaS をサービスをインストールする場合に必要な証明書です。(導入時に必須ではありません)
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-pki-certs#optional-paas-certificates

56. 証明書 (Dell EMC ソフトウェア用)
Scope Subdomain Namespace Required Certificate Subject and Subject Alternative
Names (SAN)
OME <OMESRVNAME>.<customerFQDN> <OMESRVNAME>.<REGION>.<customerFQDN>
​​​​​​​SSL Certificate with SANs
OMNM <OMNMSRVNAME>.<customerFQDN> <OMNMSRVNAME>.<REGION>.<customerFQDN>
SSL Certificate with SANs
• OME と OMNM の Web ポータルに適用する証明書です。(自己証明書での利用も可能です。)

57. Azure Stack 証明書署名要求の生成 (1/2)
• 証明書要求の作成方法も、マイクロソフト社ドキュメントが公開されています。
• https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-get-pki-certs
• 導入時に必要なドメイン、PaaS サービスに必要なドメインを 1つの証明書で作成しても問題ありません。

58. Azure Stack 証明書署名要求の生成 (2/2)
• このツールで複数枚の証明書要求を作成する場合、Storage 用の証明書要求ファイルが別ファイルになります。
• 1804 以降の Azure Stack をインストールする際に使用してください。
複数枚の場合 1 枚の場合

59. Azure Stack 証明書の作成と検証
PFX 形式の証明書作成時の注意点
• Azure Stack をインストールする際は、公開鍵と秘密鍵が必要になるので、PFX 形式に変換をお願いします。
• 複数の PFX ファイルに分ける場合は、すべて同じパスワードの設定をお願いします。
作成した証明書の検証
• Azure Stack の要件を満たした証明書か検証できるツールが公開されています。
• https://www.powershellgallery.com/packages/Microsoft.AzureStack.ReadinessChecker/
• https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-azsreadiness-cmdlet#description
• Azure Stack インストール用 証明書の検証方法です。DeploymentData.JSON がなくても検証できます。
• PaaS サービス用証明書の検証方法もあるので、Azure Stack 導入後に PaaS サービスをインストール際にご活用ください。

60. ネットワーク要件

61. Network Settings

62. 論理ネットワーク
ネットワーク 説明 サイズ
BMC ベースボード管理コントローラーや HLH ホストと監視/管理ソフトウェア用仮想マシンで利用する、管理ネットワーク
です。ルーティングが必要な IP アドレスだけ、ToR の ACL で通信許可されます。
/27 (Minimum)
Private 2つの /25 サブネットに分割されて利用します。どちらも内部通信用途のためルーティングされません。
・ ストレージネットワーク (S2D 用)
・ インターナルソフトウェア ロード バランサー 用の VIP
/24
Infrastructure Azure Stack Infrastructure 仮想マシン間で利用するネットワークです。ルーティング可能なIPアドレスを必要と
します(パブリック インフラストラクチャ ネットワーク)。プロキシや NAT 経由で インターネットへアクセスします。
/24
External
(パブリック VIP)
Azure Stack 内のネットワーク コントローラーに割り当てられ、Azure Stack インフラとテナントに割り当てます。最
初の31 個のアドレス はインフラで予約されます。PaaS を利用すると、さらに 7 個のアドレスを使用します。
/22 ~26 (推奨は /24)
Switch Infra スイッチのルーティングや管理など、複数のサブネットに分割されます。
・ ポイント ツー ポイント IPアドレス /30 (８ つ：ToR、Border、BMC スイッチ間)
・ ループバック IP アドレス /32 (3 つ：ToR、BMC)
・ スイッチ管理 IP アドレス /29 (ToR、BMC)
/26

63. 論理ネットワーク

64. Border Connectivity
• Static Routing はサポートしていますが、BGP ルーティングが推奨構成です。
• Static Routing を利用する場合、Border スイッチで 返りのVIP 向けなどのルーティングを設定する必要があります。
ECMPで4パス
を負荷分散

65. サブネットサマリ
• Azure Stack で利用するサブネットの一覧です。
• Border スイッチに 下記赤枠の若番を設定していただきます。

66. お客様
ネットワーク
通信要件
• Azure や 外部への通信要件
Internet
Azure Stack ユーザー
Azure Stack オペレーター

67. 外部アクセスが必要なネットワーク
• Azure Stack の外部ネットワークに通信が必要なネットワークは下記となります。
• インターネット/外部ネットワークへアクセスさせる必要がある場合は、Firewall などで通信許可が必要になります。
ネットワーク種類 サブネット/IPアドレス 備考
BMC ネットワーク ・ BMC External Accessible (5 IP)
・ HLH DVM (1 IP)
※ iDRAC (最大 13 IP)
※ HLH ホスト OS (1 IP)
HLH ホストOS や 物理サーバーの iDRAC への通信許
可はオプションで実施することが可能です。
Infrastructure ・ Infrastructure network
(インフラストラクチャ パブリック)
DNS、 NTP サーバーや AD などへのアクセス、
インターネットアクセス (NAT/Proxy 経由)
Switch Management ※ ToR Switch (2 IP)
※ BMC Switch (1 IP)
オプションで外部ネットワークへのアクセスを許可することが
可能です。
External Network ・全 IP アドレス (Public VIP) Network Controller が IP アドレスを管理。

68. ToR と BMC スイッチの ACL
• ToR、BMC には ACL が設定されている ACL は下記のように設定されています。
• 導入時にインターネットアクセスが必要なネットワークがあります。

69. お客様
ネットワーク
BMC 通信要件
1. DVM から すべて (Azure,インターネット, DNS, NTPなど)
2. お客様ネットワーク から BMC (オプション)
3. BMC (一部) からインターネット
Internet
テナントNW
Azure Stack ユーザー
Azure Stack オペレーター

70. IP アドレスサマリ
• Azure Stack で利用する IP アドレスの一覧です。

71. お客様
ネットワーク
インフラストラクチャネットワーク 信要件
1. Admin Public から すべて (Azure, インターネット, DNS, NTP、
お客様ネットワーク)
Internet
テナントNW
Azure Stack ユーザー
Azure Stack オペレーター

72. インフラストラクチャ パブリックネットワーク
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-network#public-infrastructure-network
• ToR スイッチのコンフィグ

73. お客様
ネットワーク
スイッチ管理ネットワーク 通信要件
Internet
テナントNW
Azure Stack ユーザー
Azure Stack オペレーター
1. お客様ネットワーク から スイッチ管理 (オプション)

74. お客様
ネットワーク
エクスターナルネットワーク 通信要件
Internet
テナントNW
Azure Stack ユーザー
Azure Stack オペレーター
1. お客様ネットワーク から エクスターナル (管理者ポータル)
2. テナントユーザーから エクスターナル (テナントポータル)

75. Proxy
• 透過プロキシのみサポートしています。ユーザー認証するプロキシはサポートされていません。

76. ファイアウォール
• ファイアウォールの設置シナリオです。
サービスプロバイダー向け エンタープライズ向け
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-firewall

77. ポートとプロトコル (受信)
• Azure Stack のポート要件です。
エンドポイント DNS ホスト A レコード プロトコル ポート
ADFS Adfs.<region>.<fqdn> HTTPS 443
ポータル (管理者) Adminportal.<region>.<fqdn> HTTPS 443、12495、12499、12646、12647、12648、12649、
12650、13001、13003、13010、13011、13012、
13020、13021、13026、30015
Azure Resource
Manager (管理者)
Adminmanagement.<region>.<fqdn> HTTPS 443
30024
ポータル (ユーザー) Portal.<region>.<fqdn> HTTPS 443、12495、12649、13001、13010、13011、13012、
13020、13021、30015、13003
Azure Resource
Manager (ユーザー)
Management.<region>.<fqdn> HTTPS 443
30024
Graph Graph.<region>.<fqdn> HTTPS 443
証明書の失効リスト Crl.<region>.<fqdn> HTTP 80
DNS *.<region>.<fqdn> TCP と UDP 53
Key Vault (ユーザー) *.vault.<region>.<fqdn> HTTPS 443
Key Vault (管理者) *.adminvault.<region>.<fqdn> HTTPS 443
ストレージ キュー *.queue.<region>.<fqdn> HTTP
HTTPS
80
443

78. ポートとプロトコル (受信) つづき
• Azure Stack のポート要件です。
エンドポイント DNS ホスト A レコード プロトコル ポート
ストレージ テーブル *.table.<region>.<fqdn> HTTP
HTTPS
80
443
ストレージ BLOB *.blob.<region>.<fqdn> HTTP
HTTPS
80
443
SQL リソース プロバイダー sqladapter.dbadapter.<region>.<fqdn> HTTPS 44300-44304
MySQL リソース プロバイダー mysqladapter.dbadapter.<region>.<fqdn> HTTPS 44300-44304
App Service *.appservice.<region>.<fqdn> TCP 80 (HTTP)
443 (HTTPS)
8172 (MSDeploy)
*.scm.appservice.<region>.<fqdn> TCP 443 (HTTPS)
api.appservice.<region>.<fqdn> TCP 443 (HTTPS)
44300 (Azure Resource Manager)
ftp.appservice.<region>.<fqdn> TCP、UDP 21、1021
10001-101000 (FTP)
990 (FTPS)
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-integrate-endpoints#ports-and-protocols-inbound

79. ポートとプロトコル (送信)
• Azure Stack のポート要件です。
目的 URL プロトコル ポート
ID login.windows.net
login.microsoftonline.com
graph.windows.net
https://secure.aadcdn.microsoftonline-p.com
HTTP
HTTPS
80
443
Marketplace シンジケーション https://management.azure.com
https://*.blob.core.windows.net
https://*.azureedge.net
https://*.microsoftazurestack.com
HTTPS 443
パッチと更新プログラム https://*.azureedge.net HTTPS 443
登録 https://management.azure.com HTTPS 443
使用法 https://*.microsoftazurestack.com
https://*.trafficmanager.com
HTTPS 443
Windows Defender .wdcp.microsoft.com
.wdcpalt.microsoft.com
.updates.microsoft.com
.download.microsoft.com
https://msdl.microsoft.com/download/symbols
http://www.microsoft.com/pkiops/crl
http://www.microsoft.com/pkiops/certs
http://crl.microsoft.com/pki/crl/products
http://www.microsoft.com/pki/certs
https://secure.aadcdn.microsoftonline-p.com
HTTPS 80
443

80. Azure Stack のイン
ストール

81. Integration System インストール
1. Azure Stack のインストール
➢ 7 ~ 8 時間で Azure Stack のインストールが完了します。
2. Test-AzureStack の実行
➢ AzureStack の動作確認テストを実施します。
3. 最新パッチ適用
➢ 2 ~ 3 日必要となる可能性もあります。
4. Azure 登録
➢ Azure Marketplace から ダウンロードできるようになります。
5. Azure Stack ポータルへのアクセス
➢ テナントポータルと 管理者ポータルへアクセスできます。

82. Azue Stack 情報確認
• インストールした Azure Stack 環境の 情報は AzureStackStampInformation.json に記載があります。
• インターナル ドメイン名
• NTP サーバー
• AAD テナント名 / テナントID
• External DNS 名 (NS 名)
• External DNS IP アドレス
• Tenant External エンドポイント
• Admin External エンドポイント

83. まとめ

84. まとめ
• ASDK とは違い、Integrated System はインストール要件が多い
• ID (AAD か、 ADFS か。)
• AAD の場合、EA か CSP のサブスクリプション
• 証明書
• 1枚のマルチドメインワイルドカード証明書か、 14枚の証明書を準備するか。
• ネットワーク
• BGP か スタティックか。
• BGP だと 機器の準備が必要？
• スタティックだと ルーティングの管理が大変
• ポートやプロトコルの通信要件
• Firewall や プロキシの設計などなど。
• インストール後
• DNS の設定
• PaaS サービスのインストール (MySQL、MSSQL、App Services)
• プランやオファーの設計設定などなど。

85.  Compass Interract2018ページにアンケートへのリンクとQRコードがあります
◦ https://interact.connpass.com/event/77420/
 アンケートリンク
◦ URL
 https://forms.office.com/Pages/ResponsePage.aspx?id=0emDRJ2XDkOMJVhhhABT1kY
0s84rWEFMh6lvLSQ5jRNUQkQ1NzRUV1BZVUY5T1JNUVNSWlhCMlhNMy4u
◦ QRコード
8
5