Kubernetes on Azure ～Azureで便利にKubernetesを利用する～

Kubernetes on Azure
～Azureで便利にKubernetesを利用する～
2019/7/30
Cloud Native Nagoya #2
Yoshimasa Katakura (@yo_ta_n)
#cnjp #jazug #azurejp

自己紹介
片倉義昌 (かたくらよしまさ)
(株)pnopで働いてます(2015～)
Azureコンサルティングとかしてます
IaaS大好き、ネットワーク大好き、K8sちょっと好き
Microsoft MVP for Azure (2017～)
Copyright© 2019, Y.Katakura All Rights Reserved.
2
yoshimasa.katakura@yo_ta_n
はい次12345678910
https://qiita.com/yotan
https://zakki.nya-n.net

JAZUG のご紹介
Japan Azure User Group ( 略称 : じゃずゆーじー)
コミュニティ活動概要
Microsoft Azure を通じて、技術、交流、実ビジネスを楽しむ
“ちょっと興味がある＝ゆるふわな方“ から “実ビジネスで使うんだよね” な
方まで大歓迎！ゆるふわコミュニティです。
Facebook グループ運営中「JAZUG」で検索！
Twitter ハッシュタグ：#jazug
一緒に運営してくれるメンバーを募集中です。
コミュニティイベントの開催は「connpass」で告知しています
https://jazug.connpass.com/
3

ご注意
本スライドは2019年7月30日現在の情報を元に作成しています
Azureは日々の変化が激しく、今後どんどん機能追加、仕様変
更が行われており、内容が古くなる事が想定されます
お伝えする情報は基本的にはMicrosoft公式ドキュメントに記
載のあるものばかりですが、本スライドの内容だけを鵜呑みに
してオシゴトで活用するのは止めましょう
https://docs.microsoft.com/ja-jp/azure/
4

本日のお話
本日は以下のお話をします。
Azure Kubernetes Service(AKS)の特徴
AKSと連携しやすいAzure PaaSの紹介
K8sやDocker Containerの細かい内容についてはお話しません。
5

Azureで利用可能なコンテナサービス
Azure Kubernetes Service (AKS)
Azure Container Instances (ACI)
Azure Container Registry (ACR)
Web App for Containers (App Service)
Batch
Service Fabric
6
https://azure.microsoft.com/ja-jp/product-categories/containers/
本日お話する範囲

Azure Kubernetes Service (AKS)
ManagedなK8s環境
K8sマスターの隠蔽、サービス化
K8sノード（ノード用VMやストレージ）のみ課金でK8sマスターは非課金
数分でクラスタを作成
クラスタアップグレード、スケール変更支援
アップストリームK8sを利用しているので比較的早く最新K8s Versionが利用可能(現在は
1.14.3(Preview))
IaaS環境と同じ仮想ネットワーク上にK8sノードが構築されるため、他のIaaS、PaaSとの連携もし
やすい
Azure Active Directory(AAD)と連携
監視機能であるAzure Monitorと連携
7
https://azure.microsoft.com/ja-jp/services/kubernetes-service/

Azure Kubernetes Service(AKS)の構成
API server
Controller
ManagerScheduler
etcd
Store
Cloud
Controller
Self-managed master node(s)
Customer VMs
App/
workload
definitionUser
Docker
Pods
Docker
Pods
Docker
Pods
Docker
Pods
Docker
Pods
Schedule pods over
private tunnel
Kubernetes
API endpoint
Azure managed control plane

Azure Container Instance (ACI)
サーバレスのコンテナ実行環境
コンテナが起動している間だけ秒単位での課金
(コア数、メモリ量によって単価が変動)
AKSからもVirtual Node機能で内部的にACIを利用している
9
https://azure.microsoft.com/ja-jp/services/container-instances/

Azure Container Registry (ACR)
プライベートなコンテナレジストリ
(Docker HubのPrivate Registryみたいなもの)
AzureのRole Based Access Control(RBAC)を用いて細かくユー
ザ権限を設定可能
Docker build機能を有しておりACR上でDockerイメージの作成
が可能(地味に便利)
10
https://azure.microsoft.com/ja-jp/services/container-registry/

AKS内のAzure特化機能
全てではありません
11

Azure Storage
Azureのストレージサービス使って、
コンテナからAzureの永続領域(ストレージ)の利用が可能
Azure Managed Disk(管理ディスク)
→単一のコンテナからのみ利用可能
Storage Classに事前登録済み
Azure File Storage
→複数のコンテナから同時利用可能(CIFS接続)
12https://docs.microsoft.com/ja-jp/azure/aks/azure-disks-dynamic-pv
https://docs.microsoft.com/ja-jp/azure/aks/azure-files-dynamic-pv
$ kubectl get storageclass
NAME PROVISIONER AGE
default (default) kubernetes.io/azure-disk 23h
managed-premium kubernetes.io/azure-disk 23h

Load Balancer
Serviceのtypeに「LoadBalancer」を指定すると、
Azure Public IPを作成してロードバランサーの自動構成をしてくれる。
Serviceのtypeに「ClusterIP」を指定すると、Azure Load Balancerを作成
して、他の仮想ネットワークやサブネットからもそのIPアドレスで通信
可能になる
13
Copyright© 2017, Y.Katakura All Rights Reserved. https://docs.microsoft.com/ja-jp/azure/aks/internal-lb
$ kubectl get service wp-external-lb
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
wp-external-lb LoadBalancer 10.0.57.7 40.115.181.XXX 80:30873/TCP 21h

Azure Active Directory連携
K8sクラスタの管理者(kubectlを実行する人)にAzure Active
Directoryが連携可能
アカウント毎に個別にK8sクラスタに対するロール割当てが行
える
AさんはHogeHoge Namespaceだけ管理できる
Bさんはフル権限を持つ
14
https://docs.microsoft.com/ja-jp/azure/aks/azure-ad-integration

仮想ノード(Virtual Node)
サーバレスなK8sノード
AKSはManager部分はAzureに隠蔽されておりフルマネージドですが、ノード(実際にPod
が動作する部分)は仮想マシンがAzureサブスクリプション上にデプロイされて実行され
る
ノードの台数が足りなくなった場合には、新しいノードを追加する必要がありますが、
Azureの場合でも新規ノードの追加には5分以上必要
仮想ノード(Virtual Node)を利用することで、サーバレスのコンテナ環境であるAzure
Container Instance上でPodを動作させることができ、急激なスケールアウトにも迅速に
対応できることが期待できる
15
https://docs.microsoft.com/ja-jp/azure/aks/virtual-nodes-portal

ノードのオートスケール
K8sノードの自動スケールアウト、スケールイン
ノード内のリソース(cpu, memory)が足りなくなって、Podのスケジュー
ルができなくなった際に自動でノードをスケールアウト
ノードの最小数、最大数を定義しておくと勝手にスケールしてくれる
現在はセルフサービスオプトイン型のPreviewなので、事前登録が必要
16
https://docs.microsoft.com/ja-jp/azure/aks/cluster-autoscaler

監視
Azure MonitorでAKSを含むPaaS及びIaaSを統合的に監視
K8s クラスタ、ノード、コンテナのメトリック情報を監視
Log Analyticsと連携することで、K8sの各種ログを一元管理、
複数の種類のログを横断的に検索したり、グラフで可視化した
りできる
17
https://docs.microsoft.com/ja-jp/azure/azure-monitor/insights/container-insights-analyze

Virtual Network Integration
PaaSと統合するVirtual Networkのお話
18

Service Endpoint
各種PaaS側のFirewall機能で特定のSubnetからの通信を許可させる
Storage Account、SQL Databaseなど、インターネット向けのエン
ドポイントを持っているPaaSの接続制限を行う機能
AKSノード(Pod)から各PaaSへ接続するときのアクセス先(エンドポイ
ント)のホスト名やURLは今までと一緒
ストレージアカウントだったら
https://storageaccount01.blob.core.windows.net/
SQLDBだったら
sqldb01.database.windows.net:1433
19
https://docs.microsoft.com/ja-jp/azure/virtual-network/virtual-network-service-endpoints-overview

Service Endpoint対応サービス
General Availability(一般公開)
Azure Storage
Azure SQL Database, Data Warehouse
Azure Database for PostgreSQL, MySQL, MariaDB
Azure Cosmos DB
Azure Key Vault
Azure Service Bus
Azure Event Hubs
Azure Data Lake Store Gen 1
Azure App Service
Public Preview
Azure Container Registry
20
https://docs.microsoft.com/ja-jp/azure/virtual-network/virtual-network-service-endpoints-overview

Virtual Network内に配置できるPaaS
各種PaaSをVirtual Network内のリソースにPrivate IP Addressを
使ってアクセス可能にする技術
SKU(PaaSのプラン)が低いとVirtual Networkに配置できない
PaaSもある
21
https://docs.microsoft.com/ja-jp/azure/virtual-network/virtual-network-for-azure-services#services-that-can-be-
deployed-into-a-virtual-network
https://docs.microsoft.com/ja-jp/azure/app-service/web-sites-integrate-with-vnet

Virtual Networkに配置可能なPaaS一覧
Azure Batch
Azure Application Gateway
Azure Firewall
Azure Cache for Redis
Azure SQL Database Managed
Instance
Azure HD Insight
Azure Databricks
Azure Active Directory Domain
Services
Azure Kubernetes Service
Azure Container Registry
Azure Container Service Engine
API Management
App Service Environment
Azure Logic Apps (ISEのみ)
Azure 専用HSM
Azure NetApp Files
22
https://docs.microsoft.com/ja-jp/azure/virtual-network/virtual-network-for-azure-services

K8sだけでシステム全体を
デザインするのが良いのか？
23

利点と欠点(個人的感想)
K8sネイティブなシステムの利点
オンプレミスのDR先としてクラウドを選択する場合に機能差異が少
ない
マルチクラウドでの利用の場合に機能差異が少ない
K8sネイティブなシステムの欠点
急激なスケールアップ、スケールアウトを行うために、必要(と思わ
れる)十分なスペック、台数のノードを準備しておく必要がある
永続領域(ディスク、DB)の安全性を確保するためにたくさんの血と汗
を流す必要がある
運用基盤(監視など)を別のVMやK8sクラスタ上に構築する必要がある
24

便利な機能(PaaS)はどんどん
使えばいいと思います
25

例えばこのように
26
コンテナコンテナ
(AKS)
(Application Gateway Ingress Controller)
コンテナ
(Redis)
(Database for MySQL)

AKSから良く使いそうなPaaS
27

Azure Application Gateway(V2)
(K8s上のIngressを思い浮かべながら聞いて下さい)
httpリバースプロクシのPaaS (中身はNginx)
Azure仮想ネットワーク上に配置
(AKSと同一仮想ネットワークに配置可能)
SSLオフロード(https→http)機能あり
URLマッピングあり
SSL証明書を安全なAzure Key Vault上で管理可能(Preview)
トラヒック流量によって自動スケールアウト可能
オプションでWAF機能あり
OWASP (Open Web Application Security Project) のCore Rule Set(CRS) 3.0/2.2.9
の他に2019/06からはカスタムルールもGA!
28https://docs.microsoft.com/ja-jp/azure/application-gateway/overview
https://docs.microsoft.com/ja-jp/azure/application-gateway/custom-waf-rules-overview

AKSと統合可能な
「Azure Application Gateway Ingress Controller」
29
https://azure.github.io/application-gateway-kubernetes-ingress/

Azure Application Gateway
Ingressの代わりにどうです？
K8sのIngressを使い続ける手もありますが、Azure Application
Gateway Ingress Controllerをフロントに配置する手もあるか
も？
WAF機能も使えます
K8sのノードの空きリソースを気にせずにスケールアウト可能
です。
(Application Gatewayのスケールアウトにも数分必要なので要
件に合えばですが)
30

(K8s上に自分でRedisを構築する事を思い浮かべながら聞いて下さい)
フルマネージドなRedis
仮想ネットワーク内にデプロイ可
冗長化オプション、永続化オプションあり
31
https://docs.microsoft.com/ja-jp/azure/azure-cache-for-redis/cache-overview

Redis on Podの代わりにどうです？
RedisサーバをK8sのPod上にクラスタ構成で構築するのは意外
と大変な印象です。
(シングル構成や、永続化しない場合は比較的カンタン)
Azure Cache for Redisを使えば、仮想ネットワーク内に統合し
てクラスタ構成、永続化構成も指定可能です。
32

各種Databaseサーバ
(K8s上、若しくは仮想マシン上に自分でHA構成のMySQLなどを構築する事を思い浮か(ry
PaaS版のフルマネージドなDatabase System
以下のRDBが選択可能
SQL DB (SQL Server)
MySQL
PostgreSQL
MariaDB
他にCosmosDB(DocumentDB)やTable Storage(KVS)などもある
Oracle DBが利用したい場合、Azure⇔Oracle Cloud
Infrastructure(OCI)と連携させて利用もできる(Preview)。
33https://azure.microsoft.com/ja-jp/product-categories/databases/
https://docs.microsoft.com/en-us/azure/virtual-machines/workloads/oracle/oracle-oci-overview

Databaseこそ
ManagedなPaaS使いましょう
K8s上にクラスタ構成で各種Databaseサーバを構築するのは運
用コストを考えるとお勧めし難いです。
先に説明したVNET Injectionの機能であるService Endpointを
使って安全にAzureのPaaSのDBを活用したほうが良いと思いま
す。
34

監視
「私はGrafanaでメトリック監視をしています」
監視対象としてAzure Monitor経由でメトリックを見たりもで
きます。ただし現在Azure Monitorで監視できるAKSのメト
リック情報は種類が少ないので選択肢としてはありかと。
「ログ監視にはEFK(Elastic Search, Fluentd, Kibana)を使ってい
ます」
Azure MonitorのLog Analyticsはどうでしょう？マネージドな
ので監視基盤の管理が楽ですよ。
35
https://docs.microsoft.com/ja-jp/azure/azure-monitor/insights/container-insights-log-search

AKSからAzure PaaSをデプロイ
36

Open Service Broker for Azure(OSBA)
Open Service Broker API
各種クラウドの外部サービス(SQL DB, Database for MySQLなど)を、統一されたインタ
フェースでデプロイできるAPI仕様
Service Catalog
このAPIを呼び出すためのサービスとしてK8s上で動作
Open Service Broker for Azure
Azureの各種PaaSサービスをK8s上からデプロイするための仕組み
• Azure Database for MySQL / PostgreSQL v9.6
• Azure SQL Database
(以下はPreview)
• Azure Cosmos DB
• Azure Cache for Redis
• Azure Database for PostgreSQL v10
• Azure Storage
他にもComing soonとして各種Azure PaaSの対応が予定済み
37
https://docs.microsoft.com/ja-jp/azure/aks/integrate-azure
https://github.com/kubernetes-incubator/service-catalog
https://github.com/Azure/open-service-broker-azure

Database for MySQLのデプロイ
38
AKS
Service Catalog
Open Service Broker
for Azure
Open Service
Broker API
$ kubectl apply –f mysql.yaml
apiVersion: servicecatalog.K8s.io/v1beta1
kind: ServiceInstance
metadata:
name: wp-mysql
spec:
clusterServiceClassExternalName: azure-mysql-5-7
clusterServicePlanExternalName: basic
parameters:
location: japaneast
resourceGroup: aksbase01-rg
sslEnforcement: disabled
firewallRules:
- startIPAddress: "0.0.0.0"
endIPAddress: "255.255.255.255"
name: "AllowAll"

デプロイされたDatabase for MySQLの情
報参照
OSBAで作成されたMySQLの必要
なパラメータはServiceBindingで
Secretに変換できる
Secret “mysql-secret” にOSBAが
作成したMySQLの各種情報が格
納される
→後はPodから繋げるだけですね
39
apiVersion: servicecatalog.K8s.io/v1beta1
kind: ServiceBinding
metadata:
name: mysql-servicebinding
spec:
instanceRef:
name: wp-mysql
secretName: mysql-secret
$ kubectl get secret mysql-secret -o yaml
apiVersion: v1
data:
database: eWhiZGQycHkwMg==
host: ZDg0ZTU2ODgtZDJkNC00ODc4LWFiYmYtOGEzODk0ZjJ
lNDcwLm15c3FsLmRhdGFiYXNlLmF6dXJlLmNvbQ==
password: cDhRQWVYN0JQN2x6a1JXRQ==
port: MzMwNg==
sslRequired: ZmFsc2U=
tags: WyJteXNxbCJd
(以下略)

でもお高いんでしょう？
(ちょっと検証で試したいんだけど)
AKS単独では、K8sノードで使用する仮想マシン代金のみ
→使わないときには仮想マシンを停止する
→無駄に性能の高いサイズ(性能)や台数を選択しない
DBやRedis、Application Gatewayもサイズ(プラン)やオプション構成に
よっては高額になりがち
→おまけに使っていない間の停止ができない
Azure料金計算ツールを使ってみましょう。
AKS 1ノード、Application Gateway、MySQLの構成で、ざっくり2万円/月く
らいで検証できます。
40
https://azure.microsoft.com/ja-jp/pricing/calculator/

参考になるURL
Azure Kubernetes Services WorkShop
AKSを使い倒すためのKnow How集(ただし英語)
https://github.com/yoshioterada/k8s-Azure-Container-Service-AKS--on-Azure
Kubernetes の導入時に考えるべきこと
Azureを提案する時によく聞かれるAKSの採用指針について
https://yoshio3.com/2019/07/20/appropriate-choice-of-k8s-environment/
Special thanks to #てらだよしおがんばれ
41

おわりに
今回はAzure視点でK8sを活用していくお話をさせて頂きました
(自分がAzureしか知らないので)
他のクラウドサービスにも同種のPaaSが存在しているでしょう
ベンダーロックを恐れずに、クラウドの利点を有効に活用して
Container Life, K8s Lifeを楽しんでいただけたらと思います
42

Kubernetes on Azure ～Azureで便利にKubernetesを利用する～

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Kubernetes on Azure ～Azureで便利にKubernetesを利用する～

Similar a Kubernetes on Azure ～Azureで便利にKubernetesを利用する～ (20)

Más de Yoshimasa Katakura

Más de Yoshimasa Katakura (6)

Kubernetes on Azure ～Azureで便利にKubernetesを利用する～