SlideShare una empresa de Scribd logo
1 de 103
Azure
2018/12/04
VMSSやコンテナー オーケストレーターで、
クラウドのコンピューティング リソースを使いこなす
福原 毅
日本マイクロソフト株式会社
パートナー事業本部
パートナー ソリューション プロフェッショナル
一歩先行く Azure Computing シリーズ(全3回)第3回
2
一歩先行く Azure Computing シリーズ(全3回)
第1回 SLA を軸にした Azure 高可用性設計とは
https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-11Nov-08-AzureComputing-
MCW0009127_01Registration-ForminBody.html
第2回 Azure VM どれを選ぶの?
https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-11Nov-20-AzureVMIntensiveCourse-
MCW0009132_01Registration-ForminBody.html
第3回 VMSSやコンテナー オーケストレーターで、クラウドのコンピューティング リソー
スを使いこなす
https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-12Dec-04-AzureComputing-
MCW0009199_01Registration-ForminBody.html
Azureとは
Microsoft Azureは、ビジネス上の課題への対応
を支援するために絶えず拡大を続けるクラウド サー
ビスの集合体です。世界規模の巨大なネットワー
クに対し、お気に入りのツールやフレームワークを
使ってアプリケーションを自在に構築、管理、
デプロイすることができます。
Azure コンピューティング サービス の選択肢
Virtual Machine / Virtual Machine Scale Sets (VMSS)
Azure (Public Cloud)
Azure Stack
(Private Cloud)
Virtual Machine Extensions
Kubernetes、SCALR、
RightScale, Mesos、Swarm
Service Fabric (Mesh)
App Service
Web
Apps
Mobile
Apps
Apprenda、Cloud Foundry
Jelastic、Marathon、OpenShift
インフラ
IaaS / IaaS+
汎用コンピュー
ティング PaaS
用途特化型
コンピューティング
PaaS
クラスター オーケ
ストレーション
API
Apps
Function
Apps
a
Virtual Machine Scale Setsとは
Resource Group
Subnet
Scalable Storage
V
M
VNET
Scalable NIC
…
V
M
V
M
V
M
VM Scale Set
• 数千もの仮想マシンを同時に展開スケール
• パフォーマンスの統計情報とインスタンス数に基づいて自動スケール アウト / ス
ケール イン
• 複数ゾーンへの展開をサポート
伸縮性
• スケール セットのモデルを通して簡単に管理
• 更新のオーケストレーションをサポート
管理
• PaaSのような機能により、インフラ レベルのコストを低減
• リザーブド インスタンス (RI)と、低優先VMをサポート
コスト効率
Virtual Machine Scale Sets の用途
ウェブサーバー
スケールアウト・イン HPCクラスター
https://azure.microsoft.com/ja-jp/solutions/architecture/hpc-cluster/ より抜粋
Demo
Virtual Machine Scale Setsの作成 – Azure Portal
ARMテンプレート=ソリューションに対してデプロイが必要なリソースを定義した
JSON ファイル。AzureでInfrastructure as Codeを実現。
(補足)ARMテンプレート
https://docs.microsoft.com/ja-jp/azure/virtual-
machine-scale-sets/quick-create-template-windows
https://docs.microsoft.com/ja-jp/azure/virtual-
machine-scale-sets/quick-create-template-linux
20
Availability Zones ( AZ )
データセンターレベルの障害の保護
• AZは一つ以上の物理データセンターで
構成
• 各AZで独立した電源系統、ネットワー
ク、冷却設備
• AZはリージョンに3つ以上
• 低遅延: AZ間のレイテンシー <2ms.
• 対象リージョン
• Central US
• West US 2
• West Europe
• North Europe
Region
Zone 2 Zone 3
Zone 1
• France Central
• East US 2
• Southeast Asia
Availability Zones対応サービス
Zone Redundant
Storage (ZRS)
Load Balancer
Standard (Zone
Redundant)
Virtual Machines
Virtual Machine
Scale Set
Managed Disks
Event Hubs
Express Route
Application
Gateway
VPN Gateway
Service Bus
スケールについて
0
500
1,000
1,500
2,000
2,500
3,000
ASM Availability
Sets
VMSS Custom
Images
VMSS Platform
Images
VMSS Cross
Zonal
50 200
600
1,000
3,000
サポートされるVM数
Azure仮想マシンのコスト最適化
Azureハイブリッド特典
事前に利用する仮想マ
シンを予約する
• 1 3
リザーブドインスタンス
インフラストラクチャのコスト分で
https://azure.microsoft.com/ja-jp/pricing/hybrid-benefit/https://azure.microsoft.com/ja-jp/pricing/reserved-vm-instances/
• 最大 80% ディスカウント
• 固定料金
• 入札不要
コスト
• SLAなし – 容量の保証なし
• 1 障害ドメイン
• サービス ヒーリング なし
SLA
• バッチプロセス
• コンテナー ベース
• 開発 / テスト
想定
ワークロード
割り込み
80%引き
az vmss create ¥
--resource-group myResourceGroup ¥
--name myScaleSet ¥
--image UbuntuLTS ¥
--upgrade-policy-mode automatic ¥
--admin-username azureuser ¥
--generate-ssh-keys ¥
--priority Low
--evictionPolicy delete
VMSSでの低優先度VMへの展開: 削除ポリシー
Demo
Virtual Machine Scale Setsでの低優先度VMの動作
"metricTrigger": {
"metricName": "Percentage CPU",
"timeGrain": "PT1M",
"statistic": "Average",
"timeWindow": "PT5M",
"timeAggregation": "Average",
"operator": "GreaterThan",
"threshold": 60
}
低優先度VMの活用例: ハイブリッド スケール セット
ロード バランサー
(Standard SKU)
通常のスケール セット 低優先 スケール セット
"metricTrigger": {
"metricName": "Percentage CPU",
"timeGrain": "PT1M",
"statistic": "Average",
"timeWindow": "PT5M",
"timeAggregation": "Average",
"operator": "GreaterThan",
"threshold": 30
}
VMSSへの、Azure DevOpsを利用したアプリケーション展開
Pipeline - Build Pipeline - Deploy Pipeline - Deploy
Azure DevOps の概要 Postedon September 10, 2018
https://azure.microsoft.com/ja-jp/blog/introducing-azure-devops/
Visual Studio Team Services (VSTS) の進化
Azure DevOps は、Visual Studio Team Services
(VSTS) の進化版と言えます。VSTS ユーザーは Azure
DevOps プロジェクトに自動的にアップグレードされます。
既存のユーザーにとっては、機能が減ることはなく、単に選
択肢とコントロールが増えるだけです。VSTS の特長であっ
たエンドツーエンドの追跡可能性と統合もすべてそのまま
です。Azure DevOps サービスは組み合わせてうまく機
能します。今日から変革が始まり、これから数か月にわ
たって既存のユーザーは変化を目の当たりにします。これ
はどういう意味でしょうか。
Azure Pipelines
あらゆる言語、プラットフォーム、クラウドで機能する CI/CD。GitHub や任意
の Git リポジトリに接続し、継続的にデプロイすることができます。詳細情報 >
Azure Boards
かんばんボード、バックログ、チームのダッシュボード、カスタム レポートを使用した
強力な作業追跡。詳細情報 >
Azure Artifacts
パブリックおよびプライベートのソースからの、Maven、npm、NuGet パッケージ
のフィード。詳細情報 >
Azure Repos
クラウドでホストされたプライベート Git リポジトリを無制限にプロジェクトで使用
。共同のプル要求、高度なファイル管理、その他。詳細情報 >
Azure Test Plans
オールインワンの計画された探索的テスト ソリューション。詳細情報 >
Demo
Azure Pipelineで、Virtual Machine Scale Setsへアプリケーション展開
Build
Utility
Deploy
Tool
Azure Pipelineで使えるタスクの例
本日のウェビナーで関連するものの一部を抜粋
• 一般提供中
• Opt-in モデル
• すべてのリージョンで利用可能
• ゲストOSイメージを、順次更新
• Scales Setを20% ずつ更新
• アプリケーション正常性プローブと統合
• イメージ更新後、VM 拡張機能を実行
• 永続データディスクを保持
VMSS の自動 OSイメージ更新
…
Auto OS
Upgrader
Get latest
platform image
for given SKU Check OS
upgrade{
"properties": {
"upgradePolicy": {
"automaticOSUpgradePolicy": {
"enableAutomaticOSUpgrade": true
}
}
}
}
Ubuntu: 18.04 LTS /
16.04 LTS
CentOS 7.5
CoreOS Stable
Windows: 2012R2 /
2016 / 2016 small-disk
/ 2016 containers
• 対応OSイメージ
• 数千もの仮想マシンを同時に展開スケール
• パフォーマンス情報とインスタンス数に基づき自動スケール アウト/スケール イン
• 複数ゾーンへの展開をサポート伸縮性
• スケール セットのモデルを通して簡単に管理
• 更新のオーケストレーションをサポート
管理
• PaaSのような機能により、インフラ レベルのコストを低減
• リザーブド インスタンス (RI)と、低優先VMをサポート
コスト効率
Why Containers ? – Write-once, Run-anywhere
‘Write-once, Run-anywhere’
マイクロサービス アーキテクチャ対応
Dev/Test の効率化
確実な Production 環境の配置
Developer Community の成長
アプリケーションのポータビリティ
開発, QA, 運用環境の標準化
OS やインフラ環境の抽象化
リソース配分の最適化
高速起動、スケーラビリティの確保
DevOps
Developers
Operations
Docker コンテナーとは?
From Docker.inc : https://docs.docker.com/get-started/#images-and-containers
ホストOS上に配置されたライトウェートで高速に動作する分離された層
最終的にホストOS上の1プロセスとして実行されているアプリケーション
コンテナー化仮想化
Docker Engine
コンテナー イメージの構造
Dockerfiles: コンテナー構築のレシピ
環境は Docker Hub から入手可能
https://hub.docker.com/
Visual Studio (Windows)
Visual Studio for Mac
Visual Studio Code (クロスプラットフォーム)
Support for:
- Docker - Windows コンテナー
- Docker - Linux コンテナー
- マルチコンテナーのアプリケーション デバッグ
による、
既存アプリのコンテナ化
Dockerレジストリ経由で、Azureのコンテナーへ展開例
docker pull
PC 上の開発環境
Windows 10 以降のDocker for Windows
コンテナー上の アプリケーション
コンテナー上の
Database
Docker engine と
Docker CLI
ローカルの
Docker イメージ
レポジトリー
docker push
Container Registry
Docker Hub
もしくは
Azure Container Registry
docker-compose build
or
docker build
展開先の選択肢
Azure Container
Instances (ACI)
Azure VM
Windows Server 2016/2019
Docker Engine
Azure App Service
(Windows Containers対応はプレビュー)
Azure Kubernetes Service
(Windows Containers対応はプレビュー)
Service Fabric
(Mesh or cluster)
(Service Fabric meshはプレビュー)
実運用環境での要件
✓ 高可用性
✓ PaaS サービス
Container上の
Database ( SQL Server, MySQL, PostgreSQLなど )
コンテナーのスケールアウトを簡素化するには?
かつ、IaaS/VM の運用をなくすには?
データコンピューティング
✓ コンテナー用のコンピューティング サービスの管理
✓ スケール アウト
実運用環境での要件をオーケストレーターで解決
Azure Data Services
( Azure SQL DB,
Azure DB for MySQL/PostgreSQL/MariaDB,
Cosmos DB など )
もしくは、
IaaS上のDatabase クラスター サービス
✓ 高可用性
✓ PaaS サービス
コンテナーのスケールアウトを簡素化するには?
かつ、IaaS/VM の運用をなくすには?
✓ コンテナー用のコンピューティング サービスの管理
✓ スケール アウト
データコンピューティング
マイクロサービスアーキテクチャでは、アプリが比較的小規模の独立したサービスで
構成され、複数コンテナーを連携させる必要がある。よって、複数コンテナーを管理
するオーケストレーション機能が重要な役割を担う (Kubernetes, Docker Swarm, etc)
コンテナーオーケストレーター
参考: Gabe Monroy on Twitter: "Strata of the Container Ecosystem
https://twitter.com/gabrtv/status/539805332432637952https://kubernetes.io/
AzureのKubernetes関連サービス
Azure Kubernetes Service (AKS)
acs-engine
• OSS (MITライセンス) コンテナサービスエンジン
• ARMテンプレートを使ってK8sクラスタ構築・管理機能を提供
• 新規k8s機能が早い段階で利用可能で、 acs-engineで安定が確認された機能はAKSに順次導入されることが多い)
Kubernetes core concepts for AKS
https://docs.microsoft.com/azure/aks/concepts-clusters-workloads
56
AKS GAリリース - 2018年6月14日(日本時間)
豊富な機能群
• Azureポータル、Azure CLIコマンド、ARMテンプレートに加えてTerraformを利用したクラスタ
構築も可能
• デフォルトでK8sのRole-based Access Control (RBAC) 設定可能
• Azure ADベースのアクセス制御も可能 (Preview)
• クラスタのスケーリング、アップグレード
• HTTPアプリケーションルーティング (外向けDNS名とIngressControllerが自動設定)
• GPU VMノード利用可能
• VNET連携 - Advanced Networking設定 (CNI Plugin利用) により新規VNET、または既
存のVNETへのクラスタのデプロイが可能。Podが他のピアリング接続されたVNETと接続可能。
またExpressRouteやVPN接続を通じてオンプレのサービスと接続可能
https://docs.microsoft.com/en-us/azure/aks/intro-kubernetes
Kubernetesについて
Googleが始めた、オープン ソース プロジェクト
2015年6月21日、Joe Bedaと、 Brendan Burns、Craig
McLuckie によって、 Kubernetes v1.0 がリリース
2016年7月12日、Brendan BurnsがMicrosoftでAzure上の
開発に参画
2018年8月29日、Googleは、Cloud Native Computing
Foundation® (CNCF®)へKubernetesプロジェクトのオーナーシッ
プと管理の移管を開始
Apprenda が主導するコミュニティで、Windowsサポートを追加
VANCOUVER, Canada – August 29, 2018 – Open Source Summit North America – The Cloud
Native Computing Foundation® (CNCF®), which sustains and integrates open source
technologies like Kubernetes® and Prometheus™, today announced that Google Cloud has
begun transferring ownership and management of the Kubernetes project’s cloud
resources to CNCF community contributors.
(https://www.cncf.io/announcement/2018/08/29/cncf-receives-9-million-cloud-credit-grant-
from-google/ より抜粋)
58
KubernetesのVMSS対応
Kubernetes 1.12: Support for Azure Virtual Machine Scale Sets (VMSS) and Cluster-Autoscaler is Now Stable
https://kubernetes.io/blog/2018/09/27/kubernetes-1.12-kubelet-tls-bootstrap-and-azure-virtual-machine-scale-sets-vmss-move-to-general-availability/
Azure Virtual Machine Scale Sets (VMSS) allow you to create and manage a
homogenous VM pool that can automatically increase or decrease based on
demand or a set schedule. This enables you to easily manage, scale, and load
balance multiple VMs to provide high availability and application resiliency, ideal
for large-scale applications that can run as Kubernetes workloads.
With this new stable feature, Kubernetes supports the scaling of containerized
applications with Azure VMSS, including the ability to integrate it with cluster-
autoscaler to automatically adjust the size of the Kubernetes clusters based on
the same conditions.
Demo
Azure Kubernetes Serviceクラスターの展開
Helm - Package Manager
Helmとは?
• Kubernetesアプリのパッケージ管理とデプロイメントを行うツール
• Linuxにおけるapt-getやyum、Mac OSにおけるHomebrewのような位置付け
• LinuxにおけるDepsやRPM にあたるHelmパッケージのことをChartsと呼ぶ
https://helm.sh/
Helmの構成要素
• クライアント ( Helm ): 利用者のローカルマシンやCI/CDパイプラインにて利用
• サーバ ( tiller ): Kubernetesクラスタにて実際のデプロイメントを行う
Chartsレポジトリ
https://github.com/kubernetes/charts
Azure Dev Spaces での .NET Core と Visual Studio の使用
https://docs.microsoft.com/ja-jp/azure/dev-spaces/get-started-netcore-visualstudio
コンテナでのCI/CD
https://azure.microsoft.com/ja-
jp/solutions/architecture/?solution=devops
1. アプリケーションのソース コードを変更
2. アプリケーション コードをコミット
3. 継続的インテグレーションにより、アプリケーションのビルド、コ
ンテナー イメージのビルド、および単体テストが発生
4. コンテナー イメージを Azure Container Registry にプッシュ
5. 継続的配置トリガーが、環境固有のパラメーターでアプリケー
ション成果物のデプロイを調整
6. Azure Container Service にデプロイ
7. コンテナー イメージにより Azure Container Registry からコ
ンテナーが起動
8. Application Insights が正常性、パフォーマンス、使用状況
のデータを収集および分析
9. 正常性、パフォーマンス、使用状況の情報を確認
10. バックログ項目を更新
Azureのコンテナエコシステム
IaaSPaaS
Azure services
SQL
Database
Redis Cache
CosmosDB
And more!
Partner services
OpenShift
Pivotal Cloud
Foundry
Docker
Enterprise
Edition
Mesosphere
DC/OS
Azure
Azure
Container
Registry
(ACR)
OSBA
Azure Kubernetes
Service (AKS)
ACS
Engine
Batch
Azure Container
Instances
(ACI)
Virtual Machine
Scale Sets
(VMSS)
Service Fabric
Mesh Cluster
Virtual kubelet
Web Apps for
Container ( App
Service )
Azure Virtual
Machine
73
イベント: 「Container X mas Party」 @ MS品川本社 (12/18)
詳細及び、申込サイト
https://flexy.connpass.com/event/110839/
イベント概要:
Kubernetesは、コンテナをプロダクション環境で運用するためにさまざまな機能を備えています。
洗練されたアーキテクチャ設計で、中小規模システムだけでなくトラフィックの多い大規模分散システムでも少人数で
運用するための工夫がなされています。
しかしながら、Kubernetesは独特のコンセプトをもち、必ずしも初学者にとって敷居の低いものではありません。
さらにアプリケーション開発の知識だけでなくインフラの知識も必要になります。また、開発スピードも速く、エコ
システムも含めて動向を追うのは、さまざまな荒波を乗り越える必要もあります。
そこで、「Container X mas Party」では、まさに今、現場でコンテナ技術を活用するエンジニアの皆様からのリアルな
声をあつめ、情報交換を行い、楽しみながらウェーブを乗りこなすためのパーティを行います。 Kubernetesの導入を検
討している方、すでにKubernetesを導入して疲れている方、とにかくコンテナ技術が好きな人、などみなさんでハッ
ピーな時間を過ごしましょう!(もちろん途中参加も可能です!)
https://www.seshop.com/product/detail/22378
Azureのコンテナエコシステム
IaaSPaaS
Azure services
SQL
Database
Redis Cache
CosmosDB
And more!
Partner services
OpenShift
Pivotal Cloud
Foundry
Docker
Enterprise
Edition
Mesosphere
DC/OS
Azure
Azure
Container
Registry
(ACR)
OSBA
Azure Kubernetes
Service (AKS)
ACS
Engine
Batch
Azure Container
Instances
(ACI)
Virtual Machine
Scale Sets
(VMSS)
Service Fabric
Mesh Cluster
Virtual kubelet
Web Apps for
Container ( App
Service )
Azure Virtual
Machine
タスク(コンテナの実行単位)に割り当てたvCPUとメモリの量に応じて秒単位での
課金でコンテナを実行することができる技術。
サーバ / ノードを意識することなく、またクラスタの管理が不要であるため利用者
はインフラではなくコンテナ アプリケーションに集中できる。
Kubernetesが複数コンテナ間の連携を要する、ある程度予測可能で長く起動し
ているワークロードが向いているのに対して、このサービスはよりシンプルで、一時的、
かつバースト型のワークロードの実行が向いている
Azure Container Instances (ACI)
クラスタフリー &サーバレス コンテナサービス
ACIの価格
79
Azure Container Instances
シングルコマンドで実行可能なクラスタフリーコンテナ環境
az container create ¥
-g aci_grp ¥
--name nginx ¥
--image library/nginx ¥
--ip-address public ¥
–cpu 2 --memory 5
ACI Connector for Kubernetesを使うことで、Kubernetesクラスタがコンテナを
ACIに直接展開できるようになる。開発者は必要に応じてVMとACIを混在させる
ことができるようになる
Kubernetesからの利用も可能
Kubernetes
control pane
Application
architect
Infrastructure
architect
Azure Container Instances (ACI)
ACI
Connector
Pod
Pod Pod
Pod
Pod Pod
Pod
Pod Pod
Pod
Pod Pod
VM VM
VM VM
Deployment/
tasks
Pod Pod Pod Pod Pod
Pod Pod Pod Pod Pod
Pod Pod Pod Pod Pod
Pod Pod Pod Pod Pod
Pod Pod Pod Pod Pod
WasteWaste
WasteWaste PodPod
PodPod
Kubetetの仮想実装 – 汎用的にKubernetesクラスターから外部サービスをプラ
グインとして利用可能にする仕組み
Virtual Kubelet
https://github.com/virtual-kubelet/virtual-kubelet
82
Azure Container Instances の VNET 統合
ACIをAzure仮想ネットワークにデプロイする
https://docs.microsoft.com/ja-jp/azure/container-instances/container-instances-vnet
Azure Container Instances の場合
Storage
Cosmos DB
SQL Database
Service
Endpoint
サブネットの委任 (Azure ポータルで10/30より設定可)
85
オーケストレーターのための高速なネットワークプロビジョニング
“Project Swift”
オーケストレーターはワークロードを
顧客のVNETにインジェクトする
• 実行中の VM
• 高速なプロビジョニング
同じVM上で複数の顧客の
ワークロードを実行
複数のオーケストレーター
Antares, ACI / K8s, SF Mesh / SF
複数のコンテナランタイム
• Docker / Drawbridge / Argon / Xenon / ClearContainer
Network コントロールプレーン
Azure Server
Cluster Orchestrator
DNC
Network Host Agent
Azure Server
Network Host agent
CNI/CNS
Container 1
Container n
OrchAgent
…
Azureのコンテナエコシステム
IaaSPaaS
Azure services
SQL
Database
Redis Cache
CosmosDB
And more!
Partner services
OpenShift
Pivotal Cloud
Foundry
Docker
Enterprise
Edition
Mesosphere
DC/OS
Azure
Azure
Container
Registry
(ACR)
OSBA
Azure Kubernetes
Service (AKS)
ACS
Engine
Batch
Azure Container
Instances
(ACI)
Virtual Machine
Scale Sets
(VMSS)
Service Fabric
Mesh Cluster
Virtual kubelet
Web Apps for
Container ( App
Service )
Azure Virtual
Machine
Azure Container Registry を使用してコンテナー
イメージをビルドして保存する
Azure Container Instances で Docker コンテナー
を実行する
https://docs.microsoft.com/ja-jp/learn/paths/administer-containers-in-azure/
Azure Container Instances は、Azure
でコンテナーを実行する方法として最も簡
単で迅速な方法です。 このラーニング パス
では、コンテナーを作成して管理する方法、
ACI を利用して Kubernetes に柔軟なス
ケールを与える方法を紹介します。
Azureのコンテナエコシステム
IaaSPaaS
Azure services
SQL
Database
Redis Cache
CosmosDB
And more!
Partner services
OpenShift
Pivotal Cloud
Foundry
Docker
Enterprise
Edition
Mesosphere
DC/OS
Azure
Azure
Container
Registry
(ACR)
OSBA
Azure Kubernetes
Service (AKS)
ACS
Engine
Batch
Azure Container
Instances
(ACI)
Virtual Machine
Scale Sets
(VMSS)
Service Fabric
Mesh Cluster
Virtual kubelet
Web Apps for
Container ( App
Service )
Azure Virtual
Machine
Azureでのオーケストレーターの選択
オーケストレーター 内容 適用領域 一般的なワークロード
Kubernetes は、複数ホストのクラスター上
のアプリケーション コンテナーの、自動展開、
自動スケーリング、運用のためのオープン ソー
ス プラットフォームです。
AKS: クラスターを構成するVMに課金
ACS Engine: IaaS によるコンテナー インフ
ラストラクチャー
コンテナー ベースの
マイクロサービス
Azure Service Fabric は、スケーラブルで、
信頼性のあるマイクロサービスのパッケージン
グ、展開、運用を簡素化するための、分散
システム プラットフォームです。
Mesh: PaaS/サーバーレス プラットフォーム
Cluster: クラスターを構成するVMに課金
a) コンテナー ベースの
マイクロサービス
b) プレーンなプロセスを
ベースにしたマイクロ
サービス
c) ステートフルなサービス
高い成熟度:
低い成熟度:
高い成熟度:
低い成熟度:
Azureサービス
Azure Service Fabric
(Mesh と cluster)
Service Fabric
OSS エコシステム
Microsoftのエコシステム
とOSS
Azure Kubernetes Service
(AKS)
Kubernetes
プログラミング
モデル
DevOps
ツール
オーケスト
レーション
ライフサイクル
管理
正常性
監視
常時稼働
可用性
自動
スケール
Azureオンプレミス インフラあらゆるクラウド開発マシン
Service Fabric: マイクロサービス プラットフォーム
あらゆるクラウド、あらゆるスケールで、アプリケーションとマイクロサービスを構築、デプロイ
実行可能ファイルReliable Services (.NET, Java)
Reliable Actors (.NET, Java)ASP.NET Core
コンテナー
Power BI
Dynamics
Intune
Cortana Skype
Cosmos DB
IoT Hub
Event Hub
SQL Database
Azure
Monitor
Core Azure
Services
Archive
Storage
Visual Studio
Team Services
Stream Analytics
Azure Database
for PostgreSQL
Azure Database
for MySQL
Azure
Container
Registry
Event Grid
Azure、Microsoft サービスの基盤
Service Fabric は、ミッション クリティカルなサービス向けに設計
独自のインフラを持ち込む
Service Fabric
スタンドアロン
オンプレミスあらゆる
クラウド
開発マシン
専有の Azure クラスター
Azure
Service Fabric
Service Fabric の実行環境
「どのようにして、既定で
自分のアプリケーションで
簡単で有益な診断を
構成するか?」
「どのようにして、リクエストを
特定のサービスにルーティング
するためのアプリケーション
ゲートウェイを構築するか?」
「どのようにして、
CI/CD パイプラインで、
運用環境のダウンタイムなしに、
単一のマイクロサービスを
アップデートするか?」
「どのようにして、ネットワーク
障害とマイクロサービス間の
リトライの複雑さに対処するか?」
「どのようにして、使用量を
基にした、より粒度の
細かいレベルでの
課金を可能にするか?」
「どのようにして、自分の
クラスターを簡単に
スケール イン/アウトするか?」
「どのようにして、ピーク時
向けに、自分のクラスターの
自動スケールを設定するか?」
「いくつの VMSS
ノード型を持つべきか?」 「どの VM サイズを
使うべきか?」
「どのようにして、自分の VM と
アプリケーション証明書を
管理するか? どのようにして、
自動ロールオーバーを行うか?」
アプリケーションとインフラの課題
独自のインフラを持ち込む
Service Fabric
スタンドアロン
オンプレミス
あらゆる
クラウド
開発マシン
専有の Azure クラスター
Azure
Service Fabric
Azure
Service Fabric Mesh
フル マネージドの
マイクロサービス プラットフォーム
Azure Service Fabric Mesh を発表
サーバーレス
インフラ
ライフサイクル
管理
従量課金
オンデマンドで
スケール
インテリジェントな
トラフィック
ルーティング
マイクロサービス/
コンテナーの
オーケストレーション
セキュリティ、
コンプライアンス
正常性
監視
</>
Azure Service Fabric Mesh
ビジネス クリティカルなアプリケーション向けのフル マネージドのマイクロサービス プラットフォーム
.NET
</>
マイクロサービス
開発
• フルマネージドService Fabric クラスタサービス(PaaS)。コンテナー化アプリのみデプロイ可能。
• 使った分だけ課金で利用者側でのインフラ管理が不要。ただしService Fabricと比べ自由度が
低い。
Azureとは
Microsoft Azureは、ビジネス上の課題への対応
を支援するために絶えず拡大を続けるクラウド サー
ビスの集合体です。世界規模の巨大なネットワー
クに対し、お気に入りのツールやフレームワークを
使ってアプリケーションを自在に構築、管理、
デプロイすることができます。
クイック スタート: Azure Portalで仮想マシン スケール セットを作成する
https://docs.microsoft.com/ja-jp/azure/virtual-machine-scale-sets/quick-create-portal
クイック スタート: Azure Kubernetes Service (AKS) クラスターのデプロイ
https://docs.microsoft.com/ja-jp/azure/aks/kubernetes-walkthrough-portal
クイック スタート: Azure Container Instances でアプリケーションを実行する
https://docs.microsoft.com/ja-jp/azure/container-instances/container-instances-quickstart-portal
クイック スタート: Service Fabric に Windows コンテナーをデプロイする
https://docs.microsoft.com/ja-jp/azure/service-fabric/service-fabric-quickstart-containers
Docsのクイック スタートで、サービスを体験!
© Copyright Microsoft Corporation. All rights reserved.
© 2018 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and
other product names are or may be registered trademarks and/or trademarks in the U.S.
and/or other countries.
The information herein is for informational purposes only and represents the current view
of Microsoft Corporation as of the date of this presentation. Because Microsoft must
respond to changing market conditions, it should not be interpreted to be a commitment on
the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information
provided after the date of this presentation.
MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE
INFORMATION IN THIS PRESENTATION.

Más contenido relacionado

La actualidad más candente

M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]
M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]
M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]
日本マイクロソフト株式会社
 

La actualidad más candente (20)

マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
 
20220302_TechDojo_OpenShift_BootCamp_1章概要
20220302_TechDojo_OpenShift_BootCamp_1章概要20220302_TechDojo_OpenShift_BootCamp_1章概要
20220302_TechDojo_OpenShift_BootCamp_1章概要
 
Azure Api Management 俺的マニュアル 2020年3月版
Azure Api Management 俺的マニュアル 2020年3月版Azure Api Management 俺的マニュアル 2020年3月版
Azure Api Management 俺的マニュアル 2020年3月版
 
PHP-FPM の子プロセス制御方法と設定をおさらいしよう
PHP-FPM の子プロセス制御方法と設定をおさらいしようPHP-FPM の子プロセス制御方法と設定をおさらいしよう
PHP-FPM の子プロセス制御方法と設定をおさらいしよう
 
Amazon EKS によるスマホゲームのバックエンド運用事例
Amazon EKS によるスマホゲームのバックエンド運用事例Amazon EKS によるスマホゲームのバックエンド運用事例
Amazon EKS によるスマホゲームのバックエンド運用事例
 
.NET 7期待の新機能
.NET 7期待の新機能.NET 7期待の新機能
.NET 7期待の新機能
 
Google Cloud で実践する SRE
Google Cloud で実践する SRE  Google Cloud で実践する SRE
Google Cloud で実践する SRE
 
Prometeusについてはじめてみよう / Let's start Prometeus
Prometeusについてはじめてみよう / Let's start PrometeusPrometeusについてはじめてみよう / Let's start Prometeus
Prometeusについてはじめてみよう / Let's start Prometeus
 
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
CyberAgent における OSS の CI/CD 基盤開発 myshoes #CICD2021
 
Re: ゼロから始める監視設計
Re: ゼロから始める監視設計Re: ゼロから始める監視設計
Re: ゼロから始める監視設計
 
どうやって決める?kubernetesでのシークレット管理方法(Cloud Native Days 2020 発表資料)
どうやって決める?kubernetesでのシークレット管理方法(Cloud Native Days 2020 発表資料)どうやって決める?kubernetesでのシークレット管理方法(Cloud Native Days 2020 発表資料)
どうやって決める?kubernetesでのシークレット管理方法(Cloud Native Days 2020 発表資料)
 
3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal
 
Argo CD Deep Dive
Argo CD Deep DiveArgo CD Deep Dive
Argo CD Deep Dive
 
M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]
M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]
M17_情シス必見、Azure Arc によるマルチプラットフォーム管理の今 [Microsoft Japan Digital Days]
 
オススメのJavaログ管理手法 ~コンテナ編~(Open Source Conference 2022 Online/Spring 発表資料)
オススメのJavaログ管理手法 ~コンテナ編~(Open Source Conference 2022 Online/Spring 発表資料)オススメのJavaログ管理手法 ~コンテナ編~(Open Source Conference 2022 Online/Spring 発表資料)
オススメのJavaログ管理手法 ~コンテナ編~(Open Source Conference 2022 Online/Spring 発表資料)
 
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
 
マイクロサービスにおける 非同期アーキテクチャ
マイクロサービスにおける非同期アーキテクチャマイクロサービスにおける非同期アーキテクチャ
マイクロサービスにおける 非同期アーキテクチャ
 
Kongの概要と導入事例
Kongの概要と導入事例Kongの概要と導入事例
Kongの概要と導入事例
 
「DNS浸透いうな」と言うけれど… (#ssmjp 2018/07)
「DNS浸透いうな」と言うけれど… (#ssmjp 2018/07)「DNS浸透いうな」と言うけれど… (#ssmjp 2018/07)
「DNS浸透いうな」と言うけれど… (#ssmjp 2018/07)
 
トランクベース開発を活用して爆速に開発した話
トランクベース開発を活用して爆速に開発した話トランクベース開発を活用して爆速に開発した話
トランクベース開発を活用して爆速に開発した話
 

Similar a Using Azure Compute with VMSS, Kubernetes, and Service Fabric

Similar a Using Azure Compute with VMSS, Kubernetes, and Service Fabric (20)

Microsoft Azure News - 2018 December
Microsoft Azure News - 2018 DecemberMicrosoft Azure News - 2018 December
Microsoft Azure News - 2018 December
 
Tokyo Azure Meetup #29 AKS
Tokyo Azure Meetup #29 AKSTokyo Azure Meetup #29 AKS
Tokyo Azure Meetup #29 AKS
 
Azure Stack Overview (Dec/2018)
Azure Stack Overview (Dec/2018)Azure Stack Overview (Dec/2018)
Azure Stack Overview (Dec/2018)
 
Microsoft Azure News - June 2021
Microsoft Azure News - June 2021Microsoft Azure News - June 2021
Microsoft Azure News - June 2021
 
Lets talk about: Azure Kubernetes Service (AKS)
Lets talk about: Azure Kubernetes Service (AKS)Lets talk about: Azure Kubernetes Service (AKS)
Lets talk about: Azure Kubernetes Service (AKS)
 
20201015 Azure PaaS Update at Microsoft Ignite 2020
20201015 Azure PaaS Update at Microsoft Ignite 202020201015 Azure PaaS Update at Microsoft Ignite 2020
20201015 Azure PaaS Update at Microsoft Ignite 2020
 
Azure Day 2.pptx
Azure Day 2.pptxAzure Day 2.pptx
Azure Day 2.pptx
 
Mvpskill Saturday EP_37 12 Sept 2563 - Azure Products Update + DEMO
Mvpskill Saturday EP_37 12 Sept 2563 - Azure Products Update + DEMOMvpskill Saturday EP_37 12 Sept 2563 - Azure Products Update + DEMO
Mvpskill Saturday EP_37 12 Sept 2563 - Azure Products Update + DEMO
 
Azure Containers & Serverless Technology Options (After-Tech-Summit-2018 Edit...
Azure Containers & Serverless Technology Options (After-Tech-Summit-2018 Edit...Azure Containers & Serverless Technology Options (After-Tech-Summit-2018 Edit...
Azure Containers & Serverless Technology Options (After-Tech-Summit-2018 Edit...
 
Microsoft Azure News - 2018 August
Microsoft Azure News - 2018 AugustMicrosoft Azure News - 2018 August
Microsoft Azure News - 2018 August
 
Microservices CICI automation inside Azure using AzureDevops and AKS Radu Vun...
Microservices CICI automation inside Azure using AzureDevops and AKS Radu Vun...Microservices CICI automation inside Azure using AzureDevops and AKS Radu Vun...
Microservices CICI automation inside Azure using AzureDevops and AKS Radu Vun...
 
アプリケーションエンジニアへのいちおし Azure Update at Microsoft Ignite 2020
アプリケーションエンジニアへのいちおし Azure Update at Microsoft Ignite 2020アプリケーションエンジニアへのいちおし Azure Update at Microsoft Ignite 2020
アプリケーションエンジニアへのいちおし Azure Update at Microsoft Ignite 2020
 
Azure Nights February 2018
Azure Nights February 2018Azure Nights February 2018
Azure Nights February 2018
 
Microsoft Azure News - October 2020
Microsoft Azure News - October 2020Microsoft Azure News - October 2020
Microsoft Azure News - October 2020
 
Aws container webinar day 1
Aws container webinar day 1Aws container webinar day 1
Aws container webinar day 1
 
Azure News Slides for October2017 - Azure Nights User Group
Azure News Slides for October2017 - Azure Nights User GroupAzure News Slides for October2017 - Azure Nights User Group
Azure News Slides for October2017 - Azure Nights User Group
 
Microsoft Azure News - Oct 2016
Microsoft Azure News - Oct 2016Microsoft Azure News - Oct 2016
Microsoft Azure News - Oct 2016
 
Go…Running Kentico CMS on Windows Azure
Go…Running Kentico CMS on Windows AzureGo…Running Kentico CMS on Windows Azure
Go…Running Kentico CMS on Windows Azure
 
Microsoft Azure News - 2018 October
Microsoft Azure News - 2018 OctoberMicrosoft Azure News - 2018 October
Microsoft Azure News - 2018 October
 
Mvpskill Saturday EP_23 8 Feb. 2563 - Azure Products Update + DEMO
Mvpskill Saturday EP_23 8 Feb. 2563 - Azure Products Update + DEMOMvpskill Saturday EP_23 8 Feb. 2563 - Azure Products Update + DEMO
Mvpskill Saturday EP_23 8 Feb. 2563 - Azure Products Update + DEMO
 

Más de Takeshi Fukuhara

Más de Takeshi Fukuhara (20)

Data & AI Update 情報 - 2020年8月版
Data & AI Update 情報 - 2020年8月版Data & AI Update 情報 - 2020年8月版
Data & AI Update 情報 - 2020年8月版
 
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
 
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
 
Azure IoT 関連最新情報 (Microsoft Build 2020版)
Azure IoT 関連最新情報 (Microsoft Build 2020版)Azure IoT 関連最新情報 (Microsoft Build 2020版)
Azure IoT 関連最新情報 (Microsoft Build 2020版)
 
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
 
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
 
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
 
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
 
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
 
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
 
Data & AI Update 情報 - 2020年6月版
Data & AI Update 情報 - 2020年6月版Data & AI Update 情報 - 2020年6月版
Data & AI Update 情報 - 2020年6月版
 
Data & AI Update 情報 - 2020年4月版
Data & AI Update 情報 - 2020年4月版Data & AI Update 情報 - 2020年4月版
Data & AI Update 情報 - 2020年4月版
 
Azure Network 概要
Azure Network 概要Azure Network 概要
Azure Network 概要
 
Microsoft Azure Storage 概要
Microsoft Azure Storage 概要Microsoft Azure Storage 概要
Microsoft Azure Storage 概要
 
Visual StudioやAzureからAzure DevOpsを使う
Visual StudioやAzureからAzure DevOpsを使うVisual StudioやAzureからAzure DevOpsを使う
Visual StudioやAzureからAzure DevOpsを使う
 
.NETアプリケーションのクラウド最適化
.NETアプリケーションのクラウド最適化.NETアプリケーションのクラウド最適化
.NETアプリケーションのクラウド最適化
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge Technologies
 
Azure Kubernetes Service Overview
Azure Kubernetes Service OverviewAzure Kubernetes Service Overview
Azure Kubernetes Service Overview
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge Technologies
 
Modernization of IT Infrastructure by Microsoft Azure
Modernization of IT Infrastructure by Microsoft AzureModernization of IT Infrastructure by Microsoft Azure
Modernization of IT Infrastructure by Microsoft Azure
 

Último

Último (20)

Automating Google Workspace (GWS) & more with Apps Script
Automating Google Workspace (GWS) & more with Apps ScriptAutomating Google Workspace (GWS) & more with Apps Script
Automating Google Workspace (GWS) & more with Apps Script
 
Tech Trends Report 2024 Future Today Institute.pdf
Tech Trends Report 2024 Future Today Institute.pdfTech Trends Report 2024 Future Today Institute.pdf
Tech Trends Report 2024 Future Today Institute.pdf
 
2024: Domino Containers - The Next Step. News from the Domino Container commu...
2024: Domino Containers - The Next Step. News from the Domino Container commu...2024: Domino Containers - The Next Step. News from the Domino Container commu...
2024: Domino Containers - The Next Step. News from the Domino Container commu...
 
How to Troubleshoot Apps for the Modern Connected Worker
How to Troubleshoot Apps for the Modern Connected WorkerHow to Troubleshoot Apps for the Modern Connected Worker
How to Troubleshoot Apps for the Modern Connected Worker
 
Boost PC performance: How more available memory can improve productivity
Boost PC performance: How more available memory can improve productivityBoost PC performance: How more available memory can improve productivity
Boost PC performance: How more available memory can improve productivity
 
Workshop - Best of Both Worlds_ Combine KG and Vector search for enhanced R...
Workshop - Best of Both Worlds_ Combine  KG and Vector search for  enhanced R...Workshop - Best of Both Worlds_ Combine  KG and Vector search for  enhanced R...
Workshop - Best of Both Worlds_ Combine KG and Vector search for enhanced R...
 
04-2024-HHUG-Sales-and-Marketing-Alignment.pptx
04-2024-HHUG-Sales-and-Marketing-Alignment.pptx04-2024-HHUG-Sales-and-Marketing-Alignment.pptx
04-2024-HHUG-Sales-and-Marketing-Alignment.pptx
 
Mastering MySQL Database Architecture: Deep Dive into MySQL Shell and MySQL R...
Mastering MySQL Database Architecture: Deep Dive into MySQL Shell and MySQL R...Mastering MySQL Database Architecture: Deep Dive into MySQL Shell and MySQL R...
Mastering MySQL Database Architecture: Deep Dive into MySQL Shell and MySQL R...
 
GenAI Risks & Security Meetup 01052024.pdf
GenAI Risks & Security Meetup 01052024.pdfGenAI Risks & Security Meetup 01052024.pdf
GenAI Risks & Security Meetup 01052024.pdf
 
Evaluating the top large language models.pdf
Evaluating the top large language models.pdfEvaluating the top large language models.pdf
Evaluating the top large language models.pdf
 
🐬 The future of MySQL is Postgres 🐘
🐬  The future of MySQL is Postgres   🐘🐬  The future of MySQL is Postgres   🐘
🐬 The future of MySQL is Postgres 🐘
 
Raspberry Pi 5: Challenges and Solutions in Bringing up an OpenGL/Vulkan Driv...
Raspberry Pi 5: Challenges and Solutions in Bringing up an OpenGL/Vulkan Driv...Raspberry Pi 5: Challenges and Solutions in Bringing up an OpenGL/Vulkan Driv...
Raspberry Pi 5: Challenges and Solutions in Bringing up an OpenGL/Vulkan Driv...
 
Finology Group – Insurtech Innovation Award 2024
Finology Group – Insurtech Innovation Award 2024Finology Group – Insurtech Innovation Award 2024
Finology Group – Insurtech Innovation Award 2024
 
Axa Assurance Maroc - Insurer Innovation Award 2024
Axa Assurance Maroc - Insurer Innovation Award 2024Axa Assurance Maroc - Insurer Innovation Award 2024
Axa Assurance Maroc - Insurer Innovation Award 2024
 
08448380779 Call Girls In Diplomatic Enclave Women Seeking Men
08448380779 Call Girls In Diplomatic Enclave Women Seeking Men08448380779 Call Girls In Diplomatic Enclave Women Seeking Men
08448380779 Call Girls In Diplomatic Enclave Women Seeking Men
 
How to convert PDF to text with Nanonets
How to convert PDF to text with NanonetsHow to convert PDF to text with Nanonets
How to convert PDF to text with Nanonets
 
Understanding Discord NSFW Servers A Guide for Responsible Users.pdf
Understanding Discord NSFW Servers A Guide for Responsible Users.pdfUnderstanding Discord NSFW Servers A Guide for Responsible Users.pdf
Understanding Discord NSFW Servers A Guide for Responsible Users.pdf
 
08448380779 Call Girls In Greater Kailash - I Women Seeking Men
08448380779 Call Girls In Greater Kailash - I Women Seeking Men08448380779 Call Girls In Greater Kailash - I Women Seeking Men
08448380779 Call Girls In Greater Kailash - I Women Seeking Men
 
presentation ICT roal in 21st century education
presentation ICT roal in 21st century educationpresentation ICT roal in 21st century education
presentation ICT roal in 21st century education
 
The Role of Taxonomy and Ontology in Semantic Layers - Heather Hedden.pdf
The Role of Taxonomy and Ontology in Semantic Layers - Heather Hedden.pdfThe Role of Taxonomy and Ontology in Semantic Layers - Heather Hedden.pdf
The Role of Taxonomy and Ontology in Semantic Layers - Heather Hedden.pdf
 

Using Azure Compute with VMSS, Kubernetes, and Service Fabric