KubeCon + CloudNativeCon North America 2020 における Building a Global Supercomputer with Virtual Kubelet という講演を振り返りながら、Kubernetes における multi-cluster scheduling の最新情報と現時点での課題を紹介します。
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet / Kubernetes Meetup Tokyo #37 / #k8sjp
1. Building a Global Supercomputer
with Virtual Kubelet
Dmitry Mishin, University of California San Diego & Adrien Trouillaud, Admiralty
Shingo Omura, Preferred Networks, Inc.
2020/12/22(Tue) Kubernetes Meetup Tokyo #37
KubeCon + CloudNativeCon North America 2020 Recap
4. 4KubeCon + CloudNativeCon North America 2020 Virtual: Building a Global Supercomputer with Virtual Kubelet
5. 5
Overview of this session
● University of California San Diego (UCSD) の
Pacific Research Platform (PRP) で作っている
Nautilus という Global Hyper Cluster (with Kubernetes) を構築中
● Admiralty (admiralty.io) という"decentralized" multi-cluster schedulerを
使ってFederated Schedulingをどう実現しているを解説
(OSS & 商用版あり)
11. 11
(再) Overview of this session
● University of California San Diego (UCSD) の
Pacific Research Platform (PRP) で作っている
Nautilus という Global Hyper Cluster (with Kubernetes) を構築中
● Admiralty (admiralty.io) という"decentralized" multi-cluster schedulerを
使ってFederated Schedulingをどう実現しているを解説
(OSS & 商用版あり)
12. KubeCon + CloudNativeCon North America 2020 Virtual: Building a Global Supercomputer with Virtual Kubelet
Nautilus (global hyper cluster) の概要
アメリカ
だけじゃなく
Europe & APAC
にも広がっている
Transoceanic
Nodesなんてのも
見える
13. KubeCon + CloudNativeCon North America 2020 Virtual: Building a Global Supercomputer with Virtual Kubelet
Nautilus (global hyper cluster) の概要
Pacific Research
Platformの
Nautilusの規模
UCSDのExpanse
というスパコンも
Federate予定
最終的には
200,000 cores
になるらしい
Cloudによる
Burstingも
行っている
14. Nautilus における Federation への要求
各拠点はそれぞれ運用組織が違うので
独立に制御したい
ルールやポリシーも
独立に運用・強制したい
namespaceレベルで
federationを利用させたい
(admin作業はできるだけ少なく )
KubeCon + CloudNativeCon North America 2020 Virtual: Building a Global Supercomputer with Virtual Kubelet
15. KubeCon + CloudNativeCon North America 2020 Virtual: Building a Global Supercomputer with Virtual Kubelet
Admiralty: decentralized multi-cluster control plane
https://github.com/admiraltyio/admiralty
25. AdmiraltyにおけるVirtual Kubeletの実装
KubeCon + CloudNativeCon North America 2020 Virtual: Building a Global Supercomputer with Virtual Kubelet
Virtual Kubeletの責務 Admiraltyでの実装