Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
•Download as PPTX, PDF•
5 likes•1,725 views
Kubernetes Meetup Tokyo #8 のLTで発表した資料です。 「Self-hosted Kubernetes を調べてみた」
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
Similar to Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた (20)
Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
- 1. Self-hosted Kubernetes を 調べてみた INOH, Akihito / atoato88 Kubernetes Meetup Tokyo #8
- 2. Agenda 1. 私 2. Kubernetes 3. Self-hosted Kubernetes 4. まとめ ※本日の発表は個人の見解です。
- 3. 私
- 4. Who am I ? ● INOH, Akihito / atoato88 ○ OpenStack コミュニティ ■ OpenStack Summit Sydney で Kubernetes の LT してきました。 “Which is the best way to install Kubernetes on OpenStack” Motohiro Otsuka, Akihito Inoh ○ 言語 ■ Python (2014 - ) ■ Go (2017 - ) ○ 趣味(?) ■ I’m interested in deployment for k8s cluster with arm SoC, now. 自宅用のk8s環境を現在構築中。 できるといいな。 master: Raspberry Pi 3 3台 worker: ROCK64 MEDIA BOARD COMPUTER 3台
- 5. Kubernetes
- 6. Architecture 制御系 ● etcd ● kube-apiserver ● kube-controller-manager ● kube-scheduler 実行系 ● kubelet etcd クラスタ etcd node etcd node etcd node Kubernetes クラスタ kubelet kubelet kubelet apiserver apiserver kube-apiserver keepalived クラスタ haproxy haproxy haproxy controller managerkube-controller manager scheduler kube-scheduler VIP
- 8. How to manage/deploy Kubernetes cluster? ● Ansible ○ https://github.com/kubernetes-incubator/kubespray ● Chef ● Puppet ● Terraform ○ https://coreos.com/tectonic ○ https://github.com/kubernetes/kops ● BOSH ○ https://pivotal.io/partners/kubo ● 独自ツール ○ ...
- 10. Kubernetes は Kubernetes を 管理、配布 Kubernetes はコンテナ化された アプリケーション(App+Env)を管理、 配布 Kubernetes は アプリケーション
- 11. Self-Hosted Kubernetes 自身で自身をデプロイ、管理。 できあがる Kubernetes Cluster のインスタンスは一つ。
- 12. What is Self-Hosting? “Self-hosted” refers to the ability of a system to be expressed in terms of itself. ● For a compiler, this means building the compiler from source using the compiler itself. ● For an operating system, self-hosting implies that the install tools and upgrade facilities use that operating system running on that machine to implement their functions – that the system does not require a supervisory host to bootstrap it into life. This "hosted" model is seen in historical systems, in many systems during their early development, and in minimalist embedded systems to this day. Self-hosting solves chicken-and-egg problems in software. https://coreos.com/blog/self-hosted- kubernetes.html
- 14. etcd クラスタ etcd node etcd node etcd node Kubernetes クラスタ kubelet kubelet kubelet apiserver apiserver kube-apiserver keepalived クラスタ haproxy haproxy haproxy controller managerkube-controller manager scheduler kube-scheduler VIP DaemonSets Deployments DeploymentsKubernetes Service Service Self-Hosted Lv.2-4 DaemonSets
- 15. Kubernetes クラスタ etcd クラスタ etcd node etcd node etcd node kubelet kubelet kubelet apiserver apiserver kube-apiserver controller managerkube-controller manager scheduler kube-scheduler DaemonSets DaemonSets Deployments Deployments Kubernetes Service Service Self-Hosted Lv.0-4 (Ideal) etcd Service StatefulSets Service
- 16. デプロイ手順 0. Manifest を作成 1. ノードに kubelet 起動 2. kubelet 上で etcd 起動 3. bootstrap 用 kubernetes 制御系起動 4. bootstrap を利用して kubernetes 起動 5. bootstrap 削除
- 17. etcd クラスタ etcd node etcd node etcd node Kubernetes クラスタ kubelet kubelet kubelet apiserver apiserver kube-apiserver keepalived クラスタ haproxy haproxy haproxy controller managerkube-controller manager scheduler kube-scheduler VIP DaemonSets DaemonSets Deployments DeploymentsKubernetes Service Service Self-Hosted Lv.2-4
- 18. Working PC the Tool Master Master Master Worker Worker Worker 凡例 Systemd Unit Static Pod DaemonSet Deployment Pod,Container
- 19. Working PC the Tool Manifest Manifest Manifest Master Master Master Worker Worker Worker Manifest Manifest Systemd Unit 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs Certs Certs Kubernetes 構築に必 要な asset を生成 Pod,Container
- 20. Working PC the Tool Manifest Manifest Manifest Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet Systemd Unit 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs Certs Certs Systemd Unit Systemd Unit Systemd Unit Systemd Unit Systemd Unit kubelet を各ノードで systemd unit として起動 Pod,Container
- 21. Certs CertsCerts Working PC the Tool Manifest Manifest Manifest Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs Certs Certs Master Master Master kubelet kubelet kubelet Certs Certs Certs etcd Manifest etcd Manifest etcd Manifest Master 各ノードで etcd を Static Pod として起動 Pod,Container
- 22. Working PC the Tool Manifest Manifest Manifest Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd bootstrap kube-apiserver bootstrap kube-cm bootstrap kube-scheduler 凡例 Systemd Unit Static Pod DaemonSet Deployment Certsbootst rap Manifest bootstrap で利用する、完全に動 作する Kubernetes Control Plane を 1 ノードで起動 Pod,Container
- 23. Working PC the Tool Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd bootstrap kube-apiserver bootstrap kube-cm bootstrap kube-scheduler kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-schedulerkube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment k8s Manifest bootstrap の Kubernetes に対して Kubernetes 構築を指示する Pod,Container
- 24. Working PC the Tool Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-schedulerkube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment 必要なくなった bootstrap を削除 Pod,Container
- 25. Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-schedulerkube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment Flannel Flannel Flannel Flannel Flannel Flannel keepalived keepalived keepalived pod-checkpointer pod-checkpointer pod-checkpointer kube-dns HA 構成、Self-Hosted Kubernetes が動作。 以降の Kubernetes の運用は Kubernetes 越しに行う。 例: ログ収集、アップグレード Pod,Container
- 26. アップグレード手順 1. Manifest を修正し、バー ジョンを変更 2. kubernetes の CLI で設 定を反映 重要なこととして、Self-Hosted にす ることで bootstrap を終えたあとは全 て cluster の管理は Kubernetes に任せ ることができるので、ツールへの依存 は無くなります！
- 27. Kubernetes 上のアプリケーション Self-hosted Kubernetes Deploy Kubernetes で管理・実行 (kubectl create とか edit とかでよろしくや る) Self-hosted 対応のツールでデプロイ Upgrade / Roll Back Kubernetes で管理・実行 (kubectl create とか edit とかでよろしくや る) Scale Out / In Config Setting Operaions with Self-hosted Kubernetes
- 28. Kubernetes 上のアプリケーション Self-hostedじゃない Kubernetes Deploy Kubernetes で管理・実行 (kubectl create とか edit とかでよろしくや る) ツール(ansible, chef, puppet, ...)を使って デプロイ・管理・実行 Upgrade / Roll Back Scale Out / In Config Setting Operaions with Non-self-hosted Kubernetes
- 29. Tectonic kubeadm Magnum Rancher kubespray kubo remora Major Developer CoreOS Kubernetes Community OpenStack Community Rancher Labs Kubernetes Community Cloud Foundry *independent License proprietary Apache v2 Apache v2 Apache v2 Apache v2 Apache v2 Apache v2 Tool - - Heat - Ansible BOSH - k8s version v1.7.5 v1.8.2 v1.6.2 v1.8.2 v1.8.2 v1.8.1 v1.7.x or later OpenStack Provider ready? Yes(alpha) Yes Yes No Yes Yes Yes Self-Hosted Yes Yes※ No No No No Yes Kubernetes deployment tools ※ v1.10 ではSelf-hosted 方式のデプロイがデフォルトになる 予定
- 30. まとめ
- 31. Self-hosted Kubernetes ● Kubernetes 自体もコンテナ化されたクラウドネイティブなアプリケーション なので、Kubernetes で管理するのが簡単です ● 余計なツールはいりません ● kubeadm は今後のリリース(v1.10)で Self-hosted がデフォルトのデプロイ方式 になる予定です。 そのため、今後 Kubernetes のデプロイ方式が Self-hosted になる可能性もあ ります。
- 32. ● Self-Hosted Kubernetes makes Kubernetes installs, scaleouts, upgrades easier ○ https://coreos.com/blog/self-hosted-kubernetes.html ● Proposal: Self-hosted Control Plane ○ https://github.com/kubernetes/community/blob/master/contributors/design-proposals/cluster- lifecycle/self-hosted-kubernetes.md ● Tectonic ○ https://coreos.com/tectonic/ ● kubeadm ○ https://kubernetes.io/docs/admin/kubeadm/ ○ https://github.com/kubernetes/kubernetes/tree/master/cmd/kubeadm ● remora ○ https://github.com/nec-openstack/remora See also
Editor's Notes
- タイトルは「Self-hosted kubernetes を調べてみた」です。
- 今月開催された OpenStack Summit Sydney で Self-hosted Kubernetes の LT を発表してきました。 あと自宅で arm と arm64 のヘテロな Kubernetes クラスターを構築中です。 よろしくお願いします。
- 皆さん知っていることだと思うので端折ります。 Kubernetes 自体のデプロイの関する部分で LT に必要なところだけ載せます。
- Kubernetes の一般的な構成のコンポーネント図を載せます。 Kubernetes の説明は終わり。
- さて、早々に Self-hosted Kubernetes の説明を始めます。
- 皆さんご存知かと思いますが、 Kubernetes はいろいろなツールを使ってデプロイすることができます。 が、ここで Kubernetes 自体の特性を考えてみましょう。
- Kubernetes はコンテナ化されたマイクロサービスアーキテクチャのアプリケーションを管理、配布するソフトです。 そして Kubernetes もまたマイクロサービスアーキテクチャで実装されたアプリケーションです。
- つまり、 Kubernetes を使って Kubernetes を管理、配布することができるということです。
- 図にすると、こう。 この構成を Self-hosted Kubernetes と言います。名前の通り自分が自分をホスト(そして管理)します。
- さて、この Self-hosted Kubernetes ですが、2016年8月に CoreOS の エンジニア(Josh Wood さん)がブログにポストしています。 コンピュータの分野ではセルフホストという概念はそこまで特別ではありません。例えばコンパイラとか。知ってる方もいるかと思います。 Kubernetes は複数のコンポーネントで構成されているので、 Self-hosted する対象を複数考えることができます。
- この図は Kubernetes プロジェクトに登録されている Self-hosted Kubernetes のプロポーザルから抜粋しています。 Self-hosted する対象をレベルに分けています。 すべてを Self-hosted すると level 0-4 と呼ぶようです。 主に CoreOS のエンジニアが開発している bootkube では level 2-4 を Self-hosted しています。
- Level 2-4 の時の Kubernetes コンポーネントと、 Kubernetes 上の管理オブジェクトの関係を表します。
- そしてこれが、 level 0-4 の時の図です。先ほどと比べて etcd や kubelet まで管理対象になっていることが分かると思います。 Self-hosted という軸で考えると最も理想的な構成です。 が、 Self-hosted する対象はシステムごとに適宜判断すればよく、そのためにレベルが分けられているようです。
- level 2-4 の構成の時のデプロイの手順を説明していきます。 ここで bootstrap という単語が出てきますが、小さな Kubernetes 環境だと思ってください。 ざっくり言うと、 何もない状態から bootstrap という最小構成の Kubernetes を作り、その Kubernetes に対して、デプロイ対象の Kubernetes の各種オブジェクトを定義していき、最後に bootstrap を削除するという流れです。
- ここでは図のような level 2-4 の構成を説明します。
- アセットなどを生成する。
- kubeletはsystemdのunitとして配布して動作する。
- bootstrap の Kubernetes に対して、デプロイ用の Kubernetes の構築を支持します。紫やブルーのコンポーネントが出来上がり、実際に使う Kubernetes のコンポーネントが立ち上がります。 これで Self-hosted な環境は出来上がってますが、後片付けをしていきます。
- 最終的な全体像はこうなります。
- 一度 Kubernetes の環境が出来上がると、アップグレードなどは楽です。 皆さんがすでに実践しているアプリの管理と同じということです。
- つまり、普段 Kubernetes 上のアプリケーションの管理を kubectl 等で実施すると思いますが、kubectl の管理範囲が Kuernetes 自身にも及ぶということです。 色分けするとこうですね。緑は Kubernetes で管理するオペレーション。黄色は独自ツールで管理するオペレーション。黄色が殆ど無いですね。 Kubernetes を管理するために kubectl を使えば良く、独自ツールの使い方を覚える必要がほぼ無いからです。
- Self-hosted じゃない Kubernetes の管理方法と比べると利点がわかりやすいです。 Self-hosted じゃない時は緑と黄色でそれぞれの使い方を覚える必要があります。
- さて、 Kubernetes デプロイツールの比較をします。ツールはいろいろありますが、 Self-hosted という軸で見てみると対応しているツールはそこまで多くありません。 Tectonic, kubeadm, remora が現状対応しています。 Tectonic は CoreOS が開発している bootkube の商用版です。bootkube も当然 Self-hosted 対応しています。 kubeadm は Kubernetes プロジェクトの標準デプロイツールです。まだベータバージョンですが、バージョンv1.10 では Self-hosted 構成をデフォルトにする予定で開発されています。 最後に remora 。 これは主に私も含む一部のエンジニアが開発しているツールです。(ゴールとしては OpenStack のクラウドプロバイダーに標準対応したツールにすることです。)