現場！実物！実践！マルチクラスタを運用するときの課題とコツ
•
0 recomendaciones•1,563 vistas
2019年3月20日開催 『はてな×さくらが考えるテクノロジーの未来 〜コンテナ・分散型データセンター〜』のスライド資料です。
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (19)
Similar a 現場！実物！実践！マルチクラスタを運用するときの課題とコツ
Similar a 現場！実物！実践！マルチクラスタを運用するときの課題とコツ (20)
Más de Shuji Yamada
Más de Shuji Yamada (16)
Último
Último (10)
現場！実物！実践！マルチクラスタを運用するときの課題とコツ
- 1. さくらインターネット株式会社 Shuji Yamada (山田 修司) @uzyexeMar 20, 2019 現場！実物！実践！ マルチクラスタを運用するときの課題とコツ
- 6. 6 登録ユーザー数 20K+ コンテナ起動回数 (累計) 210K+ 稼働イメージ数 (タグ別) 2K+ ユーザーの出身国 80カ国以上 Something for everyone
- 8. 現場！実物！実践！
- 10. API Server Scheduler Controller Manager KVS Master Worker Node 1 Pod 1 Docker Agentproxy Storage Monitoring Logging Registry Network Pod 2 Pod 3 Worker Node 2 Pod 4 Docker Agentproxy Pod 5 Pod 6 Cluster
- 11. 11 Worker Node Storage Master ‣ I/O性能（IOPS） ‣ inode数 ‣ 通信コネクション数 ‣ メモリ搭載量 ‣ コンテナ収容数 ‣ 通信コネクション数 ‣ 通信帯域 ‣ 通信帯域Networking ボトルネック BOTTLE NECK
- 12. 12 • トラフィックが溢れる • キューがどこかで詰まる • コンテナがクラックされる • 誰かがコインを掘りはじめる • KVSのデータが吹き飛ぶ • Docker が気絶する • コネクションが張れなくなる • NTP同期失敗してコントローラー気絶 • バージョンアップして壊れる • 再起動毎にマイグレーションの高負荷 • スパムメールを転送しはじめる • エージェントが突然気絶する コンテナあるある TYPICAL ERRORS
- 14. ブルーグリーンデプロイメント！ サービスメッシュ！ ローリングアップデート！ Istio！Envoy！ Spennier！ IoT / Fog！ Deep Leaning！ HPC！ CI/CD！ Devが抱く理想 ＼ コンテナ管理プラットフォーム ／ カナリアリリース！ オートスケール！
- 16. Container
- 18. Docker KubernetesVPS ServerServer Load Balancer Load Balancer API Code API Code Bin/Libs Bin/Libs ServerServer Web Code Web Code Bin/Libs Bin/Libs Database API URL Web URL ServerServer ServerServer Load Balancer Load Balancer API Container API Container Bin/Libs Web Container Web Container Bin/Libs Bin/Libs Bin/Libs API URL Web URL Load Balancer Ingress Controller Node API Pod Web Pod Node API Pod Web Pod Database API URL Web URL Database
- 19. API URL Web URL CDN Secondary Primary LB Service B Service A Ingress Controller Cloud Vendor A DB DB LB LB Service B Service A Cloud Vendor B DB DB Cluster A Cluster B Cluster C
- 20. API URL Web URL CDN Secondary Primary LB Service B Service A Ingress Controller Cloud Vendor A DB DB LB LB Service B Service A Cloud Vendor B DB DB Cluster A Cluster B Cluster C
- 26. 26 サービス稼働中のArukasを東京に移設 石狩 Master Work Node ワークノード 東京 Master Work Node IP付け替えながら Masterを移設 シャットダウンしながら Work Nodeを移設 ちなみに、地理的に横断した事例・・・ CASE
- 27. 27 5台以上からは読取専用モードで追加 KVS 3台 KVS 5台 KVS 7台 同期モード：5台 読取専用モード：2台 同期モード：5台 読取専用モード：0台 同期モード：3台 読取専用モード：0台 （データ同期待ちによる遅延を抑制）
- 29. 29 •リミット設定に到達したコンテナは揮発する ‣大きなリソースを使用するコンテナの再起動はコスト •一方、メモリリークが発生するとリソースを喰い尽くす ‣リミットは平常時リソースの100％強で設定すべき CPU と RAM を制約すべきか CPU / RAM LIMITATION
- 30. 30 •2つのコンテナが同一ファイルに同時に書き込もうとすると データ破損を引き起こす •回避するには・・・ ‣NFS や GlusterFS を使う（ロックをサポートしている） ‣独自の書き込みロック機構を実装する 共有ボリュームへの書き込み SHARED VOLUME
- 32. チーム文化
- 33. 33 1. ソフトウェア品質の問題 2. ヒューマンエラー ‣ 自動化の不足、人手不足、連携不足、手順書の不備 3. 顧客対応 ‣ 障害報告、説明対応、etc… 運用の生産性を低下させる要因 PRODUCTIVITY
- 35. 35 1. 責任を明確に定義する 2. サービス維持に必要なアクセス権限の管理 3. ダメージを抑制するための仕組みづくり 4. 問題への対処と診断に必要なツールの導入 クラスタ管理者の役割 OWNER ROLE
- 36. Monitoring Alerts Emergency Response On-Call and Tickets Change Management Provisioning
- 37. 37 • Monitoring & Metrics ‣ Datadog • On-Call and Ticket ‣ PagerDuty • Exception / Error Tracking ‣ BugSnag • Automate Browser Testing ‣ Browser Stack 問題検出と問題解決 Operate
- 39. 39 オペレーターからイネーブラーへ From Operators to Enablers
- 41. THANK YOU！