JAWS-UG 横浜 #16 CircleCIとEKSによるCI/CD環境

1. CircleCIとEKSによる
CI/CD環境
2019.5.21(Tue) JAWS-UG 横浜 #16 DevOps
@nid777 新居田晃史 Akifumi Niida
#jawsug
※本内容はすべて個人的な見解であり、所属する会社や組織を代表するものではありません

2. 自己紹介
• 新居田 晃史（にいだ あきふみ）
• 所属
• JBアドバンスト・テクノロジー株式会社
• 先進技術研究所
• 日本最速ITエンジニア（※週刊BCN編集部調べ）
• フルマラソン 2:29:56
• コミュニティ活動
• JAWS-UG横浜支部
• OSS運用管理勉強会
Twitter @nid777
Facebook Akifumi Niida

3. JB Cloud
Qanat Universe
ビジネス成長に必要
なサービスを
仕立て＆提供する
Qanat Universe 全体概要
高速
大量
柔軟
Qanat
Agent
社内システム
デバイス
ＩoT
機械学習 深層学習
OCR
SＩer
Ａ
SＩer
Ｂ
クラウ
ドサー
ビス
API
データ
サービス
つなぐ
安心
確実
自在
APIカタログ サービスカタ
ログ
データカタロ
グ
AIｻｰﾋﾞｽ
ﾊﾟｰﾄﾅｰｻｰﾋﾞｽ
ﾃﾞﾊﾞｲｽAPI
ﾊﾟｰﾄﾅｰAPI
公開API
ｵﾘｼﾞﾅﾙｻｰﾋﾞｽ
ﾌﾟﾗｲﾍﾞｰﾄ
ﾃﾞｰﾀ
外部ﾃﾞｰﾀ
有償無償ﾃﾞｰﾀ
ﾌﾟﾗｲﾍﾞｰﾄAPI
監視サービス
PrintPro WebReport ﾃﾞｼﾞﾋﾟﾀ
クラウ
ドサー
ビス
クラウ
ドサー
ビス
クラウ
ドサー
ビス
クラウ
ドサー
ビス

4. DevOpsとは
4

5. CircleCIとは
https://circleci.jp/product/
• クラウド及びオンプレミスのCIサービス
• GitHub、Bitbucketから連携
• コンテナ or VMでビルド
• 通知機能
• yamlファイルで設定

6. EKSとは
https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/what-is-eks.html
• AWSが提供するマネージドなKubernetes
• コンテナのオーケストレーションツール
• マニフェストを適用することで状態を維持
• IAM認証と統合されたkubectl

7. CI/CDの流れ
Amazon EC2 Container
Registry
Amazon Elastic Container
Service for Kubernetes
commit/pull request
Amazon Elastic Container
Service for Kubernetes
app
manifest
merge/pull request
nortify/approve push
kubectl apply
kubectl apply
Dev
Prod
branches: (develop|master)

8. ブランチによる制御
jobs:
･･･
workflows:
version: 2
build-deploy:
jobs:
- build // docker build
- push // ECR push
- merge: // Merge&PR to manifests repo
requires:
- build
filters:
branches:
only:
- develop
- master
ブランチがdevelop及びmasterの場合にmanifestを作成し、マージ＆プルリク

9. CircleCIでAWSのcredentialを使う
コンテキストは、環境変数を保護し、プロジェクト間で共有するためのメカニズムを提供します。
環境変数は、名前・値のペアとして定義され、実行時に挿入されます
https://circleci.com/docs/ja/2.0/contexts/
環境変数
Contexts
プロジェクト（Gitリポジトリ）毎に設定
workflowのjob内でcontextを設定することで利用可能

10. Orbs
OrbsとはCircleCIの定義をまとめたパッケージ
version: 2.1
orbs:
aws-ecr: circleci/aws-ecr@3.0.0
jobs:
･･･
- aws-ecr/build-and-push-image:
repo: ${REPO}
tag: ${TAG}
見た目はスッキリするが、中身は複雑な事をやっていたり。
Orbsが何をやっているか確認してから使用する
steps:
- setup_remote_docker:
docker_layer_caching: true
- attach_workspace:
at: .
- run:
name: Setup revision number
command: |
echo export TAG=build$CIRCLE_BUILD_NUM-$(date "+%Y%m%d%H%M%S") >> $BASH_ENV
- run:
name: load image
command: docker load -i ./repo.tar
- run:
name: install awscli
command: sudo pip install awscli
- run:
name: push image
command: |
$(aws ecr get-login --no-include-email --region ap-northeast-1)
docker tag local/${REPO}:${TAG} "${ECR_ENDPOINT}/${REPO}:${TAG}"
docker push "${ECR_ENDPOINT}/fluentd:${TAG}"
スッキリ！

11. ビルド用のコンテナイメージを作っておく
git
docker
python
go
awscli
slack-cli
jq
yq
kubectl
aws-iam-authenticator
nidstyle3/build-tools
https://hub.docker.com/r/nidstyle3/build-tools
主なソフトウェア
必要なものが既にインストールされているため、
ビルド、テストにかかる時間を削減

12. EKSへのデプロイ
kubediff
kubectl apply –f ./ -R
https://www.weave.works/technologies/gitops/
GitOps Kubernetesの状態＝Gitの状態

13. tfnortify
https://github.com/mercari/tfnotify
terraformの結果を良い感じで通知してくれるOSS

14. CircleCIとEKSで
はじめの一歩を踏み出そう
We are hiring !