サーバーレスの基本とCI/CD構築 & 運用 〜システムは動いてからが本番だ〜
•
11 likes•11,740 views
Developers.IO 2019 TOKYOで登壇した際の資料です。 https://dev.classmethod.jp/event/report-developers-io-2019-tokyo-serverless-ci-cd-devops/
Recommended
More Related Content
What's hot
What's hot (20)
Similar to サーバーレスの基本とCI/CD構築 & 運用 〜システムは動いてからが本番だ〜
Similar to サーバーレスの基本とCI/CD構築 & 運用 〜システムは動いてからが本番だ〜 (20)
Recently uploaded
Recently uploaded (9)
サーバーレスの基本とCI/CD構築 & 運用 〜システムは動いてからが本番だ〜
- 5. 簡単な質問です
- 7. #cmdevio #cmdevio3 7 質問2 構成管理ツールを使ったことは？ CloudFormation AWS SAM AWS CDK Serverless Framework など " 🙋
- 14. #cmdevio #cmdevio3 14 というわけで、おすすめの⽅ サーバーレスに興味がある サーバーレスでCI/CDをしている / したい サーバーレスで何らかのシステムを 開発‧運⽤している / したい
- 21. #cmdevio #cmdevio3 21 クラウドの良さ サーバー(物理)の導⼊や管理が不要 使いたいときにすぐ使える 電源等の冗⻑化や⼊退出管理などが不要 従量課⾦ 使った時間や量に対して課⾦
- 25. #cmdevio #cmdevio3 25 たとえば WebAPIを作りたい！！ ＜⾃前で作る ＠ Ruby on Rails＞ サーバーを⽤意する VPC作る EC2インスタンス⽴てる セキュリティグループとか設定する etc Ruby と Ruby on Railsをインストール コード書く
- 27. #cmdevio #cmdevio3 27 たとえば WebAPIを作りたい！！ ＜サーバーレスで作る＞ API GatewayでWebAPIを作る Lambdaでロジックを書く コードを書くだけで動く 👍 不要： サーバーの準備 不要： 実⾏環境の導⼊‧設定 不要： 冗⻑化考慮
- 29. #cmdevio #cmdevio3 29 よく使うサービス KinesisLambda DynamoDB IoT Core CloudFormation API Gateway Simple Storage Service (S3) Cognito And more…
- 31. #cmdevio #cmdevio3 31 API Gateway REST API / WebSocket APIを作れる 作成、公開、保守、モニタリング AWSの各サービスに直接、接続可能 API Gateway ⇔ Lambda API Gateway ⇔ DynamoDB API Gateway ⇔ S3 など
- 32. #cmdevio #cmdevio3 32 Lambda FaaS(Function as a Service) サーバーレスの中核 任意のコードを実⾏可能な環境 AWS各種サービスとの連携が楽 Input(駆動トリガー) / Output(出⼒先) 安い 使⽤した回数と時間に課⾦ 0.20 USD/100万回 （最初の100万回は無料）
- 33. #cmdevio #cmdevio3 33 CloudFormation AWSサービスの管理をテキスト（YAML）で記述 Infrastructure as Code 画⾯ポチポチからの解放（⼀部除く） 複数環境の作成が楽 パラメータを変えるだけ サーバーレスに特化したAWS SAMもある Serverless Application Model （CloudFormationを拡張したもの）
- 36. #cmdevio #cmdevio3 36 IoTデバイスと接続して処理するバックエンド AWS Lambda Amazon DynamoDBAmazon IoT Core AWS Lambda デバイスからデータを受け取って、担当者に電話 Amazon Connect
- 37. #cmdevio #cmdevio3 37 WebAPIとそのバックエンド AWS Lambda Amazon DynamoDB AWS Lambda Amazon API Gateway Amazon API Gateway スマホアプリやWebアプリから使われるAPI
- 43. #cmdevio #cmdevio3 43 サーバーレスの運⽤ 利⽤者側 設計‧開発作業 リリース作業 エラー等の監視 クラウド側 サーバー保守 冗⻑化 ログ管理 リトライ処理 サーバーレスの運⽤
- 45. #cmdevio #cmdevio3 45 サーバーレス開発の勘所 https://speakerdeck.com/sinofseven_/sabaresukai-fa-falsekan-suo
- 50. #cmdevio #cmdevio3 50 Continuous Integration：継続的インテグレーション いつでも正しく動くようにしておこう CD (Continuous Delivery)：継続的デリバリー いつでもデプロイ（リリース）できるように しておこう CI/CDをひとことで
- 51. #cmdevio #cmdevio3 51 CI/CDをするために Continuous Integration：継続的インテグレーション いつでも正しく動くようにしておこう → テストコードを書く CD (Continuous Delivery)：継続的デリバリー いつでもデプロイ（リリース）できるように しておこう → デプロイを⾃動化する
- 52. #cmdevio #cmdevio3 52 CI/CDのイメージ develop master 1. Lambda関数のコードが正しく動くこと 2. 開発環境(AWS)にデプロイできること 3. デプロイしたAPIが正しく動くこと or
- 58. #cmdevio #cmdevio3 58 プロジェクト概要 環境 API GitHub + CircleCI 数⼗本ある 実証実験フェーズ Lambda 実際に使われている（社外の⽅） Python 3系 + pytest (数⼗本) 毎週⽔曜⽇にリリース（交互） DynamoDB ステージング環境 or 本番環境 約20テーブル 開発⼿法 構成管理 スクラム AWS SAM CloudFormation
- 61. #cmdevio #cmdevio3 61 ユニットテストのコツ テストしやすいコードを書く メソッド化（処理を分離する） Interfaceを活⽤する Lambdaハンドラーをロジックから分離する
- 63. #cmdevio #cmdevio3 63 AWSサービスに絡むテストが⼤変😒 DynamoDB や S3に対するCRUD操作 IoT CoreのDevice Shadowに対するRead/Write操作 SNS Topicに対するPublish など
- 64. #cmdevio #cmdevio3 64 AWSサービスに絡むテストのやり⽅ その1 Mockを使う その2 Interfaceを活⽤する その3 LocalStackを使う どれかひとつ、ではなく 必要に応じて組み合わせる
- 65. #cmdevio #cmdevio3 65 AWSサービスに絡むテストのやり⽅（その1） Mockを使って、AWS SDKのメソッドを 叩いたことにする Python (pytest) → monkeypatch を使う http://doc.pytest.org/en/latest/monkeypatch.html
- 72. #cmdevio #cmdevio3 72 AWSサービスに絡むテストのやり⽅（その3） LocalStackを使う https://github.com/localstack/localstack
- 74. #cmdevio #cmdevio3 74 LocalStackの対応サービス（Free） API Gateway Elasticsearch Service Kinesis SES DynamoDB Route 53 DynamoDB Stream CloudFormation Elasticsearch CloudWatch S3 SSM Firehose SecretsManager Lambda StepFunctions SNS CloudWatch Logs SQS EventBridge (CloudWatch Events) Redshift STS IAM EC2
- 77. #cmdevio #cmdevio3 77 E2Eテストの⽅法 (Python + pytest) 単体テストと同じようにコードを書いてます データの準備 DynamoDBにテスト⽤のデータを格納する テスト実⾏ デプロイしたAPIを叩いてテストする(requestsライブラリ) データのお⽚付け DynamoDBのテスト⽤データを削除する
- 80. #cmdevio #cmdevio3 80 AWSの環境（とあるプロジェクト） 名称 内容 デプロイタイミング 開発環境 開発⽤（⾃由） 開発時 - git push時 - プルリクOK時 結合環境 POレビュー⽤ 開発時 - レビュー準備OK時 ステージング環境 検証⽤ リリース作業時 本番環境 本番⽤ リリース作業時
- 81. #cmdevio #cmdevio3 81 Gitのブランチ運⽤とデプロイの関係 feature/1234 master v1.2.0 masterブランチ & featureブランチ 開発環境 → 結合環境 タグ（リリース） ステージング環境 → 本番環境
- 82. #cmdevio #cmdevio3 82 Gitのブランチ運⽤とデプロイの関係 feature/1234 master v1.2.0 masterブランチ & featureブランチ 開発環境 → 結合環境 タグ（リリース） ステージング環境 → 本番環境 CircleCIの Approve機能を活⽤してJobを⽌める
- 83. #cmdevio #cmdevio3 83 Gitのブランチ運⽤とデプロイの関係 feature/1234 master v1.2.0 masterブランチ & featureブランチ 開発環境 → 結合環境 タグ（リリース） ステージング環境 → 本番環境 CircleCIの Approve機能を活⽤
- 84. #cmdevio #cmdevio3 84 リリース作業は、毎週⽔曜に実施（交互） V1.3.0 v1.2.0 ステージング環境 本番環境 11/1 11/8 ステージング環境 本番環境 11/15 11/22 $ git tag v1.2.0 $ git push origin v1.2.0 $ git tag v1.3.0 $ git push origin v1.3.0
- 85. #cmdevio #cmdevio3 85 リリース作業は、毎週⽔曜に実施（交互） V1.3.0 v1.2.0 ステージング環境 本番環境 11/1 11/8 ステージング環境 本番環境 11/15 11/22 CircleCIの Approve機能を活⽤してJobを⽌める $ git tag v1.2.0 $ git push origin v1.2.0 $ git tag v1.3.0 $ git push origin v1.3.0
- 86. #cmdevio #cmdevio3 86 CircleCIのワークフロー例 開発環境 & 結合環境 ステージング環境 & 本番環境
- 87. #cmdevio #cmdevio3 87 CircleCIのワークフローの流れ デプロイ環境の準備 ビルド （AWS SAM） Lint & 単体テスト デプロイ E2Eテスト Python仮想環境の準備 AWS-CLI等のインストール Python仮想環境のキャッシュ保存（CircleCI） AssumeRole SwaggerファイルをS3にコピー デプロイ作業
- 88. #cmdevio #cmdevio3 88 AWS SAM + CircleCIの例（参考） https://dev.classmethod.jp/cloud/aws/aws-sam-auto-deploy-for-circleci/
- 92. #cmdevio #cmdevio3 92 少しでも安全にデプロイする⽅法 AssumeRole を活⽤する 本来持っていない権限を⼀時的に得られる機能 何もできない…… ⼀時的に権限ちょうだい！ ありがとう！ デプロイ⽤の権限（CreateXxx / etc）
- 96. #cmdevio #cmdevio3 96 このIAMユーザは、AssumeRole以外できない IAMポリシー IAMユーザ アクセスキー CloudFormation $ aws cloudformation list-stacks An error occurred (AccessDenied) 権限不⾜
- 99. #cmdevio #cmdevio3 99 AssumeRoleし、指定IAMロールとして振る舞う AssumeRole アクセスキー （⼀時的） アクセスキー IAMロール (IAMユーザ⽤) IAMユーザ IAMポリシー IAMポリシー IAMロール(IAMユーザ⽤)に AssumeRoleする ↓ IAMロール(IAMユーザ⽤)として振る舞う ためのアクセスキー(⼀時的)を取得し使⽤する $ aws sts assume-role ¥ --role-arn arn:aws:iam::1234567890:role/deploy-iam-sample-deploy-role-for-user ¥ --role-session-name deploy-test ¥ --duration-seconds 900 { "Credentials": { "AccessKeyId": "xxxxxx", "SecretAccessKey": "yyyyyy", "SessionToken": "zzzzzz", "Expiration": "2019-09-06T12:31:37Z" }, "AssumedRoleUser": { "AssumedRoleId": "hoge:deploy-test", "Arn": "arn:aws:sts::1234567890:assumed-role/deploy-iam-sample-deploy-role-for- user/deploy-test" } }
- 100. #cmdevio #cmdevio3 100 AssumeRole アクセスキー （⼀時的） アクセスキー IAMロール (IAMユーザ⽤) IAMユーザ IAMポリシー IAMポリシー CloudFormation $ aws cloudformation list-stacks { …… } AssumeRole先が持つ権限の操作は成功する
- 102. #cmdevio #cmdevio3 102 AssumeRoleを活⽤したデプロイ例 AWS Identity and Access Management (IAM) AssumeRole アクセスキー （⼀時的） CloudFormation アクセスキー IAMロール (IAMユーザ⽤) IAMロール (CloudFormation⽤) IAMユーザ IAMポリシー デプロイよろしく〜 IAMロール（CloudFormation⽤）を使ってね IAMポリシー IAMポリシー
- 103. #cmdevio #cmdevio3 103 AssumeRoleを活⽤したデプロイ例 AWS Identity and Access Management (IAM) AssumeRole アクセスキー （⼀時的） CloudFormation アクセスキー IAMロール (IAMユーザ⽤) IAMロール (CloudFormation⽤) IAMユーザ IAMポリシー デプロイよろしく〜 IAMロール（CloudFormation⽤）を使ってね IAMポリシー IAMポリシー sam deploy ¥ --template-file packaged.yaml ¥ --stack-name Deploy-Iam-Sample-SAM-App ¥ --capabilities CAPABILITY_IAM ¥ --role-arn arn:aws:iam::1234567890:role/deploy-iam-sample-deploy-role-for-cloudformationç
- 115. #cmdevio #cmdevio3 115 エラー監視の理想と現実 理想 現実（私の携わるプロジェクト） 知りたいこと 「何を知りたいのか」を事前に検討する ‧運⽤者の視点： 異常はないか？ ‧開発者の視点： Lambdaにエラー発⽣してないか？ ‧利⽤者の視点： 期待通り使えるか？ など しっかり検討できてない （検知できる事のうち、必要そうな やつ） 検知⽅法&条件 「知りたいこと」を検知する⽅法や条件を個別に考える ‧Lambdaのエラーが1分で1回発⽣ ‧Lambdaのエラーが5分で5回発⽣ ‧ログに特定の⽂字列が1回出現 など Lambdaのエラー（タイムアウト等 も含む） Lambdaのログに「Error」を含む DynamoDBのスロットリング発⽣ など 通知条件 即時対応が必要：すぐ通知 即時対応が不要：すぐ通知（即時とは区別する） まとめて通知（1⽇1回など） 検知したもの全部を即通知 通知⽅法 内容(重要度)や時間帯に合わせる ‧業務中 ：Slack、メール、電話 ‧休⽇夜間：Slack、メール 緊急時は休⽇夜間でも電話 など Slackのみ
- 127. #cmdevio #cmdevio3 127 LogFormatterを⾃作する場合 Lambda開始時に、RequestIDを覚えておく ⾃作のLogFormatterで、RequestIDを含める
- 131. まとめ
- 133. #cmdevio #cmdevio3 133 参考 CircleCIとGitHubでAWS SAMのサーバーレスアプリを⾃動デプロイしてみた (開発環境 & 本番環境) https://dev.classmethod.jp/cloud/aws/aws-sam-auto-deploy-for-circleci/ [AssumeRole] アクセスキーが流出しても被害が最⼩限になるIAMユーザでCloudFormationにデプ ロイする⽅法 https://dev.classmethod.jp/cloud/aws/assume-role-deploy-iam-user-and-role/ 【⼩ネタ】CircleCIのManual Approvalを利⽤したシンプルなブランチ/タグ運⽤ https://dev.classmethod.jp/ci/simple-branch-tag-operations-with-circleci-manual-approval/ 【実録】アクセスキー流出、攻撃者のとった⾏動とその対策 https://dev.classmethod.jp/cloud/aws/accesskey-leak/ サーバーレス開発の勘所 https://speakerdeck.com/sinofseven_/sabaresukai-fa-falsekan-suo
- 134. 134