Fargateを使いこなす！creatiaのインフラを支える技術について

Copyright (C) 2021 クリエイティア株式会社All Right Reserved.
Fargateを使いこなす！
Creatiaのインフラを
支える技術について

自己紹介 
2
本業: ねこ様の奴隷
副業: 虎の穴ラボのエンジニア
服部和哉(はっとりかずや)
2020年8月入社
趣味は某アーケードカードゲーム
最近泣いたアニメ
● ヴァイオレット・エヴァーガーデン
● かくしごと
● NOMAD メガロボクス2

Creatiaのインフラを支える技術について 
3
No 内容
1 サービス紹介
2 アプリケーション構成
3 ECS Fargateを使いこなすまで
4 まとめ

4
No 内容
4 まとめ
Creatiaのインフラを支える技術について

サービス紹介

• どんなサービスか？
– コンセプト
– Fantiaとの違い
目次 
6

目次 
7
– コンセプト

コンセプト 
8

コンセプト 
9

• サービスの仕組み
– 有料プラン加入（月額制）
• 制限のかかった投稿が見られる
– フォロー
• 動向がわかる
コンセプト 
10

• 月額制
コンセプト 
11
支援する

• 最近追加した機能紹介
– 投稿へのチップ
• 月額プランに加えてクリエイターを支援できる
– ライブ配信
• チケット購入制の生放送
コンセプト 
12

– コンセプト
目次 
13

• オリジナル特化
• R-18表現なし
• ランキング不採用
– 創作に集中できるように
Fantiaとの違い 
14

よく聞く声
• 表現に制限があるのって意味ある
の？Fantiaでいいじゃん。
• R18表現を否定しているの？
15

よく聞く声
• 表現に制限があるのって意味ある
の？Fantiaでいいじゃん。
• R18表現を否定しているの？
16

• 徹底した棲み分け
– R18が無いことで紹介しやすい
– オリジナル中心の作品を届けたい
Fantiaでは出しづらいと感じていたクリエイターへの選択肢として用意
しています。
17

もちろんFantiaと並行して活動されている方もいます。
• 普段とは違う作風の作品を上げる。
• メイキングや考えていることを上げる。
クリエイターの新たな一面が見られることも
18

内部的なお話もさせていただくと・・・
• Fantiaのノウハウを生かした設計
– 開発者のほとんどはFantia開発もしています。
• FantiaではGCPですがCreatiaではAWSを使用しています
19

20
No 内容
4 まとめ

21
アプリケーション構成

22

• フレームワーク：Ruby on Rails
• 担当部分
– DB管理(マイグレーション)
– セッション管理(ログイン情報など)
– DBの情報をAPI出力
– 各種外部サービスとの連携
• Fantiaログイン
• 決済関連
• 通知関連
23
バックエンド

• フレームワーク：Nuxt.js(TypeScript)
• 担当部分
– SSRによるHTMLレンダリング
• 同時にSEO関連のデータ埋め込み
– AjaxでのAPIアクセス
• APIアクセス時のプロキシ(@nuxtjs/proxy)
24
フロントエンド

• Ruby on Rails
– 虎の穴ラボでの利用実績が多い
– すごく流行ってるとは現状では言い難いが、安定
している
– Active Recordはやっぱり使いたい
– 実績があるゆえのセキュリティ面の安全性
25
バックエンド-技術の選定理由-

• 悩んだところ
– Go言語の採用
• 若干ながら実績があるが、ラボの経験値的
には薄い
• ORM的なもの決定版が無い(様に見えた)
• 他に新しいことをやっている箇所が多かった
ので更に追加するのはやりすぎなのでは？
という意見もあり 26
バックエンド-技術の選定理由-

• Nuxt.js(TypeScript)
– 社内アプリでの実績あり(ただしVue+TypeScript)
– 日本で流行っている
– ちょうどVueなどの経験がある人が多々入社してい
た
– SEOを考えるとこの段階ではSSRを使いたかった
27
フロントエンド-技術の選定理由-

• 悩んだところ
– Next(React)とどっちにするか
• デザイナーと一緒に作業するのでjsxを避けた
かった
– Vue3への移行過渡期
• Vue3のcomposition apiで社内アプリで利用実績
あり
• ただし、class componentは利用しない方針に
28
フロントエンド-技術の選定理由-

29

30
No 内容
4 まとめ

ECS Fargateを
使いこなすまで

Creatiaでは虎の穴ラボで開発するサービスとしては初め
てECS(Elastic Container Service)を採用しました。
ECSとは
クラスターでコンテナを簡単に実行、停止、管理できる非常にスケーラブルで
高速なコンテナ管理サービスです。
AWS公式から引用
ECS Fargateを使いこなすまで 
32

• 社内でDockerは調査や個人レベルでの使用はあっ
たがプロジェクトとしての使用はしていなかった。
• Kubernetes系なども検討したが(当時は)Dockerに
明るいメンバーが多いわけではないので学習コスト
の低いと言われるECS Fargateを採用した。
ECS採用経緯 
33

• 構築が必ずコードになるので再構築が容易
• すぐに環境を作れるし、すぐに消せる
• 他仮想化技術にくらべて起動が早い
• 複数環境建てられるのでプロジェクトごとに別バー
ジョンの環境を維持できる
なぜDockerなのか 
34

Creatiaシステム構成(簡易版) 
35

詳
細
版 
36

• ECS以外
• コンテナの配置方法の検討
• ECSを動かす
• ECSサービスの設定
目次 
37

• ECS以外
• ECSを動かす
目次 
38

ECS以外のAWS知識が必要
• 私自身AWSを使ったことがあまりなかったので基本的な部
分を覚えるところが大変でした。
– VPCやサブネットすらわからなかったのでそこを理解す
るところから勉強しました。
• 普通にEC2やALB立てたことがある人ならおそらく問題ない
と思います
ECS以外 
39

ブログ見てね！
本番で使えるFargate環境構築
https://toranoana-lab.hatenablog.com/entry/2020/12/07/000000
※細かいところは違いますがだいたいこんな感じで
作ってます。
Creatia基盤の作り方 
40

データベースはAmazon Aurora(MySQL互換)を使用
• 3つのプライベートサブネット(それぞれ別々のAZ)使用
• ReadDBはAutoScaleするように設定
ECS以外 
41

RedisはElastiCache
• 3つのプライベートサブネット(それぞれ別々のAZ)使用
• AutoScale的なものはなさそうなので
高めのスペックに
ECS以外 
42

その他諸々設定
ECS以外 
43

• ECS以外
• ECSを動かす
目次 
44

ECSタスクは複数のコンテナを起動させることができます。
複数のコンテナを扱うことを考える場合、どのように配置するか検討す
る必要があります。
コンテナ配置方法検討 
45
ECSタスク1 ECSタスク2
ECSタスク3
コンテナA
コンテナB
コンテナC
コンテナA
コンテナB コンテナC

コンテナを配置する1つの大きな基準はスケールさせたい組み合わせ
にすることです。
ECSタスク3
ECSタスク2
ECSタスク2
ECSタスク1
46
ECSタスク1 ECSタスク2
ECSタスク3
コンテナA
コンテナB
コンテナC
コンテナA

ECSタスク3
ECSタスク1
ECSタスク3
ECSタスク2
ECSタスク1
47
ECSタスク1
ECSタスク2
ECSタスク3
コンテナA
コンテナA
コンテナAは全然余裕・・・
だけど1つのタスクで実行すると
全体をスケールアウトせざるを得ない
タスクが別れていれば必要な部分だけスケー
ルアウト可能

48
Frontタスク Backタスク
Front Web
Job タスク
Front App
Back Web
Back App
Back App
Creatiaではこの様に配置することにしました

49
A
注意:
コンテナ配置方法によりコンテナ間でホストを指定する方法が違います。
B
同一タスクのコンテナには
localhostが使えます。
C
localhost:3000
localhost:8080
A
C
task3.example:3000 task3.example:8080
B
別タスクの場合はサービス検出設定を
することでRoute53での名前解決がで
きます。

Backタスク
50
Back Web Back App
同一タスク内の通信には両方のコンテナにマウントした
Volumeを経由したソケット
通信も可能です。
Volume
/var/app/tmp
# puma.rb
bind "unix:///var/app/tmp/sockets/puma.sock"
# default.fonf
upstream app {
server unix:///var/app/tmp/sockets/puma.sock;
}

Backタスク
余談: Fargateのバージョンが変わったら
コンテナが起動しない！ 
51
Back Web Back App
余談ですが、この方式をとったことで
Fargate1.3から1.4にバージョンが上がった時
にコンテナが起動しなくなることがありました。
Volume
/var/app/tmp
# puma.rb
bind "unix:///var/app/tmp/sockets/puma.sock"
# default.fonf
upstream app {
server unix:///var/app/tmp/sockets/puma.sock;
}

52
問題点は2つ
1つはプラットフォームのバージョンを「
LATEST」にしていたこと。
作成時はバージョン1.3がデフォルトだったのですが、ある時からバージョン
1.4がデ
フォルトになりました。
突然バージョンが変わってしまわないように
バージョンは明示したほうがいいです。
バージョンの設定は
ECSサービスの更新から変更可能です。
「LATEST」にしていても動いているタスクが
いきなり1.4に変わることはなく、
次にデプロイした時にバージョンが変わります。

53
問題点は2つ
もう1つはプラットフォームのこのバージョンアップ固有の問題です。
バージョン1.3ではDockerfile内にVOLUMEディレクティブを指定しなくても
マウント時にファイルがコピーされていましたが、これは仕様上間違いらしく、バー
ジョン1.4では正しい仕様になったようです。
Dockerfile内でマウントしようとしている
パスをVOLUMEディレクティブで
指定することで解決しました。
# Dockerfile
VOLUME [“/var/app/tmp”, “/var/app/dist”]

• ECS以外
• ECSを動かす
目次 
54

クラスター、タスク定義、サービスなどの設定をし、
早速動かしていきます。
ECSを動かす 
55

ECSを動かす 
56
！！

前のタスクが停止しても自動的に新しいタスクが起動します
ECSを動かす 
57

ECSを動かす 
58
😇 ECS使い始めあるあるだと思います

• ECSタスクが落ちる理由(経験則)
– CloudWatchのロググループがない
– コンテナ起動に失敗
– ヘルスチェックに失敗している
ECSを動かす 
59

CloudWatchのロググループがない
新しいタスク定義を作った時にやりがち
CloudWatchに予め作っておくか、タスク定義で自動作成オプションを
有効にします。
ECSを動かす 
60

コンテナ起動に失敗
これは理由がいろいろありすぎるのでタスクのログを見て原因を探るしかあり
ません。
ECSを動かす 
61

ヘルスチェックに失敗している
確認するポイントは
• コンテナのポート
• ターゲットグループのヘルスチェックパス
です
ECSを動かす 
62

ECSのヘルスチェック
アプリケーション死活監視のためのヘルスチェックは、データベースまで接続で
きるようなパスを用意して使用することが多いと思います。
しかし、ECS用のヘルスチェックは死活監視用のものとは別に用意し、データ
ベース含めたコンテナ外部要因でエラーにならないパスを用意した方がいい場
合もあります。
ECSを動かす 
63

DBまで接続するヘルスチェックだとDBが接続不可になるとECSのタスクがす
べて停止してしまい、LBからエラーを返すしかなくなります
ECSを動かす 
64
ECSサービス
LB
DB
ECSタスク ECSタスク
503
※DBが接続不可になった場合、LBからSorryページを返す設定にしていればこれはありだと思います。

コンテナさえ起動していれば成功するヘルスチェックだとECSタスクまでは停止
せず、ECS内のアプリでエラー内容を返すことができます。
ECSを動かす 
65
ECSサービス
LB
DB
エラー内容
※DBが復帰した時に接続も復帰できるアプリの作りである必要はあります。

• ECS以外
• ECSを動かす
目次 
66

各種構築が終わり無事にシステムを稼働させることができました。
しかし、後から設定変更が必要になることがありました。
• タスク数を変えたい
• オートスケール設定を変えたい
• セキュリティグループやサブネットを変えたい
など
ECSサービスの設定変更 
67

ECSサービスは作った後に変えられる設定と変えられない設定があり
ます。
変えられない設定はこんなものがあります。
• デプロイメントタイプ
(ローリングアップデートorBlue/Greenデプロイメント)
• VPC、サブネット、セキュリティグループ
• ロードバランサの設定
• サービス検出設定(Route53による名前解決)
68

• タスク数を変えたい
– できる
• オートスケール設定を変えたい
– できる
• セキュリティグループやサブネットを変えたい
– できない・・・
69

ECSサービスを作った後に設定に更新できない場合はECS
サービス自体を作り直す必要があります。
しかし、エンドユーザー向けに公開してしまっているシステム
だと停止させたくないものです・・・
70

システムを停止せずにECSサービスを作り直す！
わりとシンプルな方法でできたのでご紹介します
71
サービスA
LB
ターゲット
グループ

72
サービスA
LB
ターゲット
グループ
設定を変えた新しい ECSサービ
ス(サービスB)を作成します。
このとき、既存のECSサービス
(サービスA)が紐付いているター
ゲットグループと紐付けます。
サービスB
サブネット
セキュリティグ
ループ変更

73
サービスA
LB
ターゲット
グループ
サービスBのタスクが起動してく
るまで待ちます。
サービスBのタスク側のログを確
認しアクセスが来ているか確認
します。
サービスB

74
サービスA
LB
ターゲット
グループ
サービスBのタスクにアクセスが
来ているのを確認したら、サー
ビスAのタスク数を0にします。
サービスB
タスク数0に
更新

75
LB
ターゲット
グループ
サービスAのタスクが0になって
もシステムが正常動作している
のが確認できたらサービス Aを
削除します。
サービスB

76
サービスA
LB
ターゲット
グループ
元のサービス名にしたい場合は
同じ要領でもう一度ECSサービ
スを作り直し・削除を行います。
サービスB
サービスBと同じ設
定で作り直す

77
No 内容
4 まとめ

まとめ

• ECS以外のAWSの基礎知識は必要になる。
• コンテナの配置次第で構成が変わる。スケールさせたい組み合わ
せで考える。
• ECSのヘルスチェックはアプリケーション死活監視に使うものと別
にした方がいい。
• 公開しているシステムを停止せずに設定変更する方法は一応あ
る。
• Fargateを使いこなせるようになるには試行錯誤が必要。
まとめ 
79

Fargateを使いこなす！creatiaのインフラを支える技術について

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Fargateを使いこなす！creatiaのインフラを支える技術について

Similar a Fargateを使いこなす！creatiaのインフラを支える技術について (20)

Más de 虎の穴開発室

Más de 虎の穴開発室 (20)

Último

Último (20)