20200129 jawsug bgnr22

データはどこからくるの？
〜AWSとオンプレとの違いで学んだあれやこれ〜
2020年1月29日
株式会社QUICK
大熊香里

2Copyright © 2019 QUICK Corp. All Rights Reserved.
会社紹介
[社名] 株式会社QUICK
[設立] 1971年10月1日
[代表者] 代表取締役社長　近藤　勝義
[事業内容]
日本経済新聞社グループの金融情報サービス会社として、世界の証券・
金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支
援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証
券・金融市場に関連する総合的なソリューションの提供。

自己紹介
名前：大熊　香里　※ぜひ気軽に「くまちゃん」と呼んでください
所属：株式会社QUICK
趣味：登山（37/100登頂）、猫
好きなAWSサービス：Lambda
◆◆◆2019年＋α　AWSマイトピック◆◆◆
2018年秋：AWSの初めての仕事Route53、SES設定
2018年12月7日：はじめてのJAWS-UG 初心者支部
2019年2月：はじめてのJAWS DAYS 2019
2019年5月：はじめてのAWS Summit Tokyo
2019年9月：ソリューションアーキテクト取得
2019年12月：はじめてのre:Invent！！
本日　　　：はじめての登壇！！

ターゲット
・どのようにAWSを使っているか事例を知りたい人
・AWS（クラウド）を使うことの良さって何？
　と思っている人
・いやいやみんないいこと話過ぎでしょ、
　ほんとはいろいろ失敗とかあるでしょ、
　　と失敗からの教訓も聞きたいよという人

アジェンダ
１．データはどこからくるの？
２．AWS(特にサーバレス)の良さって何？
３．慣れてきた頃の大失敗

[事業内容]
日本経済新聞社グループの金融情報サービス会社として、世界の証券・
金融情報をはじめ、政治・経済情報をリアルタイムで配信。資産運用支
援、注文執行業務の支援、情報ネットワーク構築支援サービスなど、証
券・金融市場に関連する総合的なソリューションの提供。
今日は配信するデータがどこからやってくるかを話します。

金融のデータといえば、株価だよね？
株価なら取引所からでしょ？専用線でしょ？

取引所以外に数百箇所以上から、
いろんな方法で、
いろんなフォーマットで、データを取得。
例えば、
・メール&PDF、メール&Excel
・クローリング&PDF、クローリング&Excel
・SFTP&テキストファイル、SFTP&PDF

◆従来◆
メール
・・・
・・・
企業HP
FTPサイト
人手で値を入力・計算
テキストファイルに変換してシス
テムに出力
QUICK
サーバ群
サービスへ

◆AWSで(半)自動化◆
メール
・・・
・・・
企業HP
FTPサイト
①前段のLambdaで取得と編集を実施
QUICK
サーバ群
サービスへ
・・・
・・・・・・
・・・・・・
・・・・・・

◆AWSで(半)自動化◆
メール
・・・
・・・
企業HP
FTPサイト
QUICK
サーバ群
サービスへ
・・・
・・・・・・
・・・・・・
・・・・・・
②営業日判定/計算/編集/SFTP送信等　
用途毎にLambdaを用意。
　組み合わせて利用。

①サーバやネットワークの構築作業が不要
②サーバリプレース作業不要、セットアップ作業不要
③クラスタ・同期の設定に時間が掛からない
④高い可用性（8/23障害時も影響無し！）
⑤処理が独立しているから、サーバの時のように筐体全
体の性能を気にしなくていい
⑥夜中や休日にハード障害の緊急電話が来ない！！
（安心して寝れます。安心して遊びに出かけられます。）

①サーバやネットワークの構築作業が不要
②サーバリプレース作業不要、セットアップ作業不要
③クラスタ・同期の設定に時間が掛からない
④高い可用性（8/23障害時も影響無し！）
⑤処理が独立しているから、サーバの時のように筐体全
体の性能を気にしなくていい
⑥夜中や休日にハード障害の緊急電話が来ない！！
（安心して寝れます。安心して遊びに出かけられます。）
サーバ単位ではないが、
アカウント単位で気にする必
要がある！！

検証の為開発環境で、
S3バケットに保存していた数万ファイルを置きなおして、
PUT契機でLambdaを動かした。
「時間は掛かるけど、そのうち終わるよね」
　　　　　　　　　　　　　　　　と呑気にしていたら、、、

上司：「Lambdaが動いていないんだけど」
私：「ん？　Lambdaめっちゃ動いてますよ？
（私が意図して動かしているLambdaに限る）」
上司：「それどれくらいの数動いているの？
　　　同時に実行出来る上限に達していないよね？」
私：「えっ・・・んっ！？同時！？上限！？」

AWSには至るところに上限がある。
今回でいえば、2種類のLambdaで同時実行のLambdaを食いつぶして
しまい、Lambdaの同時実行数の上限(デフォルト1000)に達していた。
その為定時起動の他のLambdaが動かなかった。
事象が発生した時はここには数個しか表
示されていない状態に・・・

＜その時の対応＞
対象のLambdaの同時実行数を制限。
しかし、対象のLambdaの同時実行に制限が掛かりLambdaの数に空き
がでたものの、動かしたいLambdaはしばらく動かなかった。
なぜ・・・
コンソールから設定可能

実行待ちが続いた結果、読み取りの速度も低下していた。
＜引用＞https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-async.html
S3のPUT契機、CloudWatchからのイベント等はその場では制御でき
ず、事象が収まったのは発生から6時間後だった。

＜事前にしておくべきこと＞
①Lambdaの同時実行数の上限をあげておく
（上限緩和は申請から数日掛かる）
②SQS等を間に入れてキューをハンドリングできるようにする
（S3PUT契機のキューは削除することができない）
③アカウント全体でLambdaのThrottles検知の仕組みを入れておく
④必ず動かす必要があるLambdaは、同時実行の予約をしておく
⑤大量に動く可能性があるLambdaにも同時実行の予約をしておく

まとめ
1. 人手の作業をAWSのアーキテクチャーを利
用して自動化を実現
2. AWS（クラウド、サーバレス）を使うメリット
はたくさんある
3. AWSの上限に注意！！

ご清聴ありがとうございました！

20200129 jawsug bgnr22

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (18)

Similar a 20200129 jawsug bgnr22

Similar a 20200129 jawsug bgnr22 (20)

Más de Kahori Takeda

Más de Kahori Takeda (15)

Último

Último (9)

20200129 jawsug bgnr22