Reco choku tech night #09 -reinvent2018報告会-

RecoChoku Tech Night #09
- re:Invent 参加レポート -
小林真弓海津純平福治菜摘美岡崎拓哉

ALB Support for Lambdaを
試してみました
株式会社レコチョク小林真弓

自己紹介
小林真弓（コバヤシマユミ）
• 2017年新卒入社（2年目）
• 事業システム部システム・アーキテクトグループ
• 社内ツールの開発（2017/10~）
• 新規プロジェクトのWeb開発に携わりはじめています
• AWS初心者
• サーバレスでの開発はしたことないですが、今回のre:Inventをキッカケに興味を
持ち始め、色々調べてみました

ALBのターゲットに
Lambdaの選択が可能になりました
（東京リージョンでもすでに利用可能です）
要するに

今回のre:Inventで・・・これまでのAWS Lambda
API Gatewayのバックエンドに
Lambdaを使用

アーキテクトイメージ - DynamoDBからデータを取得する
AWS Cloud
API Gatewayのバックエンドに
Lambdaを使用

今回のre:Inventで・・・今回の機能追加により
ALBをLambdaのフロントエンド
に使用可能に

今回のre:Inventで・・・
AWS Cloud
ALBをLambdaのフロントエンド
に使用可能に
アーキテクトイメージ - DynamoDBからデータを取得する

Webサイトやアプリケーションを
サーバレスに作成、管理
クライアントからのリクエストに
HTTP/HTTPSフロントエンドを提供
今回の新機能でできること

今回の新機能でできること
API GatewayがLambdaをトリガーする際のパラメータと
ALBのパラメータは共通性がある
API Gateway or ALBもしくは両方で
Lambda関数の使用が可能

•ランタイム：Python 3.7
•IAMロール：AWSLambdaVPCAccessExecutionRoleを付与
一旦それ以外の設定はデフォルトのまま作成しました
触ってみた - Lambda関数の作成

触ってみた - ALBの作成
ターゲットの種類に
Lambda 関数
が追加されています

触ってみた - ALBの作成
ヘルスチェックの有効化
にチェックを入れると
詳細設定が可能になります

今回のre:Inventで・・・
接続してみる
触ってみた

今回のre:Inventで・・・触ってみた - curlコマンドを叩いてみる
P-1174:~ ma-kobayashi$ curl -v http://kbys-lambda-alb-xxxxxxxxxx.ap-northeast-1.elb.amazonaws.com
* Rebuilt URL to: http://kbys-lambda-alb-xxxxxxxxxx.ap-northeast-1.elb.amazonaws.com/
* Trying xx.xxx.xxx.xxx….
* TCP_NODELAY set
* Connected to kbys-lambda-alb-xxxxxxxxxx.ap-northeast-1.elb.amazonaws.com (xx.xxx.xxx.xxx) port 80 (#0)
> GET / HTTP/1.1
> Host: kbys-lambda-alb-xxxxxxxxxx.ap-northeast-1.elb.amazonaws.com
> User-Agent: curl/7.54.0
> Accept: */*
>
< HTTP/1.1 502 Bad Gateway
< Server: awselb/2.0
< Date: Mon, 10 Dec 2018 07:23:54 GMT
< Content-Type: text/html
< Content-Length: 138
< Connection: keep-alive
<
<html>
<head><title>502 Bad Gateway</title></head>
<body bgcolor="white">
<center><h1>502 Bad Gateway</h1></center>
</body>
</html>
* Connection #0 to host kbys-lambda-alb-xxxxxxxxxx.ap-northeast-1.elb.amazonaws.com left intact

触ってみた - curlコマンドを叩いてみる
The response from the Lambda function
is not in the expected format
（レスポンスの型が違います）

触ってみた
Requests can include HTTP GET, HEAD, PUT, POST, DELETE, PATCH and
OPTIONS methods, and request and response bodies can be text or binary.
The Application Load Balancer that you’ve set up with AWS Lambda takes
care of translating an HTTP/S request into an AWS Lambda-compatible event.
要求には、HTTP GET、HEAD、PUT、POST、DELETE、PATCH、OPTIONSメソッドが
含まれ、要求および応答の本文にはテキストまたはバイナリを使用できます。 AWS
Lambdaで設定したApplication Load Balancerは、HTTP(S)リクエストをAWS Lambda
イベントに変換します。
Lambda functions as targets for Application Load Balancers
https://aws.amazon.com/jp/blogs/news/lambda-functions-as-targets-for-application-load-balancers/

今回のre:Inventで・・・触ってみた - Lambda関数の修正
def lambda_handler(event, context):
response = {
"statusCode": 200,
"isBase64Encoded": False,
"headers": {
"Content-Type": "text/html; charset=utf-8"
}
}
response['body'] = """
<html>
<head>
<meta charset="UTF-8">
<title>kobayashi test</title>
</head>
<body>
<p>今日はre:Invent報告会です</p>
</body>
</html>"""
return response

アーキテクトイメージ - Webサイトを作成する
VPC
AWS Cloud
（静的コンテンツ）
（動的コンテンツ）

まとめ
・ALBのヘルスチェックはLambda関数が機能しているかの確認を行う
→Lambda関数のリクエストとしてカウント
・ALB + Lambdaの場合のリクエスト・レスポンスは、テキストorバイナリである必要が
ある
・リクエスト受信の回数に合わせて自動的にスケールするため運用負荷減
・LambdaにALBを設定していても、API Gatewayのバックエンドとしての利用も可能

エンジニアブログやってます
レコチョクエンジニアブログ検索
おまけ

AWS Toolkit for PyCharmを触ってみた
事業システム部ミュージック・アーキテクトグループ
海津純平

自己紹介
• 名前
• 海津純平（カイヅジュンペイ）
• 居住地
• 新潟（出生〜高校）
• 宮城（大学）
• 東京（現在）
• 好きな言語
• Python
• 好きなAWSのサービス
• AWS CloudFormation

テーマ
AWS Toolkit for PyCharmを触ってみた

メリット
PyCharm内だけでサーバーレスアプリケーション開発が可能

サーバーレスアプリケーション開発

必要なツール
• PyCharmプラグイン「AWS Toolkit」
• Docker
• AWS SAM（Serverless Application Model）CLI

AWS SAM
1 AWSTemplateFormatVersion: '2010-09-09'
2 Transform: AWS::Serverless-2016-10-31
3 Resources:
4 HelloWorldFunction:
5 Type: AWS::Serverless::Function
6 Properties:
7 CodeUri: hello_world/
8 Handler: app.lambda_handler
9 Runtime: python3.6
10 Events:
11 HelloWorld:
12 Type: Api
13 Properties:
14 Path: /hello
15 Method: get
AWS CloudFormation のサーバーレス拡張

できること
リージョンと認証情報の指定
リソース参照
デプロイ
ローカル実行
リモート実行

ローカル実行
デプロイせずに動作確認が可能

ローカル実行
デバッグ実行可能ブレークポイントも貼れる

リージョンと認証情報の指定
認証情報は ~/.aws/credentials からの読み込み

デプロイ
︙
ビルド→パッケージ化→S3アップロード→デプロイ

リソース参照
CloudFormation と Lambda のリソース

リモート実行
実行時に渡すデータも指定可能

まとめ
• PyCharm内だけでサーバーレスアプリケーション開発が可能
• ローカル実行
• リージョンと認証情報の指定
• デプロイ
• リソース参照
• リモート実行
• 動作確認のためにデプロイする必要がない
• 全員環境を揃えて開発をすると効率良いかも

自己紹介
名前は？福治菜摘美(新卒2年目)
何してる人？ e-Sports同好会代表(ゲームできない)
サービス改善のためのデータ分析をしている。
機械学習は勉強中。
好きな動物猫。ペンギン。なんでも。

お断り事項
https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/document-history.html

お断り事項
https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/document-history.html
2018/11/28に作成された公式ドキュメントを参考にしています。

Amazon Personalizeとは？
パーソナライズレコメンドを行う場合の手順

購入履歴など

学習アルゴリズム1
購入履歴など

モデル1学習アルゴリズム1
購入履歴など

モデル1学習アルゴリズム1
レコメンドリスト1
1. メガネ
2. 蛍光ペン
3. しおり
購入履歴など

モデル1 評価(0.60)学習アルゴリズム1
1. メガネ
2. 蛍光ペン
3. しおり
購入履歴など

モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
購入履歴など

モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
購入履歴など
Amazon Personalizeとは
パーソナライズを容易にする機械学習サービス。

用語
モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
購入履歴など

用語
モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
レシピ
レシピ
レシピ
購入履歴など

用語
モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
レシピ
レシピ
レシピ
ソリューション
購入履歴など

用語
モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
レシピ
レシピ
レシピ
購入履歴など
キャンペーン

Amazon Personalizeのここがすごい！

1. APIを叩くだけで、機械学習が可能である。
モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
購入履歴など

1. APIを叩くだけで、機械学習が可能である。
モデル1
モデル2
モデル3
評価(0.60)
評価(0.87)
評価(0.40)
1. メガネ
2. 蛍光ペン
3. しおり
1. しおり
2. 本1
3. 蛍光ペン
1. 防水ケース
2. メガネ
3. しおり
レシピ
レシピ
レシピ
API API
API
API
購入履歴など
API
キャンペーン

1. APIを叩くだけで、機械学習が可能である。(一部)
Create Delete Describe Get List Retrain Update
Algorithm ○ ○ ○ ○
Campaign ○ ○ ○ ○ ○
CampaignUpdate ○
Dataset ○ ○ ○ ○ ○
DatasetGroup ○ ○ ○ ○
DatasetImportJob ○ ○ ○ ○ ○
DatasetImportJobRun ○ ○
EventTracker ○ ○ ○ ○
FeatureExportJob ○ ○ ○
FeatureTransformation ○ ○ ○ ○
Recipe ○ ○ ○ ○ ○
Schema ○ ○ ○ ○
Solution ○ ○ ○ ○ ○ ○
SolutionVersion ○ ○
Metrics ○

2. 機械学習をやったことない人でも使える
Deep-FM Recipe Matrix factorizationに基づくレシピ
FFNN Recipe feed-forward neural network (FFNN) に基づくレシピ
HRNN Recipe ユーザ行動の変化をモデルする階層型ニューラルネットワークに基づくレシピ
Popularity-Baseline Recipe データセットのアイテムの人気をカウントするアルゴリズムのレシピ
SIMS Recipe 商品間の類似度を計算するアルゴリズムのレシピ
+
自分で作成したレシピ

+
Amazon Personalizeがレシピを勝手に選んでくれる機能も！

+
2017年7月に発表された
映画のレコメンドで最も良い結果を出した手法！！！

3. リアルタイムに
I.夜中にバッチを組まなくても機械学習ができる
II.リアルタイムにイベントデータを送ることができる

プレビューの申し込み＆作業手順
Getting Started (Python Notebook)
Amazon Personalize Preview

Amazon Forecastの紹介
事業システム部ミュージックアーキテクトグループ
岡崎拓哉

自己紹介
• 名前
• 岡崎拓哉
• 趣味
• プログラミング
• ドラム
• インコと戯れる
• 好きな食べ物
• 鶏の唐揚とか

結論
予測データを簡単に作る事が出来る！
サーバのトラフィック量/商品の需要予測 …etc

アーキテクチャ構成
Amazon
Forecast
ユーザ
Login
Read

作り方概要
• 「Amazon Forecast」に「S3」に配置してある CSV ファイルを読み込ませる
• CSV ファイルから予測データ作成用に DataSet を作成する
• DataSet※ を指定してJob※として読み込みを行う
• 「Amazon Forecast」が提供する予測データの作成用のオプション※を選択する
• 「Amazon Forecast」ダッシュボードから商品の需要予測データを見る

補足
• Dataset
• Amazon Forecast のタスク定義ファイル
• Amazon が定義したスキーマに準拠している必要あり
• Job
• Amazon Forecast に DataSet を読み込ませる事でデータの読み込みが可能
• オプション
• オプション名
• 予測データの期間
• 予測データのレシピ(生成アルゴリズム)

Amazon Forecastを使う準備

オプションのデプロイ

まとめ
• Amazon Forecast を使うと出来ること
• 機械学習に詳しくなくても使用できる
• 簡単に予測データを作成する事ができる
• 機械学習の勉強の第一歩を踏み出せる

質疑応答
・ALB Support for Lambdaを試してみました：小林真弓
・AWS Toolkit for PyCharmを触ってみた：海津純平
・Amazon Personalizeの紹介：福治菜摘美
・Amazon Forecastの紹介：岡崎拓哉
sli.do #RecoTech09

Reco choku tech night #09 -reinvent2018報告会-

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Reco choku tech night #09 -reinvent2018報告会-

Similar a Reco choku tech night #09 -reinvent2018報告会- (20)

Más de recotech

Más de recotech (18)

Último

Último (9)

Reco choku tech night #09 -reinvent2018報告会-