客戶常見問題分享與解決

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Cloud Support Engineer / Scott Li
2019/07
經驗分享: 客戶常見問題與解決

大綱
• 概念分享
• 最佳實踐
• 案例分享
• AWS Support 計畫

概念分享

AWS Lambda 工作模型 – Push Model
Client
Mobile
client
Users
Internet AWS Lambda
CloudWatch
CloudWatch
Amazon API
Gateway
Amazon SNS
Amazon SNS
Amazon S3
Amazon S3
Amazon
EC2
4

AWS Lambda 工作模型 – Pull Model
Client
Mobile
client
Users
Internet
AWS Lambda
CloudWatch
Amazon SNS
Amazon S3
Amazon
EC2
Amazon Kinesis
Data Streams
Event Source
Mapping
Lambda Service
5

AWS Lambda 權限模型
- Resource policy
- Execution Role
誰可以來調用Lambda 函式
Lambda 函式被允許可以做什麼
6

Internet AWS LambdaCloudWatch
CloudWatch
Amazon API
Gateway
Amazon SNS
Amazon SNS
Amazon S3
Amazon S3
Amazon
EC2Execution Role
Resource Policy
7

Client
Mobile
client
Users
Internet
CloudWatch
Amazon SNS
Amazon S3
Amazon
EC2
Amazon Kinesis
Data Streams
Event Source
Mapping
Lambda Service
Execution Role
8

AWS Lambda 權限模型 - Resource policy
- 控制台
- 單一步驟 : 自來源服務設定調用 Lambda 函式或是從Lambda
函式控制台進行設定Trigger時, 控制台自動協助新增
- 使用AWS CLI指令, SDK 或是 CloudFormation 進行配置
- Lambda 函式部分
$ aws lambda add-permission --function-name lab-demo --statement-id policy01 --action lambda:InvokeFunction
--principal events.amazonaws.com --source-arn arn:aws:events:ap-northeast-2: xxxxxxxxxxxx :rule/lab-demo-rule
- CloudWatch Event 部分
$ aws events put-targets --rule lambda-rule --targets "Id"="1","Arn"="arn:aws:lambda:ap-northeast-
2:399415179832:function:lab-demo"
9

AWS Lambda 權限模型- Resource policy
- Example:
{
"Version": "2012-10-17",
"Id": "default",
"Statement": [
{
"Sid": "policy",
"Effect": "Allow",
"Principal": {
"Service": ”events.amazonaws.com"
},
"Action": "lambda:InvokeFunction",
"Resource": "arn:aws:lambda:ap-northeast-2:xxxxxxxxxxxx:function:lab-demo",
"Condition": {
"ArnLike": {
"AWS:SourceArn": "arn:aws:events:ap-northeast-2:xxxxxxxxxxxx:rule/lab-demo-rule"
}
}
}
]
}
10

AWS Lambda 權限模型 – Execution Role
- Trusted Relationship: Lambda
- Example:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
],
"Resource": "*"
}
]
}
11

調用模式
- Request Response
- Event
- Dry-run
同步調用
非同步調用
測試請求，不執行
12

支援的事件源
- Push model
- 同步調用
- 非同步調用
- Pull model
- Stream 事件源
- None-stream事件源
- Using AWS Lambda with Other Services -
https://docs.aws.amazon.com/lambda/latest/dg/lambda-services.html
13

Lambda 發生 Throttles 或是錯誤時的重試行為
- Push model
- 同步調用的事件源
- 非同步調用的事件源
- Pull model
- Stream事件源 (Kinesis, DynamoDB Stream)
- None-stream事件源 (SQS queue)
429 Error, Client needs to retry [Throttle]
Retry automatically up to 6 hours [Throttle]
Keep retrying until succeeds, or event expired
in the stream or queue [Error] [Throttle]
Retry automatically up to 2 times [Error]
設定 DLQ ，當非同步調用事件錯誤三次時，發送到 DLQ(SNS or SQS)
Error, Client needs to retry [Error]
14

- 什麼是 AWS Lambda 的並行執行 (Concurrent Execution)?
- 如何計算?
- Push event source
- Pull, stream-based event source
- 如何從 CloudWatch Metric 做監控
Equals to active shards in the stream
AWS Lambda 如何拓展？
invocations per second * average execution duration in seconds
10 Requests / second
Average Duration: 3 seconds
Estimated Concurrency: 10 x 3 = 30
1st sec, 10 Requests
2nd sec, 10 Requests
3rd sec, 10 Requests
4th sec, 10 Requests
5th sec, 10 Requests從區域層級的 Metric 做監控，除非設定 Reserved
Concurrency 才能針對某函式做觀察
10
20
30
30
30
15

冷啟動現象
- AWS Lambda 協助管理與設定底層運行環境, 因此不管如何嘗試, 此現象必
然存在，因此應試著與之共存，追求目標應為降低冷啟動的影響而非擺脫
冷啟動。
- 當 Execution Context 開始被重複使用, 函式會恢復效能。
- 減少部署包的大小，降低複雜相依性與邏輯。
- 選擇一個較不受影響的 Runtime 如 Python 或是 Nodejs。
- 增加記憶體有一些的幫助，但是設定超過一定大小後，效果將變得不明顯。
- 除非必要，盡量不將函式置放於 VPC 中。
- 搭配其他 AWS 服務以降低冷啟動的影響。
- 如果應用對於冷啟動所造成的 Latency 非常敏感，則考慮可其他服務如：
EC2 或是 ECS。
16

最佳實踐

最佳實踐
- 實作日誌輸出
- /aws/lambda/<function name>
- START/END/REPORT
- Single purpose and stateless
- Anti-duplication
- 程式碼優化
- 使用與 Lambda 函式相同的環境建立程式碼部署包, 降低相容性問題
- 靜態初始化，全域變數
- 控制部署包大小
- 避免複雜相依性與邏輯
- 使用環境變數來儲存必要資訊, 亦可透過 KMS Key 加密
18

最佳實踐
- 適時調整記憶體大小
- 定時清理不用的函式,函式版本與 Layer
- 除非必要，盡量避免置放函式於 VPC 中
- 額外需要檢查可用 IP 地址數量 / 可用 ENI 數量
- 更長的 Cold Start, 也不會更安全
- 須透過 NAT Gateway 連接網路資源
- 盡量避免函式遞迴呼叫自身
- 日誌輸出結果複雜，除錯不易
- 無窮迴圈造成可怕帳單金額
- 小心來路不明的 Layer
19

案例分享

前言
• 由於客戶資料安全與保密原則, 分享的案例已經過修改或
是置換為本地復現後的結果
• 分享案例中所提到的Support後台工具, 無法提供實際畫面
僅能以口頭敘述, 敬請見諒

案例一：API Gateway 返回 "Missing Authentication Token"
當發送請求至 API Gateway 時，返回訊息不正確, 只取得 “Missing
Authentication Token” 訊息, 使用 cURL 做測試也是相同結果, 使用指令如下:
$ curl https://xxx.execute-api.us-east-1.amazonaws.com/abc
22

客戶的問題與困擾
API Gateway 返回結果異常, 訊息無法明確得知問題
23

AWS Support 提供的分析與協助
A. 通常 “Missing Authentication Token” 發生於兩種情境
a) 請求的資源或是方法不存在
b) “AWS_IAM” 驗證方法已經啟用, 但是請求並未簽署包含 IAM 訊息以供驗證
B. 使用 Support 後台工具, 檢查客戶 API Gateway 配置, 發現資源abc並不存在, 客
戶的 API Gateway root 底下只有配置一個叫做 abcc 的資源(/abcc)並且配置的
是 POST 方法
C. 結論：
資源 /abc 並不存在, 因此導致錯誤而返回此一訊息
D. 解決方案：
解釋發生問題原因, 並提供正確命令以供測試
$ curl -v -X POST https://xxx.execute-api.us-east-1.amazonaws.com/abcc -d '{"key1":"value1", "key2":"value2"}' -H "Content-Type:
application/json"
24

案例二：API Gateway 返回 "Internal Server Error"
當發送請求至 API Gateway 時，返回“Internal Server Error”異常訊息, 使用
cURL 做測試也是相同結果, 而且每次都是一樣結果, 沒有一次成功, 但是直接
在 Lambda 函式控制台上測試函式, 輸出結果卻是正常的.
用來測試 API Gateway 的指令如下:
$ curl https://ooo.execute-api.us-east-1.amazonaws.com/xyz
25

API Gateway 返回結果異常, 訊息無法明確得知問題
26

A. 使用 Support 後台工具, 檢查客戶 API Gateway 配置, 資源 xyz 確實存在並且配
置有 GET 方法, 而且資源 xyz 設定的是 Proxy Integration
B. 結論：
雖然 Internal Server Error 有可能其他可能性, 但由於客戶每次都得到一樣的結
果, 且在 Lambda 函式控制台測試皆為正常, 即有可能為其 response 格式有問
題.
27

C. 解決方案：
a) 建議客戶啟用 API Gateway 日誌後重新做測試, 並觀察日誌是否有類似下
訊息：
Thu Dec 08 01:13:00 UTC 2016 : Execution failed due to configuration error: Malformed Lambda proxy response
Thu Dec 08 01:13:00 UTC 2016 : Method completed with status: 502
b) 若有觀察到類似內容, 即有可能是 proxy response 格式造成客戶問題, 須在
Lambda 函式中使返回內容符合以下格式
{
"isBase64Encoded": true|false,
"statusCode": httpStatusCode,
"headers": { "headerName": "headerValue", ... },
"body": "..."
}
28

案例三：Lambda 函式運行發生錯誤
當在 Lambda 函式 tag_resource 發生以下錯誤:
"errorMessage": 'Glue' object has no attribute 'tag_resource'",
"errorType": "AttributeError",
29

Lambda 函式所使用的 SDK 似乎有問題或是不完整
30

A. 在本地使用 AWS Python Boto3 SDK 版本 1.7.74 可以成功復現客戶問題，使用
SDK 版本 1.9.118 則不會有問題
B. 由於客戶配置使用 Python 2.7, 因此根據 Lambda 環境資訊, 客戶必然遇上此問題
註: 更多關於 AWS Lambda 環境資訊請參考:
AWS Lambda Runtimes - https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html
Runtime SDK Version
Python 2.7 雖然文件上標示 N/A , 但可從 runtime 執行時
讀出版本亦為: 1.7.74
Python 3.6 1.7.74
Python 3.7 1.9.42
31

D. 結論:
客戶的問題肇因於 Lambda 函式上的 SDK 版本過舊並未包含新版本所提供的功能
E. 解決方案:
a) 建議客戶自行打包 SDK 於 Deployment Package 中
b) 若客戶還有其他函式可能也會用到較新的 SDK 版本, 則可使用 Lambda
Layer 來打包新版本的 SDK, 並且附加到需要用到的函式
32

案例四：無法針對函式創建 CloudWatch Event Rule
針對 Lambda 函式創建
CloudWatch Event rule時發生
錯誤, 嘗試改配置 S3 事件依然
無法成功配置, 請協助調查原因,
詳情請看截圖.
註：即使自 Lambda Function
管理控制台也無法成功.
33

唯一線索只有控制台上的錯誤訊息
There was an error while saving rule lab-demo.
Details: The final policy size (20526) is bigger than the limit (20480)..
缺乏明確訊息釐清哪裡出問題
34

A. 客戶使用場景：
a) CloudWatch Event 調用 Lambda function
b) 確認 Lambda Function 權限模型
- Resource Policy
- 並且從 Support 後台工具發現客戶函式設定有大量 CloudWatch
Event 作為事件源（Trigger）
35

B. 從 Support 後台工具確認客戶 API 呼叫紀錄 CloudTrail 紀錄
C. Lambda Function 限制
D. 結論:
使用 AWS 控制台新增 Lambda 函式的 Trigger 時, 控制台會協助新增
Resource Policy, 當函式的 Trigger 持續增加時, Policy 也會同步增長
最後將碰上此問題
Resource Limit
Function resource-based policy 20 KB
36

D. 解決方案：
a) 刪除已經沒在使用的 Trigger 以減少 Policy 數量
b) 在 Resource Policy 中對來源 ARN 使用 wildcard(*) , 但須透過 AWS
Lambda CLI 作配置
c) Lambda 函式部分
$ aws lambda add-permission --function-name lab-demo --statement-id policy01 --action
lambda:InvokeFunction --principal sns.amazonaws.com --source-arn arn:aws:sns:ap-northeast-
2:xxxxxxxxxxxx:lab-*
d) CloudWatch Event 部分
$ aws events put-targets --rule lambda-rule --targets "Id"="1","Arn"="arn:aws:lambda:ap-northeast-2:
xxxxxxxxxxxx:function:lab-demo"
e) 使用星字號的缺點是, 此後無法透過控制台來管理相關 Trigger 需使用
CLI 來做管理
37

案例五：遺失 Lambda 函式運行日誌
確認 Lambda 函式一直有在被調用，每秒調用約莫十次，平均每次運行約
五秒，但是在 2019/07/17 08:39 UTC 時，檢查 Log 時發現 08:37, 08:38,
08:39 在 Log Stream ”
2019/07/17/[$LATEST]6ff9dfe1517f4a9083fbeaed8e1bcbcb” 只有找到三筆
請求的紀錄，CloudWatch 的 Metric 也並沒有看到錯誤或是 Throttle 發生，
請問當時 Lambda 是否有發生問題？
38

無法從該 Log Stream 中得知為什麼沒有日誌輸
出, 並且從 CloudWatch Metrics 上也沒有發現到
錯誤或是 Throttle
39

A. 從 Support 後台工具確認當時確實有調用紀錄並且沒有錯誤或是 Throttle 發生
B. 檢查客戶的 IAM Role 具備有適當的權限
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:PutLogEvents"
],
"Resource": "*"
}
]
}
40

C. 客戶使用場景
a) 每秒調用十次，平均運行時間約五秒
b) 並行執行量(Concurrent Execution)的估算：
invocations per second * average execution duration in seconds
10 x 5 = 50
Understanding Scaling Behavior - https://docs.aws.amazon.com/lambda/latest/dg/scaling.html
c) 必定有多重 Execution Context (Container, Micro VM) 並行執行
d) 每一個 Execution Context 必會有一個 log stream 供日誌輸出
e) Execution Context 可以被重複使用（機制由 Lambda 服務控制）
D. 從 Support 後台工具確認多重 Log stream 存在
41

E. 結論：
由於 Lambda 函式會自動拓展，按照客戶的函式執行狀況，如果請求穩定的，
則最多將會有高達 50 個並行執行量 (Concurrent Execution)，因此也可能多達
50 個 Log Stream，因此日誌並不會集於 Log group 中的某些 Log stream，根據
Execution Context 的 reuse 狀況（由 Lambda 服務控制），日誌將會寫入不同
的 Log Stream
42

F. 解決方案：
a) 使用 AWS Log CLI
b) 指令：
$ aws logs filter-log-events --log-group-name /aws/lambda/lab-worker --
start-time 1563352740000 --end-time 1563352800000 --output text >
/tmp/exported.log
a) 結果：
43

案例六：Lambda 函式發生執行逾時錯誤
Lambda 函式啟用了 VPC 設定, 但函式在和第三方網路服務做連接發生錯誤，但
是位於相同 VPC 子網段的 EC2 執行個體卻不會發生這個問題, Lambda 所使用的
Subnet, Security Group 都和該 EC2 執行個體相同, 網路配置皆為正常, 即使重新
創建了一個新的 Subnet 為何 Lambda 函式還是無法存取網路服務？
44

網路設定沒有問題,
為什麼Lambda函式還是不能存取網路資源？
45

A. 從Support後台工具確認客戶設定, 確認錯誤和調用 Metric 一致, 且錯誤發生
時 Duration 亦和客戶配置的 Timeout 設定相同.
B. 由於客戶函式配置有 VPC 設定，檢查客戶的 IAM Role 具備有適當的權限
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:PutLogEvents”,
"ec2:CreateNetworkInterface",
"ec2:DescribeNetworkInterfaces",
"ec2:DeleteNetworkInterface"
],
"Resource": "*"
}
]
}
46

C. 確認 VPC 和子網段設定時發現, 客戶所使用的子網段預設路由(0.0.0.0/0)指
向的是一個 Internet Gateway (IGW), 但是 VPC-enabled 的 Lambda 函式只
能使用 NAT Gateway 或是 NAT Instance 來達成存取網路資源的目的
D. 結論：
VPC-enabled 的 Lambda 函式不能透過 IGW 來與網路資源做連線
E. 解決方案：
C. 建議客戶建立一個 NAT Gateway 或是 NAT Instance 連接至 Public
Subnet ( 亦即配置有 IGW 的子網段 )
D. 建立專屬子網段給 Lambda 函式使用, 並修改其預設路由(0.0.0.0/0)並指
向在剛建立的 NAT Gateway.
47

AWS Support
開立支援案例時
1. 函式名稱與使用區域（或直接提供 ARN）
2. 提供 Request ID 和 Timestamp 並註明時區
3. 日誌（文字檔提供，Support 無法直接存取）
48

AWS Support
輸出日誌：
a) 使用 AWS Log CLI
b) 指令：
$ aws logs filter-log-events --log-group-name /aws/lambda/<function
name> --start-time 1563352740000 --end-time 1563352800000 --output
text > /tmp/exported.log
49

AWS Support
訂閱 Support Plan 的好處：
1. 各式各樣服務得專家提供指導, 協助使用 AWS 服務更順暢
2. 在發生問題時，AWS Support 可以透過後台工具, 更快定位問題
影響層級狀況描述回應時間
開發人員
(DS)
商業
(BS)
企業
(ES)
一般技術諮詢一般開發問題，或您希望要求某項功能 24 小時內 V V V
系統受影響非關鍵功能運作異常，或有時效性開發問題 12 小時內 V V V
生產系統受損重要功能受損或效能受到影響 4 小時內 V V
生產系統當機業務明顯受到影響，重要功能無法使用 1 小時內 V V
業務關鍵系統當機有立即性風險，關鍵功能無法使用 15 分鐘內 V
50

Thank you!

客戶常見問題分享與解決

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 客戶常見問題分享與解決

Similar to 客戶常見問題分享與解決 (20)

More from Amazon Web Services

More from Amazon Web Services (20)

客戶常見問題分享與解決