Datadog을 활용한 Elastic Kubernetes Service(EKS)에서의 마이크로서비스 통합 가시성 - 정영석 시니어 세일즈 엔지니어, Datadog :: AWS Summit Seoul 2021

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
K O R E A | M A Y 1 1 - 1 2 , 2 0 2 1

Datadog을 활용한 Elastic Kubernetes
Service(EKS)에서의 마이크로서비스 통합
가시성
정영석
시니어 세일즈 엔지니어
Datadog

정영석 (Jacky Jung)
What do I do?
Pre-Sales 엔지니어 @Datadog (현재)
CDN 서비스 아키텍트
Devops 엔지니어
개발자
About Speaker

오늘 다룰 주제는..
Target Audiences
- Kubernetes 및 EKS의 컨셉에 대해 이해를 하고 계시는 분
- EKS의 모니터링에 대해 고민하고 계시는 분
EKS 환경의 샘플 e-commerce 서비스의 가시성 확보 과정 소개

설명 순서는..
▪ 샘플 Application 환경 리뷰
▪ AWS 계정 연동
▪ EKS Full Stack Monitoring 연동(Metric + APM + Logs + RUM)
▪ 서비스 품질 측정 자동화
▪ FullStack Observability Dashboard

샘플 어플리케이션 환경 리뷰

▪ EKS 환경에 배포된 ecommerce site
▪ Ecommerce Application
▪ Frontend (Javascript)
▪ backends (Ruby + Python)
▪ Database (postgres + sqlite)
The Website
https://bit.ly/ddstoredog

The Website on EKS
advertisements deployment: python 기반의 백엔드 서비스
frontend deployment: ruby + js 기반의 프론트 서비스
discounts deployment: python 기반의 백엔드 서비스

오늘 최종적으로 확인할 FullStack 가시성
엔드 유저의 성능 분석 지표 Network Map Live Container 분석
Application 분석(Trace) Log 분석 통합 대시보드

1. AWS 서비스 가시성 확보
왜 필요한가요?
⇒ RDS, ALB, ElasticCache와 같은 AWS 서비스에 대한 메트릭 수집을 위함
⇒ IAM연동 후 Cloudwatch 통해 수집

AWS 계정 연동 (Step 1)
▪ Datadog Portal의 AWS Integration 페이지에서
▪ Automatically Using CloudFormation 선택 후
▪ 기대 결과
▪ 자동으로 Role 생성하는 페이지로 이동
https://app.datadoghq.com/account/settings#integrations

▪ Datadog API Key 입력 후 Create stack 클릭
▪ 기대 결과
▪ AWS 계정 연동 위한 Role 생성
▪ AWS에 적재된 로그 전송위한 Lambda 생성

▪ AWS Account ID 입력
▪ Step 2에서 생성된 Role 입력 후 Update
▪ 기대 결과
▪ AWS 연동 완료
▪ 5~10분 후 AWS 대시보드 통해 메트릭 확인

AWS 계정 연동 완료 후
▪ 다양한 Preset Dashboard가 생성됨
▪ EC2
▪ EBS
▪ ALB
▪ RDS
▪ 그외 다양한 AWS 서비스
▪ Clone 후 자유롭게 대시보드 조합 가능

2. EKS FullStack 모니터링 연동
(Metric + APM + Logs + RUM)
왜 필요한가요?
⇒ Kubernetes의 상태 메트릭, Container 사용량, 호스트 사용량, Application 병목 및 로그 분석을 위함

목표: EKS의 Full Stack 가시성 확보
1.Cluster Node의 가시성 확보
2.Pod/Container 레벨의 가시성 확보
3.Kubernetes Event 수집
4.Application 로그 수집
5.Application의 Trace 수집
6.End User의 성능 지표 수집

어떤 작업이 필요한가요?
Datadog agent daemonset 배포
1) Daemonset
2) Helm (Recommended)
3) Operator
APM 기능 활성화
1) Application에 Library 삽입
2) Istio를 통한 Trace 전송
프론트 코드에 sdk 초기화 로직 추가

Step1: Datadog Agent 배포
https://github.com/JungYoungseok/datadog/blob/master/
kubernetes_yaml/values.yaml
https://app.datadoghq.com/account/settings#api
API Key와 APP Key는 Integration→API 메뉴에서 확인 가능
Helm chart는 아래 Sample Chart 사용

Step1: Datadog Agent 배포

Step1: Datadog Agent 배포 후 아키텍쳐
Deployment로 배포된 Pod로 API서버로의 통신을 대행
Daemonset으로 배포된 Node Agent로 Metric/Trace/log 수집을 당당

Agent Deploy 후 활성화 된 기능 확인(Demo)

Step2: APM 설정 (Application Library 삽입)
1.Cluster Node의 가시성 확보 (Done)
2.Pod/Container 레벨의 가시성 확보 (Done)
3.Kubernetes Event 수집 (Done)
4.Application 로그 수집 (Done)
APM 기능 활성화
1) Application에 Library 삽입
2) Istio를 통한 Trace 전송

APM 설정 부분 (advertisements 서비스)
pip install ddtrace 를 통해 trace 라이브러리 추가
flask 실행시 ddtrace-run wrapper command를 이용해
코드 수정없이 APM 연동
환경 변수를 이용하여 필요한 기능 활성화

Application Trace 수집 구조

APM 설정 후 활성화 된 기능 확인(Demo)

Step3: APM 설정 (Application Library 삽입)
1.Cluster Node의 가시성 확보 (Done)
2.Pod/Container 레벨의 가시성 확보 (Done)
3.Kubernetes Event 수집 (Done)
4.Application 로그 수집 (Done)
5.Application의 Trace 수집 (Done)
6.End User의 성능 지표 수집 프론트 코드에 sdk 초기화 로직 추가

RUM(Real User Monitoring) 설정 부분
▪ 사용자 성능 추적이 필요한 페이지에 Datadog RUM 초기화 코드 삽입 필요
▪ 공통 View layout에 추가하여 대부분의 페이지에 대해 트래킹이 되도록 처리
▪ allowedTracingOrigins 옵션에 허용 Origin을 추가하여 RUMAPM 연계 분석 구성

RUM 설정 후 활성화 된 기능 확인(Demo)

서비스 품질 측정 자동화

API 테스트 자동화를 통해 서비스 가용성 측정
개대 효과
▪ 서비스 지역 별 가용성 및 성능 측정
▪ 응답 값이나 시간에 대해 조건을 설정하여 조기에 문제 탐지
▪ 문제가 발생한 트랜잭션에 대한 깊이있는 분석 환경 제공

Synthetic을 이용한 End-to-End 트러블 슈팅
Trace 탭으로 전환하여 해당 트랜잭션에 대한 Backend 상태 분석
Test Client의 네트워크 상태 및 응답 정보 확인가능 Trace_id를 통해 관련 트랜잭션 호출시점의 백엔드 상태에 대해 확인 가능

Full Stack Observability
Dashboard

서비스 관점 FullStack Visibility Dashboard

Kubernetes 관점 FullStack Visibility Dashboard

1. AWS 계정 연동 2. Helm chart 배포 3. Application에 Datadog SDK 연동
AWS 환경의 리소스를 효과적으로 시각화 EKS의 Node/Pod/Container에 대한 가시성 확보 End User부터 Backend까지의 FullStack 가시성 확보
세션 요약
쉽게 FullStack Data를 연동 하고 Powerful한 분석 환경을 통해 MTTR를 최소화!

Datadog Key Use Case
1. 다양한 모니터링 툴을 하나의 모니터링 플랫폼으로 통합을 희망한다면..
2. Kubernetes 및 ModernTech stack에 대한 가시성 확보가 어렵다면..
3. 사용자 Performance 부터 Backend 서비스에 대한 FullStack 가시성 확보가 필요하다면..
Datadog 14일 무료 체험: https://www.datadoghq.com/free-datadog-trial/

여러분의 소중한 피드백을 기다립니다.
강연 종료 후, 강연 평가에 참여해 주세요!

감사합니다

Datadog을 활용한 Elastic Kubernetes Service(EKS)에서의 마이크로서비스 통합 가시성 - 정영석 시니어 세일즈 엔지니어, Datadog :: AWS Summit Seoul 2021

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Datadog을 활용한 Elastic Kubernetes Service(EKS)에서의 마이크로서비스 통합 가시성 - 정영석 시니어 세일즈 엔지니어, Datadog :: AWS Summit Seoul 2021

Similar a Datadog을 활용한 Elastic Kubernetes Service(EKS)에서의 마이크로서비스 통합 가시성 - 정영석 시니어 세일즈 엔지니어, Datadog :: AWS Summit Seoul 2021 (20)

Más de Amazon Web Services Korea

Más de Amazon Web Services Korea (20)

Datadog을 활용한 Elastic Kubernetes Service(EKS)에서의 마이크로서비스 통합 가시성 - 정영석 시니어 세일즈 엔지니어, Datadog :: AWS Summit Seoul 2021