데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 데이터 사이언티스트 :: AWS re:Invent re:Cap 2021

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 과학자를 위한 신규 인공지능
서비스
김대근
AI/ML 스페셜리스트 솔루션즈 아키텍트
AWS Korea
이유동
AWS Korea

AI/ML 신규 서비스
김대근
AWS Korea
이유동
AWS Korea

• 신규 AIML 서비스 오버뷰
• Amazon SageMaker Studio Lab
• Amazon SageMaker Ground Truth Plus
• Amazon SageMaker Inference Recommender
• Amazon SageMaker Serverless Inference
Agenda

신규 AIML 서비스 오버뷰

The AWS ML Stack (2022)
ML 프레임워크
& 인프라
TensorFlow, PyTorch, Apache
MXNet, Hugging Face
Deep learning
AMIs & containers
GPUs AWS Inferentia Elastic
inference
FPGA
AI 서비스
데이터
레이블링
데이터
준비
피쳐
저장
노트북
개발
모델
훈련
파라메터
튜닝
관리&
모니터링
프로덕션
배포
엣지 디바이스
관리
SAGEMAKER STUDIO IDE
CI/CD
AMAZON
SAGEMAKER
SPECIALIZED
비즈니스 프로세스 검색 코드 + DevOps 제조 헬스케어
Amazon Personalize
Amazon Forecast
Amazon Fraud Detector
Amazon Lookout for Metrics
Amazon Kendra Amazon CodeGuru
Amazon DevOps Guru
Amazon Monitron
Amazon Lookout for Equipment
Amazon Lookout for Vision
Amazon HealthLake
Amazon Comprehend Medical
Amazon Transcribe Medical
CORE
텍스트 & 문서 챗봇 음성 비전
Amazon Translate
Amazon Comprehend
Amazon Textract
Amazon Lex Amazon Polly
Amazon Transcribe
Amazon Transcribe Call Analytics
Amazon Rekognition
AWS Panorama
SAGEMAKER
STUDIO LAB
SAGEMAKER
CANVAS
머신 러닝
학습
비즈니스
분석가를 위한
코드프리
머신 러닝
AWS Trainium Habana
Gaudi
CPUs
NEW NEW
NEW

re:Invent 2021 - AIML Launch
SageMaker (ML Service)
• Amazon SageMaker Canvas (GA, NOT ICN)
• Amazon SageMaker Studio Lab (Preview)
• Amazon SageMaker Studio Notebooks (GA, ICN)
• Amazon SageMaker Training Compiler (GA, NOT ICN)
• Amazon SageMaker Inference Recommender (GA, ICN)
• Amazon SageMaker Serverless Inference (Preview, NOT
ICN)
• Amazon SageMaker Ground Truth Plus (GA, NOT ICN)
AI Specialized Services
• Amazon Personalize User Segmentation /
Usecase-based Recommender (GA, ICN)
• Amazon Kendra new features (GA, NOT ICN)
• Amazon CodeGuru Reviewer Secrets Detectors
(GA, ICN)
• Amazon Connect Summarize Calls with ML
(GA, ICN)
• Amazon DevOps Guru for RDS (GA, NOT ICN)
AI Core Services
• Amazon Lex Automated Chatbot Designer
(Preview, ICN, 오직 영어만)
EC2
• AWS Trainium (Preview)
AIML Program (GA All)
• AWS AI/ML Scholarship Program

PREPARE
SageMaker Ground Truth
Label training data for
machine learning
SageMaker Data Wrangler
Aggregate and prepare data for
machine learning
SageMaker Processing
Built-in Python, BYO R/Spark
SageMaker Feature Store
Store, update, retrieve, and
share features
SageMaker Clarify
Detect bias and understand
model predictions
BUILD
SageMaker Studio
Notebooks
Jupyter notebooks with elastic
compute and sharing
Built-in and Bring
your-own Algorithms
Dozens of optimized algorithms
or bring your own
Local Mode
Test and prototype on your
local machine
SageMaker Autopilot
Automatically create machine learning
models with full visibility
SageMaker JumpStart
Pre-built solutions for common
use cases
TRAIN & TUNE
Managed Training
Distributed infrastructure
management
SageMaker Experiments
Capture, organize, and compare
every step
Automatic
Model Tuning
Hyperparameter optimization
Distributed Training
Libraries
Training for large datasets
and models
SageMaker Debugger
Debug and profile training runs
Managed Spot Training
Reduce training cost by 90%
DEPLOY & MANAGE
Managed Deployment
Fully managed, ultra low latency,
high throughput
Kubernetes & Kubeflow
Integration
Simplify Kubernetes-based
machine learning
Multi-Model Endpoints
Reduce cost by hosting multiple
models per instance
SageMaker Model Monitor
Maintain accuracy of deployed models
SageMaker Edge Manager
Manage and monitor models on
edge devices
SageMaker Pipelines
Workflow orchestration
and automation
Amazon SageMaker
SageMaker Studio
Integrated development environment (IDE) for ML
NEW
Amazon SageMaker
Ground Truth Plus
Amazon SageMaker
Canvas
Amazon SageMaker
Studio Notebook (EMR)
Amazon SageMaker
Training Compiler
SageMaker Inference
Recommender
SageMaker Serverless
Inference

Amazon SageMaker Studio Lab
무료 머신 러닝 학습 및 실습을 위한 공개 서비스
ICN
Public Preview

SageMaker Studio Lab 대상 페르소나
Teachers and Instructors
학생들을 가르치는 일에 더 많은 시간을 보내고 싶고,
학생들의 실습 환경에 대한 트러블슈팅을 도와주는 데
보내는 시간을 줄이고 싶어요.
Aspiring Data Scientists
실습을 위해 컴퓨팅 리소스가 있는 Jupyter IDE에 빠르고
쉽게 액세스하고 싶어요.
{…}

10
Amazon SageMaker
Studio Lab
(Preview)
설정이 필요 없는 무료 개발 환경
이메일 주소만 있으면 됩니다
필요한 만큼 CPU 및 GPU 세션 이용 가능
세션 데이터 자동 저장
프로덕션 환경을 위한 모델 준비
머신 러닝 학습 및 실험을 위한 무료 개발 환경

기타 학습 대안
Desktop
Other free
Notebooks
Services
SageMaker
Studio
SageMaker
Studio Lab
Cost effective *** **** ** ****
Easy setup/low learning curve ** **** ** ****
Continuity across user sessions **** * **** ****
Satisfactory compute *** *** **** ****
Supportive community **** **** **** ****
Graduate my skills * *** **** ****

SageMaker Studio Lab 동작 원리

시작하기: 무료 계정 생성

시작하기: 프로젝트
프로젝트 상태
• 남은 시간
• 런타임 유형 선택
• 인스턴스 시작 또는 중지
사용자 세션 시작
• CPU—12시간
• GPU—4시간
Jupyter 노트북 열기 (새 브라우저 탭에서)
시작을 위한 참고 자료
• Dive into Deep Learning
• AWS Machine Learning University
• Hugging Face
• Studio Lab Examples

Demo

SageMaker Studio Lab과 SageMaker 의 차이점
SageMaker Studio Lab is for learning ML SageMaker is for doing ML
Learning Experimenting Building Deploying Scaling
Prototyping

시작하기 위한 리소스
AWS Machine Learning
University (MLU)
Dive into Deep Learning (D2L) AWS Examples on Github
Amazon 자체 개발자 교육에
사용되는 것과 동일한 머신 러닝
과정에 액세스
오픈 소스 예제, 실습 및 자습서
코드, 수학, 토론이 포함된 대화형
딥러닝 책
https://aws.amazon.com/ko/
machine-learning/mlu/
https://d2l.ai/ https://github.com/aws-samples

SageMaker Ground Truth Plus
데이터 레이블 전문가를 통한 턴키 솔루션
Not ICN
GA

Ground Truth Plus 대상 페르소나
데이터 과학 VP
ML 관리자,
Product Owner
레이블링 작업자
품질 분석가
데이터 과학자
ML 엔지니어
비용은 얼마인가요?
제 시간 내에 완료할 수 있나요?
작업 내역을 어떻게 추적하나요?
레이블링 사용 사례가 궁금합니다.
얼마나 빨리 레이블을 볼 수 있나요?
Active 러닝을 지원하나요?
품질 피드백을 어떻게 제공하나요?
품질을 어떻게 보장하나요?
레이블링 지침이 제공되나요?
ü 프라이빗 요금제, 대량 할인
ü 보장된 처리량 SLA
ü 보고서 및 대시보드
ü 컴퓨터 비전, 자연어 처리 등
ü 리뷰 UI를 통한 피드백
ü Active 러닝 지원
ü UI 검토를 통한 피드백
ü 품질 SLA
ü 공동 작업을 수행할 전담 운영
관리자

20
Amazon S3
고품질 주석
데이터 확보
Amazon S3
데이터 공유
Ground Truth
Plus
레이블링 파이프라인
레이블링 전문가
진행 상황 확인
프라이빗 요금
턴키 데이터 레이블링 서비스 (Turn key Data labeling as a service)

SageMaker Ground Truth Plus 시작하기
21
파일럿 요청
데이터 공유
프로젝트 포털
접속
레이블링 데이터
다운로드
컨설팅 콜
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": [your-gt-plus-account-id]
// Ex: ["999999999999"]
},
"Action": [
"s3:GetObject",
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::your-bucket-name",
"arn:aws:s3:::your-bucket-name/*"
]
}
]
s3://your-bucket-name/ground-truth-
plus/input/project-name/batch-name/...
S3Bucket공유
S3BucketPolicy

추적 및 가시성
모 든 라 벨 링 프 로 젝 트 를 중 앙 에 서 모 니 터 링

Turnkey 데이터 레이블링 서비스
고 도 로 숙 련 되 고 다 양 하 며 탄 력 적 인 A W S 전 문 가 인 력
M-Turk 선별 인력 관리 인력
주관적인 조사
숙련도가 낮은 작업
고도로 숙련된 인력
AWS 직원 및 벤더 업체
프로젝트 관리 인력 교육 품질 관리 프로세스 개선

Amazon SageMaker Inference Recommender
자동 ML 인스턴스 부하 테스트 및 모델 성능 최적화
ICN
GA

SageMaker Inference Recommender 대상 페르소나
MLOps 엔지니어
aka ML 팀을 지원하는 DevOps 팀 또는 ML 플랫폼 엔지니어
데이터 과학자
및 그들을 지원할 수 있는 ML 엔지니어
“커스텀 ML 모델을 배포해야 하는데 60개 이상의
인스턴스 유형들 중 어떤 SageMaker 인스턴스
유형을 사용해야 할지 모르겠어요. 서드파티
툴킷을 사용하여 부하 테스트를 설정하는 것은
어렵습니다."
“데이터 과학자가 ML 모델을 배포하는 데 도움이
되도록 최적의 SageMaker 인스턴스 유형을
선택해야 하는데, 필요 이상으로 더 많은 비용을
지불하고 싶지 않습니다.”
배포 인스턴스
자동 추천
최적의 인스턴스
유형/개수 및
컨테이너 매개변수
추론 비용 절감
최고의 가격
대비 성능을
위한 엔드포인트
구성 권장 설정
완전 관리형 부하
테스트
배포 인스턴스 셋에서
완전 관리형 부하
테스트를 실행 및
검토하여 성능 및
절충안 평가

동작 원리 및 아키텍처
Amazon
S3
추론 컨테이너
이미지
ML 모델
v1
Model Package
샘플 입력값 S3에 업로드
(payload.tar.gz)
v1
v2
SageMaker
Model Registry
…
모델
패키지
등록
SageMaker 호스팅
엔드포인트
SageMaker Inference
Recommender
다중 엔드포인트가 자동으로
생성되며 부하 테스트 수행
Recommendation Results
(1) API
(2) SageMaker Studio
describe_inference_recommendation_job(…)
또는
결괏값 확인 (API or Studio콘솔)

사용 환경
AWS Python SDK (boto3)
AWS CLI
SageMaker Studio
관련 문서:
https://docs.aws.amazon.com/sagemaker/late
st/dg/inference-recommender-instance-
recommendation.html
Boto3
27
추천 인스턴스 타입
최대 처리량 & 지연 시간latency
추론 당 가격 계산
결괏값
SageMaker Studio

Inference Recommender 비용은 저렴합니다.
Amazon SageMaker Inference Recommender는 작업job이 실행되는 동안 사용한 인스턴스에 대해서만 비용을
청구합니다.
일반적인 기본 작업 기간은 약 45분이지만 머신 러닝 모델, 추론 스크립트 및 제공된 샘플 페이로드payload에 따라
달라질 수 있습니다. 또한 Inference Recommender가 선택한 인스턴스 유형은 ML 모델에 따라 변경될 수 있습니다.
기본 작업 예제의 총 비용은 약 $0.57 (0.12975 + 0.042 + 0.08625 + 0.08625 + 0.22275) 입니다.
고급 작업은 최대 2시간이 소요될 수 있으며, 비용은 $1 - $2입니다.
예시: 기본 작업 수행 시 Inference Recommender가 5개의
인스턴스 유형 선택. 과금은 SageMaker 엔드포인트 호스팅 비용
기준으로 이루어짐 (표의 비용은 us-east-1 기준)

Amazon SageMaker Serverless Inference
완전 관리형 서버리스 모델 배포
Not ICN
Public Preview

SageMaker 추론inference 옵션
• Low latency
• Ultra high throughput
• Multi-model
endpoints
• A/B testing
유즈케이스 예시:
ad serving, personalized
recommendations, fraud
detection
SageMaker 추론 옵션
리얼타임 추론 배치 변환 비동기 추론 서버리스 추론
• Process large datasets
• Job-based system
churn prediction, predictive
maintenance, demand
forecasting
• Near real-time
• Large payloads (1 GB)
• Long timeouts (15
min)
computer vision, object
detection, NLP
• Automatic scaling
• Pay-per-use pricing
extract & analyze data from
documents, form processing
Public Preview
Multi-container Endpoint
(2021.03)
NVIDIA Triton Inference Server
(2021.11)
Asynchronous Inference
(2021.08)
Lambda Serverless
Inference (2021 Q3)
SM Serverless Inference
(2021.12)

Serverless Inference 대상 페르소나
"장기간 비활성 상태로 간헐적으로 발생하는
워크로드에 대해 ML 모델을 배포하는 가장 쉽고
빠른 방법을 찾고 있습니다."
“간헐적인 요청이 예상되는 ML 워크로드에 대해
비용 최적화된 환경이 필요합니다. 우리는 오버
프로비저닝을 원하지 않아요.”
MLOps 엔지니어
aka ML 팀을 지원하는 DevOps 팀 또는 ML 플랫폼 엔지니어
데이터 과학자
및 그들을 지원할 수 있는 ML 엔지니어
완전 관리형
기본 인프라, 보안,
패치, 모니터링 및
로깅을 모두 관리
자동 스케일링
간헐적이거나
예측할 수 없는
워크로드에
최적화
Pay per use
유휴 시간idle time이
아닌 사용한
리소스에 대해서만
비용 지불

Recall: Lambda 컨테이너 이미지
docker push
Amazon Elastic
Container Registry (ECR)
컨테이너 이미지
ECR에 이미지 업로드
Invoke
Status: ACTIVE
호출invoke 준비
Lambda 함수
1. Amazon ECR에서 이미지
가져오기
2. 이미지 최적화
3. Lambda에 이미지 배포
CreateFunction
Status: PENDING
AWS Lambda
Lambda 서버리스 추론
• Lambda Serverless Inference: DIY
• SageMaker Serverless Inference: 완전 관리형

사용 방법: 기존 SageMaker Endpoint와 동일
신규 ServerlessConfig 옵션만 추가
사용 가능한 메모리 크기:
1GB/2GB/3GB/4GB/5GB/6GB
SageMaker
Serverless Endpoint
추론 컨테이너
이미지
ML 모델
모델Model 생성 엔드포인트 구성Endpoint Configuration 생성 엔드포인트 생성
create_endpoint_config(
...
"ServerlessConfig": {
"MemorySizeInMB": 2048,
"MaxConcurrency": 20
}
)
create_endpoint(...)

References
SageMaker Inference Recommender
• News: https://aws.amazon.com/ko/blogs/korea/announcing-amazon-sagemaker-inference-recommender/
• 개발자 가이드: https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender.html
SageMaker Serverless Inference
• News: https://aws.amazon.com/ko/about-aws/whats-new/2021/12/amazon-sagemaker-serverless-inference/
• 개발자 가이드: https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html
Hands-on Labs
• 모두를 위한 클라우드 네이티브 한국어 자연어 처리 모델 훈련 및 활용법: https://github.com/daekeun-ml/sm-
huggingface-kornlp
• SageMaker 모델 서빙 패턴: https://github.com/aws-samples/sm-model-serving-patterns
• News: https://aws.amazon.com/ko/about-aws/whats-new/2021/12/amazon-sagemaker-ground-truth-plus/
• 개발자 가이드: https://docs.aws.amazon.com/sagemaker/latest/dg/gtp.html

여러분의 소중한 피드백을 기다립니다.
행사 종료 후, 행사 및 강연 평가에 참여해 주세요!

데이터 과학자를 위한 신규 인공지능 서비스
소성운 AWS ML Hero
데이터사이언티스트
카카오스타일
AWS ML Hero에게 듣는다!

• AWS re:Invent 2021 참석 후기
• AI/ML 가장 마음에 들었던 신규 기능
• 추천 세션
Agenda

AWS re:Invent 2021 참석 후기
• 세 번째 리인벤트 참석
• 코로나 상황 속 오프라인 행사
• 리인벤트 10주년!
• 기술 트렌드와 비전

AI/ML 가장 마음에 들었던 신규 기능
Amazon SageMaker Serverless Inference (Preview)

AI/ML 가장 마음에 들었던 신규 기능
Amazon SageMaker Serverless Inference (Preview)
• 인프라 구성이나 관리 포인트 없이 ML모델을 배포 및 추론
• 추론 실행 시간과 데이터 처리양만큼만 과금
• SDK를 통한 간단히 모델 엔드포인트 생성
• Serverless Inference 포함 여러 가지 추론 옵션이 존재
• 모델 추론 패턴에 따라 선택 필요

추천 세션
Amazon SageMaker serverless inference
https://youtu.be/KB6vLQGixjA
- ML모델을 serverless로 쉽게 배포하는 법
Introducing Amazon SageMaker Canvas
https://youtu.be/8gm1TD9TXp0
- 조직 내 ML활용한 성공 사례를 만드는법

AWSKRUG SWAG 퀴즈 이벤트
https://bit.ly/awskrug-swag-quiz
AWS한국사용자모임에서는 AWS 15주년 및 AWS re:Invent 10주년 기념 전천후 바람막이를 선물로 드립니다.
150개
한정 추첨
1회만 응모 가능

AWSKRUG SWAG 퀴즈 이벤트
https://bit.ly/awskrug-swag-quiz
AWS한국사용자모임에서는 AWS 15주년 및 AWS re:Invent 10주년 기념 전천후 바람막이를 선물로 드립니다.
Q: 누구나 기계 학습(ML)을 배우고 실험할 수 있도록 컴퓨팅
(CPU/GPU), 스토리지(최대 15GB)을 모두 무료로 제공하는
이메일 만으로 가입 가능한 신규 서비스는 무엇일까요?
(번호만 적어 주세요)
1. Amazon SageMaker Notebook
2. Amazon SageMaker Canvas
3. Amazon SageMaker Studio Lab
4. Amazon SageMaker GroundTruth

감사합니다

데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 데이터 사이언티스트 :: AWS re:Invent re:Cap 2021

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a 데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 데이터 사이언티스트 :: AWS re:Invent re:Cap 2021

Similar a 데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 데이터 사이언티스트 :: AWS re:Invent re:Cap 2021 (20)

Más de Amazon Web Services Korea

Más de Amazon Web Services Korea (20)

데이터 과학자를 위한 신규 인공지능 서비스 - 김대근, 이유동, AWS AI/ML 스페셜리스트 솔루션즈 아키텍트 / 소성운, 카카오스타일 데이터 사이언티스트 :: AWS re:Invent re:Cap 2021