발표영상 다시보기: https://youtu.be/3Q6ZlqSrBks 강화 학습 (RL)은 기계 학습 분야에서 흥미로운 연구 영역이면서 새로운 상업적 응용 프로그램의 원동력이기도 합니다. 2018년 AWS는 데이터 과학자와 개발자가 훨씬 쉽게 RL을 탐색하고 적용할 수 있는 몇 가지 새로운 서비스를 출시했습니다. 기본적인 파이썬 지식만 있다면, 이 세션에 참여해서 AWS DeepRacer 자동차가 레이스 트랙을 따라 자율 주행할 수 있도록 보상 함수를 작성하는 방법을 배울 수 있습니다. 또한, 독자적인 사용 사례에 RL을 적용하려는 분들을 위해 Amazon SageMaker RL의 기능에 대해서도 함께 알아 봅니다.

1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DeepRacer와 Amazon SageMaker RL로
강화학습 시작하기
강지양
AWS 솔루션즈 아키텍트

2. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

3. 자율주행
로봇 자동차
개발자 여러분이 강화학습을 배우며 핸즈온을 즐길 수 있는
AWS DeepRacer를 소개합니다.
레이싱 리그훈련과 실험을 위한
가상 시뮬레이터

4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
인공지능과 강화학습
강화학습 지도학습
비지도학습

5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
강화학습의 적용 사례
자율주행 자동차 금융 트레이딩 데이터센터 냉각 시스템운송 물류

6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
강화학습의 기본 개념

7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
강화학습의 훈련 과정 가치 함수
정책 함수

8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
보상 함수 예제 코드
def reward_function(params):
'’’
Example of rewarding the agent to follow center line
'’’
# Calculate 3 marks that are farther and father away from the center line
marker_1 = 0.1 * params['track_width’]
marker_2 = 0.25 * params['track_width’]
marker_3 = 0.5 * params['track_width’]
# Give higher reward if the car is closer to center line and vice versa
if params['distance_from_center'] <= marker_1:
reward = 1.0
elif params['distance_from_center'] <= marker_2:
reward = 0.5
elif params['distance_from_center'] <= marker_3:
reward = 0.1
else:
reward = 1e-3 # likely crashed/ close to off track
return float(reward)

9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
RL 알고리즘은 크게 두 가지로 분류할 수 있습니다

10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

11. AWS Cloud
AWS
DeepRacer
NAT gateway
VPC
AWS DeepRacer
Models
Simulation
video
Metrics
AWS DeepRacer 시뮬레이터 구조

12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DeepRacer 신경망 구조
AWS DeepRacer가 사용하는 뉴럴 네트워크 아키텍처
출력

13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DeepRacer 콘솔

14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DeepRacer 워크숍
보상 함수를 직접 만들고 시뮬레이터에서 평가해 볼 수 있는
DeepRacer 워크숍 실습자료가 github에 공개되어 있습니다.
https://github.com/aws-samples/aws-deepracer-workshops

16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
로그 분석 도구
https://github.com/aws-samples/aws-deepracer-workshops
/tree/master/log-analysis/

17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DeepRacer 자동차 사양
CAR 1/18 크기 4WD 몬스터 트럭 섀시
CPU Intel Atom™ 프로세서
메모리 4GB RAM
스토리지 32GB (확장 가능)
WI-FI 802.11ac
카메라 4 MP 카메라 (MJPEG)
DRIVE 배터리 7.4V/1100mAh 리튬 폴리머
COMPUTE 배터리 13600mAh USB-C PD
센서 가속도계 및 자이로스코프 내장
포트 4x USB-A, 1x USB-C, 1x Micro-USB, 1x HDMI
소프트웨어 Ubuntu OS 16.04.3 LTS, Intel® OpenVINO™
툴킷, ROS Kinetic

18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

19. ROS Msg Node
Stored File
ROS Nodes
Web
Server
Publisher
Model
Optimizer
Video
M-JPEG
Web Server
Video
Inference
Results
Autonomous
Drive
Control
Node
Optimized
Model
Media engine
Camera
Model
Inference
engine
Manual
Drive
Navigation
Node
Servo & Motor
AWS DeepRacer 소프트웨어 구조

20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
시뮬레이션과 현실 도메인 연결
시뮬레이션과 현실 세계의 불일치
시뮬레이션 이미지로 모델 학습
경주 자동차는 현실 세계 이미지 사용
접근 전략
환경 제어
도메인 무작위화 기법
모듈화 및 추상화

21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
강화학습에서 겪게 되는 문제
시작하기
어려움
개발하기 어려운
RL 에이전트
알고리즘
훈련 환경 통합의
어려움
훈련에 많은
비용과 시간이
소요됨
시행 착오가 잦은
하이퍼 파라미터
튜닝 필요

23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker RL로 쉽게 강화학습을
시작하세요
Difficult to get
started
RL agent
algorithms are
complex to
implement
Hard to integrate
environments for
training
훈련에 많은
비용과 시간이
소요됨
시행 착오가 잦은
하이퍼 파라미터
튜닝 필요
시작하기
어려움
개발하기 어려운
RL 에이전트
알고리즘
훈련 환경 통합의
어려움
로컬 / 분산 훈련
로컬 / 원격 환경
디버깅을 위한
로컬 모드 및
자동 모델 튜닝
사전 구축된
RL 환경 및
많은 예제
RL 에이전트
알고리즘 지원
다양한
시뮬레이션
환경과
손쉽게 통합

24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon SageMaker RL
End-to-end examples for classic RL and real-world RL applications
Robotics
Industrial
Control
HVAC
Autonomous
Vehicles Operations Finance Games NLP
Open AI Gym
SageMaker supported Customer BYO

25. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
프로덕션 환경의 훈련 작업 스케일링
단일/분산
동종/ 이기종
클러스터
로컬/원격
시뮬레이션 환경
로깅/측정/
시각화
고성능 CPU/
GPU 하드웨어

26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
병렬 시뮬레이션 실행

27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS 전문가로부터 기술과 지식을 습득하고,
AWS 클라우드와 함께 미래를 설계하세요
클라우드 역량을 개발할 준비가 되셨다면
https://www.aws.training/ 을 방문하세요!
온라인 교육
AWS 전문가가 진행하는
무료 온라인 교육 과정
강의식 교육
AWS 공인 강사가 진행하는
오프라인 교육 과정
AWS 자격증
클라우드 전문성 입증을 위한
업계에서 인정 받는
AWS 공인 자격증

30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
aws-korea-marketing@amazon.com
twitter.com/AWSKorea
facebook.com/amazonwebservices.ko
youtube.com/user/AWSKorea
slideshare.net/awskorea
twitch.tv/aws
AWS Innovate 에 참석해주셔서 대단히 감사합니다.
저희가 준비한 내용, 어떻게 보셨나요?
더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.