오딘: 발할라 라이징 MMORPG의 성능 최적화 사례 공유 [카카오게임즈 - 레벨 300] - 발표자: 김문권, 팀장, 라이온하트 스튜디오 | 윤종근, 팀장, 카카오게임즈 ::: Games on AWS 2022

GAMES ON AWS 2022
© 2022, Amazon Web Services, Inc. or its affiliates.
김문권 팀장
Service Development Team Manager
라이온하트 스튜디오
오딘: 발할라 라이징
MMORPG의 성능 최적화 사례 공유
GAMES ON AWS 2022 - TRACK03
윤종근 팀장
Technical Project Manager
카카오게임즈

GAMES ON AWS 2022
Intro : 회사 및 게임 소개
2

GAMES ON AWS 2022
글로벌 게임 서비스 퍼블리셔
PC 온라인 및 모바일게임 등의 멀티 플랫폼 서비스 공급자
- 오딘 : 발할라라이징
- 우마무스메 : 프리티더비
- 카카오 배틀그라운드
- 디스테라 on steam
- 이터널리턴 on steam
- 패스오브엑자일
회사 소개
온라인 / 모바일 게임 개발
- 오딘 : 발할라라이징
- ProjectC (2023년 4Q 예정)
- ProjectS (2024년 예정)
- ProjectQ (2025년 예정)
3

GAMES ON AWS 2022
© 2022, Amazon Web Services, Inc. or its affiliates. 4
[오딘 : 발할라 라이징]은, 모바일 및 PC 크로스 플랫폼을 지원하는
진보된 차세대 MMORPG로
압도적인 퀄리티와 함께 북유럽 감성을 경험할 수 있습니다.
북유럽 신화 속 방대한 스케일의 오픈월드 MMORPG로
자유도 높은 탐험과 탄탄한 시나리오,
캐릭터 간의 유기적인 역할을 통해 정통 MMORPG를 계승하였습니다.
- 사전예약 400만명
- 구글 플레이스토어, 애플 앱스토어 양대 마켓 매출 1위 달성!
- 2021 대한민국 게임대상 수상
오딘 : 발할라 라이징
(Odin: Valhalla Rising)

GAMES ON AWS 2022

GAMES ON AWS 2022
숫자로 보는 오딘
6
주1) Packets Per Second : 초당 패킷 처리 수
81 개 월드 서버
6개 대륙
• 심리스 오픈월드 맵
• 월드 / 파티 / 정예 던전
• 통합 월드 서버
+400 만 사전예약
+5천억 런칭 180일
6천만 PPS 주1)
대만 22년 03월 런칭
일본 23년 런칭 예정
추가 런칭 예정
게임 월드 플레이어 글로벌 런칭

GAMES ON AWS 2022
오딘 게임 서버의 특징과 성과
7

GAMES ON AWS 2022
MMORPG 게임서버의 역할
데이터 – 아이템 정보, 유저 정보, 서버
상태, 보스 정보 등
네트워크 – 접속, 클라이언트 연결 유지,
빠른 재 연결, 중복 접속 처리 등
동기화 – HP, 데미지, 이동 상태,
상태이상 등
인공지능(AI) – NPC와의 대화, 몬스터
행동, 공격 패턴, 용병, 방치모드 등
Anti cheat – 스탯 조작, 자원 조작,
아이템 복사, 어뷰징 등
확률 – 공격 성공률, 스킬 발동 확률,
아이템 획득 확률 등
8

GAMES ON AWS 2022
오딘 게임 서버의 특징
9
• 대규모 전쟁 MMORPG
• Server : C++ 기반의 TCP/IP 서버
• Client : Unreal Engine 4
• Client Server 간의 빠르고 일정한 반응 속도 필요
• 유저 간의 상대경쟁(PvP)
• 다수의 유저가 한정된 공간에서의 경쟁
Clients
iOS/Android
PC
Server
C++
CPP

GAMES ON AWS 2022
10
• Database는 데이터 처리용이 아닌 데이터 백업용
• 데이터 1차 저장/처리 : 서버 메모리
• 데이터 2차 저장/처리 : 데이터베이스
• 일정 주기(n초) 간격으로 1차에서 2차 저장소로 저장
• 연결 지향형 TCP/IP Stateful 서버
• 유저의 상태 데이터를 서버 메모리에 저장/처리
• 서버 재 기동시에 필요한 데이터를 서버의 메모리에 적재
• 메모리 사용량과 빠른 응답 속도의 Trade off

GAMES ON AWS 2022
Network I/O Thread Data I/O Thread
Main Logic Thread
11

GAMES ON AWS 2022
싱글 로직 스레드 멀티 로직 스레드
Multi Core 활용도
상대적으로 낮음
(단일 코어 성능에 의존)
높음
(모든 코어 활용)
디버깅 난이도 쉬움 매우 어려움
서버 안정성 유지 쉬움 어려움
개발자 적응 속도 빠름 느림
하드웨어 비용 상대적으로 낮음 높음
Cloud 적합성 낮음 높음
싱글 로직 스레드 vs 멀티 로직 스레드

GAMES ON AWS 2022
싱글 로직 스레드를 택한 이유
13
• 개발 속도와 디버깅 편의성
• 유지보수의 단순화로 안정적 코드 생산
• 낮은 서버 크래시율을 기반으로 안정적인 서비스 제공
• 장기적인 Live 서비스에서도 일관성을 유지
GAMES ON AWS 2022

GAMES ON AWS 2022
소규모의 서버 개발 팀
14
GAMES ON AWS 2022

GAMES ON AWS 2022
다양한 시스템/컨텐츠 개발
• 네트워크 시스템
• 채팅 시스템
• 액티브 스킬 시스템
• 패시브 스킬 시스템
• 클래스 시스템
• 아바타 시스템
• 탈것 시스템
• 맵 시스템
• 전투 시스템
• 퀘스트/서브 퀘스트 시스템
• 상점 시스템
• 거래소 시스템
• 파티 시스템
• 길드 시스템
• 경매 시스템
• PK 시스템
• 펫 시스템
• 계정 연동 시스템
• 친구 시스템
• 수집 시스템
• 룬 시스템
• 제작 시스템
• 우편 시스템
• 출석 시스템
• 이벤트 시스템
• 인벤토리 시스템
• 채집 시스템
• 보물 찾기 시스템
• 랭킹 시스템
• 대기열 시스템
• 몬스터 AI
• 방치모드 AI
• …
15

GAMES ON AWS 2022
대규모 보스 레이드
대규모 보스 레이드
16
GAMES ON AWS 2022
16

GAMES ON AWS 2022
낮은 서버 크래시 비율
0
10
20
30
40
50
60
70
80
Launching +1 months +2 +3 +4 +5 +6 +7 +8
Odin A Game B Game
0
20
40
60
80
100
120
Odin A Game B Game
[타 MMORPG 게임과의 서버 크래시 현황 비교]
17

GAMES ON AWS 2022
아키텍처
18

GAMES ON AWS 2022
아키텍처
19
AWS Cloud
Clients
iOS/Android
Private subnet
Login
Login
Public subnet
Game World #n
Private subnet
Gateway
Chat
Game server
Game
Log
PC
Ranking
Database

GAMES ON AWS 2022
게이트 서버
20
• 대규모 전쟁 MMORPG의 Broadcasting 고민
• Main Logic을 관리 하는 Game Server
• Broadcasting을 전담하는 Gateway Server
• 부하에 따라 n대를 증설 할 수 있는 구조
• 한정된 맵에서 수천명이 보스 레이드 가능
• 게임서버의 직접적인 접근을 막아서 보안성 향상
• 부드러운 서버 간의 이동 지원
Gateway Server

GAMES ON AWS 2022
게임 서버
21
Gateway Server
Aurora
• Gateway Server N대 : Game Server M대의 구조
• 게임서버의 EC2는 단일 코어 성능이 중요
• Game Main Logic
• Single thread
• Database I/O , Network I/O, File I/O 등
• multi thread
• Game Server는 컨텐츠에 따라 Scale-out이 가능
Game Serer

GAMES ON AWS 2022
데이터베이스
22
Database
• 요구 사항
• 빠른 반응속도
• 높은 처리량
• MMORPG 특성상 많은 데이터를 처리
• 단일 데이터베이스 처리량
⎻ write 7,800 IOPS
⎻ write I/O(throughput) : 80GB/min
⎻ QPS* : 65,000
• 고가용성 (High Availability)
* Query per Second

GAMES ON AWS 2022
게임서버 on AWS
23

GAMES ON AWS 2022
서비스 장비의 고려사항
• On-premise vs Cloud
오딘 게임서버의 중요 고려 사항 우위
CPU Single Core Clock Speed On-Premise
Fast Scalability
Cloud
High Availability
Global Game Service (Infra)
24

GAMES ON AWS 2022
게임 서버 on Amazon EC2 고려사항
• AWS Cloud 환경 선택
• Scalability/HA/Global Infra 의 장점
• AWS EC2 type
• AWS EC2 type 중 Single Core 성능이 가장 높은 장비
• 런칭 전 : z1d type
• 런칭 후 교체 : m5zn type  10% 성능향상
• AWS EC2 size2세대 인텔 제온 스케일러블 프로세서
• EC2 size에 따른 Single Core 성능의 차이
• EC2는 2개의 물리적인 CPU로 구성
• 1개의 CPU Slot 온전히 가용하려면 해당 장비 최대 스펙의 절반 이상이 필요
(ex: z1d.6xlarge)
25
2세대 인텔 제온
스케일러블 프로세서
최대 4.5GHz
올 코어 터보 주파수
인텔 제온
스케일러블 프로세서
최대 4.0GHz
올 코어 주파수

GAMES ON AWS 2022
게임 서버 on Amazon EC2 고려사항
• CPU type에 따른 단일 코어 성능비교
EC2 type c5.12xlarge z1d.6xlarge m5zn.6xlarge Xeon Gold 6250
Performance 75 80 90 100
26

GAMES ON AWS 2022
서비스 장비의 고려사항
• EC2 size에 따른 단일 코어 성능
EC2 type z1d.large z1d.xlarge z1d.2xlarge z1d.3xlarge z1d.6xlarge z1d.12xlarge z1d.metal
Performance 85 86 88 92 98 100 100
27

GAMES ON AWS 2022
Windows 최적화
• AWS EC2 장비에서 Windows 서버를 사용할 때 성능 튜닝 포인트
• 네트워크 최적화
• Elastic Network Adaptor(ENA) 최신 드라이버 버전 유지
• AWS 에서 제공하는 Windows AMI는 최신 버전의 ENA 드라이버 설치
28

GAMES ON AWS 2022
Windows 최적화
• 네트워크 최적화 (계속)
• ENA 드라이버의 고급 설정에서 8192 로 조정 (기본값 1024)
Set-NetAdapterAdvancedProperty -Name "Ethernet*" -RegistryKeyword
"*ReceiveBuffers" -RegistryValue 8192
29

GAMES ON AWS 2022
Windows 최적화
• 하이퍼 스레딩 비활성화
• 서버 생성 시에만 비활성화 가능
• RSS CPU Affinity 설정
• Windows AMI는 기본적으로 RSS가 활성화되어 제공
• 하이퍼스레딩 활성화 기준, CPU 0 번을 제외 (병목 최소화)
Set-NetAdapterRss -name (Get-NetAdapter | Where-Object
{$_.InterfaceDescription -like '*Elastic*'}).Name -Baseprocessorgroup 0
-BaseProcessorNumber 1
30

GAMES ON AWS 2022
Windows 고려 사항
[z1d.6xlarge] [z1d.metal]
• AWS EC2 장비에서 Windows의 작업 관리자에서 표시되는 CPU 사용률은 정확하지 않습니다.
31

GAMES ON AWS 2022
데이터베이스 고려사항 : Latency
• Game Server의 Database Connection Thread pool Count
• Database의 처리량(Throughput)보다 반응속도(Latency)가 중요
• 적절한 Database Connection Thread 수가 필요
• Context Switching Issue
32

GAMES ON AWS 2022
데이터베이스 고려사항
• AWS RDS Type의 특징
• z1d/m5zn의 고성능의 CPU 사용이 불가능
• CPU의 단일 코어의 성능이 상대적으로 낮아 단일 Thread당 처리량이 낮음.
• 대신 Core 숫자가 고성능의 CPU 장비보다 훨씬 많아서 연결이 많아 질수록 더 높은
성능을 낼 수 있음.
• AWS RDS size
• Size에 따라 처리량의 차이가 있음
• EC2와 동일하게 1개의 CPU Slot 온전히 가용하려면 절반의 크기인 12xlarge 이상
사용이 필요
33

GAMES ON AWS 2022
• RDS for MySQL VS RDS Aurora
• 동일한 CPU size 일 때 Aurora 의 반응속도가 30~40% 빠름
0
2
4
6
8
10
12
14
16
18
20
1 2 4 8 16 32 64
rds.r5.12xlarge aurora.r5.12xlarge
[ Database Latency(ms) ]
34

GAMES ON AWS 2022
• Aurora R5 VS Aurora R6g (Graviton CPU)
• Connection 증가 시 R6g가 10% 정도 더 높은 처리 성능
• 런칭 초기 : R6g의 DB maintenance가 잦아 안정적인 서비스 운영을 위해 -> R5로 런칭
• 서비스 1년 후 : R6g 장비의 안정화 된 이후 DB 장비의 type 교체
[ Database Latency(ms) ]
0
2
4
6
8
10
12
1 2 4 8 16 32 64
aurora.r5.12xlarge aurora.r6g.12xlarge
[ QPS ]
0
20000
40000
60000
80000
100000
120000
140000
160000
180000
1 Thread 2 Thread 4 Thread 8 Thread 16 Thread 32 Thread 64 Thread
aurora.r5.12xlarge aurora.r6g.12xlarge
35

GAMES ON AWS 2022
퍼블리싱 팁
36

GAMES ON AWS 2022
운영 팁 : 모니터링
Game
Service
Log
Infra
Resource
Game
Process
Status
• Process health check
• Zombie process check
• Process auto recovery
• CloudWatch
• Zabbix
• Promethus
• Grafana
• OpenSearch Service
(ELK stack)
37

GAMES ON AWS 2022
운영 팁 : 데이터 분석
Glue
Data Catalog
EMR
Redshift MSTR
Kinesis
Data Streams
Kinesis
Data Firehose
OpenSearch
Service
Kibana
Real-time
Batch
Athena
Game Log
분석 소비
S3
(데이터레이크)
수집
카탈로그
S3
(데이터레이크)
Data Analyst
세부 내용은 Games on AWS 2022 [트랙 4 : 데이터 분석 및 AI/ML] 의 대용량 데이터레이크 마이그레이션 사례 참고
38

GAMES ON AWS 2022
배포 팁 : 초기 배포 파이프 라인 구성
- relay server & rsync
rsync option : compress , bwlimit unblock
39

GAMES ON AWS 2022
초기 배포 파이프 라인 : 문제점
• 제한적인 CI/CD 작업 시간
• 한번에 배포 되어야 하는 서버 바이너리 : 500GB
• 서비스 규모의 계속된 확장
• 서버 수의 증가  CD 시간의 증가
• 대용량 파일을 빠르게 서버에 배포하기 위한 고민
40

GAMES ON AWS 2022
개선된 배포 파이프 라인
- Amazon S3 기반의 배포로 구조 변경
aws s3 cli option :
max_concurrent_requests = 200
multipart_chunksize = 32MB
max_bandwidth = 500MB/s
41

GAMES ON AWS 2022
배포 성능 비교
- 각 배포 파이프 라인의 성능 비교
rsync S3
Performance 18 min 6 min
0 2 4 6 8 10 12 14 16 18 20
s3
rsync
Performance
42

GAMES ON AWS 2022
마치며
43
• [오딘 : 발할라라이징] 의 게임서버 개발 구조
• multi i/o thread + single logic thread
• 낮은 서버 크래시율을 기반으로 안정적으로 서비스
• 장기적인 Live 서비스에서도 일관성을 유지
• [오딘 : 발할라라이징] 의 게임서버 구조에 적합한 인프라 환경 구성
• EC2 – 고성능 CPU
• Aurora - 빠른 반응속도, 많은 처리량
• 발표 드린 내용은 [오딘 : 발할라라이징] 에 특화
게임 개발 및 서비스를 하실 때, AWS 환경에서 직접 운영 환경에 준하는 테스트 필요
• 장애 테스트, 성능 테스트 , 증설/축소 계획에 따른 확장성 테스트

GAMES ON AWS 2022
Thank you!
김문권
kmk@lionhearts.co.kr
윤종근
garen.youn@kakaocorp.com

오딘: 발할라 라이징 MMORPG의 성능 최적화 사례 공유 [카카오게임즈 - 레벨 300] - 발표자: 김문권, 팀장, 라이온하트 스튜디오 | 윤종근, 팀장, 카카오게임즈 ::: Games on AWS 2022

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a 오딘: 발할라 라이징 MMORPG의 성능 최적화 사례 공유 [카카오게임즈 - 레벨 300] - 발표자: 김문권, 팀장, 라이온하트 스튜디오 | 윤종근, 팀장, 카카오게임즈 ::: Games on AWS 2022

Similar a 오딘: 발할라 라이징 MMORPG의 성능 최적화 사례 공유 [카카오게임즈 - 레벨 300] - 발표자: 김문권, 팀장, 라이온하트 스튜디오 | 윤종근, 팀장, 카카오게임즈 ::: Games on AWS 2022 (20)

Más de Amazon Web Services Korea

Más de Amazon Web Services Korea (20)

오딘: 발할라 라이징 MMORPG의 성능 최적화 사례 공유 [카카오게임즈 - 레벨 300] - 발표자: 김문권, 팀장, 라이온하트 스튜디오 | 윤종근, 팀장, 카카오게임즈 ::: Games on AWS 2022