Inner Edge Layer 적용을 통한 비용절감 인프라 아키텍처 구성하기::박정수::AWS Summit Seoul 2018
"A Better Tomorrow" for Renderman@ddsdream.com
1. “A Better Tomorrow” for
RenderMan@ddsdream.com
DDS Technical Seminar ;-)
소용환, Digital Dream Studios
2002년 3월 21일
2. 요약
Render Farm(w/ PRMan) 운용에 있어서…
사용 소프트웨어와 분산환경 구성 , 렌더링 절차 등
에 대한 정확한 이해를 바탕으로
렌더링 절차와 자원의 사용 방식을 개선한다면
전산 자원을 효율적으로 사용할 수 있을 뿐만 아니
라 업무 능률을 향상시킬 수 있다
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 2
3. 순서
Rendering Process
의문점
RenderMan 다시 보기
개선 방안
문제점 / 개선 내용
구조와 효과
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 3
4. Rendering Process
Components of Pixar RenderMan & RAT
Rendering System (Process)
RenderMan@ddsdream.com
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 4
5. Components of RenderMan & RAT
PhotoRealistic RenderMan:
prman : Renderer
nrmserver : Network Render Server
RenderMan Artist Tools
alfred : Task-based Job Scheduler
mtor : Maya Scene to RIB convertor
slim : Shader Maker & Manager
netrender : Network Renderer
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 5
6. Rendering System: Local
Rendering System
alfred
prman
mtor
slim .rib
.mb txmake .slo
.tif .tex Output image
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 6
7. Rendering System: NetRenderMan
Rendering System
nrmserver
alfred
prman
mtor
slim .rib
netrender
.mb txmake .slo
.tif .tex Output image
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 7
8. RenderMan@ddsdream.com
Ark Project :
RenderFarm Hardware
(PIII 800MHz * 2, 512 Memory) * 255 Servers
(12 Term. Servers + 73 Renderers) * 3 Groups
Software
MtoR Server: RAT 4.1 on Windows2000
PRMan Renderer: PRMan 3.9.2 on Linux 2.2.19
ArkRun (on MtoR Server)
Batch Job Scheduler
Easy Queuing Interface
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 8
9. Render Pattern of ArkRun Env.
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 9
10. 의문점
RibGen 진행 중에 이미 만들어진 frame 을 먼저
렌더링하는 것은 불가능한가 ?
Rib 변환 작업은 분산처리가 불가능한가 ?
분산처리를 위한 자원 배분 규칙은 합리적인가 ?
시스템 자원은 충분히 사용되고 있는가 ?
네트워크 자원은 얼마나 사용하는가 ?
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 10
11. RenderMan 다시 보기
Alfred: Task/Service 기반의 작업 제어 이해
prman, netrender, mtor 등의 작동 양상 파악
RenderGlobal 로 대변되는 렌더링 환경 이해
네트워크 데이터 이동량 측정 / 이동양상 분석
시스템 자원 사용 상황 측정 / 원인 분석
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 11
12. Rendering System: NetRenderMan (Rev.)
Rendering System
nrmserver
alfred
prman
mtor
slim .rib
netrender
.mb txmake .slo
.tif .tex Output image
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 12
13. 개선 단계 1: CowBoy
비효율적인 데이터 / 네트워크 사용 방식 개선
“ NetRenderMan” 방식 : prman 과 netrender 사
이의 비효율적 데이터 교환
병목으로 작용 , CPU 활용률 저하
“ With a little help from my Friend~”
기반 운용체제 (Linux) 의 향상된 네트워크 I/O 관리
능력 활용
운용체제의 차이에 의한 문제 처리
(+ TODO: 비효율적 데이터 관리 모델 보완 )
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 13
14. Rendering System: + CowBoy
Rendering System
alfserver
alfred
CowBoy
mtor prman
.rib
slim SMBFS
.slo
.mb txmake
.tex
Local File System
.tif Output
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 14
16. 개선 단계 2: RenderWoman
불필요한 상호 대기 시간 제거
Renderer 와 RibGenerator 간에 Blocking 현상
다른 하나는 항상 Idle 상태에 놓임
RenderWoman: New Queuing Interface
RibGen 과 동시에 Rendering 진행
Task 사이의 불필요한 의존성 제거
Job 사이의 불필요한 Blocking 제거
자원 가용성에 의거한 Task 진행 관리
(+ TODO: 필요하다면 Scene 관리 도구 추가 )
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 16
17. Rendering System: + RenderWoman
Rendering System
alfred
mtor alfserver
CowBoy
slim Local File System
prman
.mb .tex .slo
.rib Output SMBFS
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 17
19. 개선 단계 3: Tweeny
집중된 RibGen Task 의 분산 처리
상대적으로 긴 RibGen Task 소요 시간
Renderer 와 균형의 문제
RibGen 서버 증설은 사용 / 관리 부담
Tweeny: MTOR Helper
Windows 와 MTOR 의 한계 극복
데이터 전달 보조
(+ TODO: 통합 관리 기능 제공 )
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 19
20. Rendering System: + Tweeny
Rendering System
alfred
alfserver alfserver
Tweeny CowBoy
mtor Local File System
prman
slim
.mb .tex .slo
SMBFS .rib Output SMBFS
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 20
21. 개선 단계 4: Upgrade
간단한 , 그러나 가장 비싸면서 비효율적인 방법
한계점이 하드웨어에 있다면 꼭 필요한 단계
정확한 모니터링과 분석 필요 : WatchDog
다양하고 많은 데이터와 인력 소요
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 21
22. “To Be Continue”
Next Step!
CowBoy, Tweeny, WatchDog 를 얹은 TESTBED
실제 프로젝트의 일부에 적용시켜 가능성 확인
자원 활용도에 따른 재분배 및 프로젝트 정식 적용
시스템 운용과 렌더링 기술에 대한 꾸준한 실험과 연
구
지식 / 정보의 체계화와 교육을 통한 “ DDS
Upgrade”
DDS Technical Seminar ;-) "A Better Tomorrow" for RenderMan@ddsdream.com 22