1. The Art and Science of
Digital Compositing
김정근

2. Agenda
 Image Generation
 Pixels, Components, and Channels
 Spatial Resolution
 Bit Depth
 Normalized Values
 Beyond Black and White
 Floating-point and High Dynamic Range Imagery (HDRI)
2

3. Image Generation
디지털 합성요소는 어떻게 만들어지는가?
3

4. Image Generation
 사람에 의해 생성된 요소
– 매트 페인팅
 컴퓨터에 의해 생성된 요소
– 2D, 3D 컴퓨터 애니메이션 패키지
 외부소스로부터 컴퓨터로 디지털화 된 이미지
4

5. Pixels, Components, and Channels
 Pixels
– 디지털 이미지를 이루는 사각형
5

6. Pixels, Components, and Channels
 Components
– R, G, B Channel : Pixel의 대표적 Component
6

7. Pixels, Components, and Channels
 Channels
– 여러 가지 정보가 들어 왔을 때 원하는 신호만 통과시키는 일종의 필터
7

8. Spatial Resolution
 해상도 : 이미지의 픽셀 개수
– 가로 500 pixel 세로 500 pixel 으로 된 사각형 이미지 = 250,000 해상도의 픽셀
 미디어에 따른 해상도
– 웹페이지 : 몇 백 Pixel
– 표준 규격 방송용 비디오 : 700 X 500 Pixel
– 극장 영화 : 가로 2000 Pixel
– 인쇄 산업 : 가장 높은 해상도
• 내셔널 지오그래픽 : 적어도 4000 X 3000 Pixel
– Full HD 1080P : 1920X1080
8

9. Bit Depth
 Bit 수로 데이터의 정밀도를 판단
 24bit 이미지 : 일반적인 이미지(R, G, B : 채널 당 8 Bit)
– 채널당 8 Bit : 1 Components = 256 (28)
– 256 X 256 X 256 = 16,777,216 컬러 표현 가능
– 극장영화 : 채널당 16Bit
9

10. Bit Depth
채널당 8bit 채널당 4Bit 채널당 3bit
“Banding” , “Contouring”, “ Posterization”
“Quantization Artifact”
“디지털 합성을 하여도 Visual Artifact가
일어나지 않게 충분한 데이터가 필요”
10

11. Normalized Values
 서로 다른 Bit Depth를 가진 이미지를 0과 1사이의 범위에서 부동소수점의
수로 평균화 한 것
8 bit 이미지의 픽셀 1개
(1.0, 0.39, 0)
RGB(255,100,0) Normalize
11

12. Normalized Values
Normalize?
» 서로 다른 bitdepth 들을 하나의 공통된 스펙으로 변경
» 이미 합성공식은 0~1 사이의 픽셀 값을 가지고 연산
12

13. Beyond Black and White
두 개의 같은 라이트
13

14. Beyond Black and White
두 개의 같은 라이트
14

15. Beyond Black and White
100와트 전구(좌)와 25와트 전구(우)
15

16. Beyond Black and White
노출 감소
16

17. Beyond Black and White
“흰색”이란 용어와 “검정색” 이란
용어는 매우 임의적인 개념
17

18. Beyond Black and White
18

19. Beyond Black and White
19

20. Beyond Black and White
“출력과정중 정보가 손실되었기 때문에
포스트이펙트를 줘봐야 이미 손상된 결과”
20

21. Beyond Black and White
넓은 조명범위 값을 가진 장면
21

22. Beyond Black and White
붉은색은 과다 노출(밝은 부분) 초록색은 적은 노출(어두운 부분)
22

23. Beyond Black and White
어두운 부분의 디테일을 살리기 위해 Expose
(기존 라이트의 4배)
23

24. Beyond Black and White
밝은 부분의 디테일을 살리기 위해 Expose
24

25. Beyond Black and White
다리 노출을 위한 소스 이미지
25

26. Beyond Black and White
하늘 노출을 위한 소스 이미지
26

27. Beyond Black and White
노출을 나누어서 사용하여 만들어진 이미지(exposure split)
27

28. Beyond Black and White
“흰색”이란 용어와 “검정색” 이란
용어는 매우 임의적인 개념
“흰색”은 없다
Overexpose된 영역에서
이것은 “Superwhite”라고 언급된다
28

29. Beyond Black and White
29

30. Beyond Black and White
“Blur는 주변 픽셀의 평균값”
Non HDR 이미지는 최대 White 값은 = 1.0
인근 픽셀 평균값은 <=1.0이므로 화이트 영역이 줄어듬
BUT
HDR 이미지는 최대 White 값 >= 1.0
White 세기가 강할수록 픽셀 평균값이 1.0보다
크거나 같은 영역이 늘어남
30

31. Floating-point and High Dynamic Range Imagery (HDRI)
31

32. Floating-point and High Dynamic Range Imagery (HDRI)
Floating-point image
32

33. Floating-point and High Dynamic Range Imagery (HDRI)
½ Floating-point image : Fixed point image
33

34. Floating-point and High Dynamic Range Imagery (HDRI)
½ Fixed point image
34

35. Floating-point and High Dynamic Range Imagery (HDRI)
 HDRI
– 일반적으로 허용하는 것보다 훨씬 높은 다이나믹 레인지를 가진 32비트 부동소수점 이미지
 다이나믹 레인지 = 컨트라스트 비
35

36. Floating-point and High Dynamic Range Imagery (HDRI)
 HDRI
– 일반적으로 여러 가지 노출조건으로 촬영한 32 bit 이미지를 10여 개 정도 조합하여 만듬
–4 stops –2 stops +2 stops +4 stops
Simple contrast Local tone mapping
reduction
36

37. Chapter 3 Part : 2
The Digital Representation of Visual Information
시각적 정보에 대한 디지털 표현

38. Agenda
 The HSV Color Representation
 The YUV Color Representation
 Digital Image File Formats
 File Format Features
 Vendor-specific File Format Implementations
 Compression
 Choosing a File Format
 Nonlinear Color Encoding
38

39. The HSV Color Representation
Hue(색상)
Saturation(채도)
Brightness/Value(명도)
39

40. The HSV Color Representation
Hue And Saturation
40

41. The HSV Color Representation
Hue And Saturation With Value
41

42. The HSV Color Representation
Hue Component Saturation Component Brightness / Value
Component
42

43. The HSV Color Representation
Hue Component
43

44. The HSV Color Representation
Saturation Component
44

45. The HSV Color Representation
Brightness / Value
Component
45

46. The YUV Color Representation
Luminance
(휘도)
46

47. The YUV Color Representation
Chrominance
(색차)
47

48. The YUV Color Representation
YUV Color Representation
48

49. The YUV Color Representation
49

50. The YUV Color Representation
Luminance Chrominance
50

51. The YUV Color Representation
2
4
2
Luminance
Chrominance
51

52. The YUV Color Representation
“색상에는
둔감하고
밝기에는 민감한 사람의
눈의 특성을 이용”
52

53. The YUV Color Representation
 RGB <–> YUV 변환
Y = 0.3R + 0.59G + 0.11B R = Y + 0.956U + 0.621V
U = (B-Y) x 0.493 G = Y + 0.272U + 0.647V
V = (R-Y) x 0.877 B = Y + 1.1061U + 1.703V
 주로 TV(PAL방식)에 사용되는 색 표현방식(압축에 용이)
 NTSC = YIQ
53

54. Image Input Devices
 Flatbed Scanners
 Film Scanner
 Video Camera 등
데이터 양의 증가로 압축이 필요함
데이터를 잘라내어 여러 공간에 나누어 담아야함
원본 소스 보관에 유의해야함
54

55. File Format Features
 Variable Bit Depth
 Different Spatial Resolutions
 Compression
 Comment Information in a Header
 Additional Image Channels
호환성 문제등으로 보편적인 포맷을 사용
예) 서로 호환되지 않는 여러 TIFF 포맷
55

56. Compression
56

57. Compression
= lossy
57

58. Compression
RLE
Run-Length Encoding
(무손실압축)
58

59. Compression
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 1 1 1 1 1 1 1 1 0 0
0 0 1 1 1 1 1 1 1 1 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
59

60. Compression
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 1 1 1 1 1 1 1 1 0 0
0 0 1 1 1 1 1 1 1 1 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 1 1 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0
60

61. Compression
12:0
12:0
5:0, 2:1, 5:0
5:0, 2:1, 5:0
5:0, 2:1, 5:0
2:0, 8:1, 2:0 144 Symbol = 104 Symbol 30%
2:0, 8:1, 2:0
5:0, 2:1, 5:0 감소
5:0, 2:1, 5:0
5:0, 2:1, 5:0
12:0
12:0
61

62. Compression
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
62

63. Compression
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
63

64. Compression
1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1
1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0
1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1
1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0
1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1
1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0
144 Symbol =
1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1 562 Symbol
1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0
1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1
1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0
1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1
1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0
64

65. Compression
아날로그 소스를
가진 이미지를 저장하는데
매우 비효율적
65

66. Compression
Lossy
Compression
66

67. Compression
90% Jpeg Quality
67

68. Compression
20% Jpeg Quality
68

69. Compression
90% Jpeg Quality
원본대비 디스크 용량 1/10
69

70. Compression
20% Jpeg Quality
원본대비 디스크 용량 1/150
70

71. Compression
JPEG 압축은 사람 눈에 민감한
밝기와 콘트라스 정보를 다룸
모든 이미지를 위한 이상적인 형식은 아님
JPEG 압축에 의한 아티팩트들이 많음
71

72. Compression
JPEG로 압축
72

73. Compression
PNG로 압축
73

74. Compression
PNG 압축은 제한된 칼라 팔레트를 사용할 수 있고,
이미지타입에 적합한 압축 형식으로
연결된 Bit depth를 가지고 있음
74

75. Compression
Chroma
Subsampling
비디오 압축(YUV 등)
75

76. Compression
“색상에는
둔감하고
밝기에는 민감한 사람의
눈의 특성을 이용”
Y는 칼라 component 의 밝기(luminance),
U와 V채널은 chrominance(색차) 값을 표현
76

77. Compression
 4:1:1 compression
– 통상 비디오 신호가 콤포넌트 디지털화 할때의 샘플링은 휘도신호(Luminance Signal -> Y)와
두 개의 색도신호 (Chrominance Signal -> R-Y, B-Y)를 대상으로 하는데, 4:1:1 이란 값은 휘도
(Y)의 값이 4번 샘플링 될 때 색도의 값(R-Y, B-Y) 두가지가 각각 1번씩 샘플링되는 것의 비율
을 용어화 한 것입니다.
 4:2:2 compression
– 4:2:2 란 값은 휘도(Y)의 값이 4번 샘플링될 때 색도의 값(R-Y, B-Y) 두 가지가 각각 2번씩 샘플
링되는 것의 비율을 용어화 한 것입니다. 색도의 해상도 또는 색도의 데이터 양이 위의 4:1:1
이나 4:2:0 보다 2배가 됩니다. 이것은 크로마키와 같은 다양한 종류의 키 작업이나 많은 레이
어를 이용한 합성과정이 존재하는 포스트 프로덕션(전문 합성 편집실)에서는 매우 중요한 요
소입니다. JVC의 D9나 Sony의 Digital Betacam, Panasonic의 DVCPRO 50 또는 MPEG2 422
P@ML등의 포맷이 4:2:2
 4:4:4 compression
– 4:4:4 란 값은 휘도(Y)의 값과 두 가지 색도의 값(R-Y, B-Y)이 동일한 비율로 샘플링된 것을 의
미합니다. 아주 고급의 특별한 합성장비에서나 쓰이는 포맷입니다
77

78. Compression
Image Sequence Compression
모든 싱글 프레임을 같은 방식으로 저장하지 않고
특정 마스터 프레임을 이용하여 서브시퀀스 프레임들이
마스터 프레임과 다른 위치에 기록되는 방식
78

79. Compression(결론)
결정적인 가이드 라인은 없으나 상황에 맞게 결정
단 퀄리티 손실을 막기 위해 파이프라인 각 스텝에서 압축을 피하고
불필요하게 포맷간 컨버팅을 피함
퀄리티 압축률
79

80. Nonlinear Color Encoding
이미지가 저장되기 전에 bit depth 를 보다
효율적으로 사용하기 위해,
특정한 color correction(교정) 과정
“Gamma”
80

81. Nonlinear Color Encoding(Gamma)
Vout = Vinγ
Vout 은 리시브 밸류 Vin 은 오리지널 밸류이고, Y는 감마
원하는 것을 얻기 위해서 오리지널 밸류를
얼마만큼 올려야 하는가의 강함의 정도
81

82. Nonlinear Color Encoding(Gamma)
Gamma 2.2 decoding power function graph nonlinearity
82

83. Nonlinear Color Encoding(Gamma)
“Gamma의 유래”
19세기의 오래된 사진사들은 받아들인 이미지의 광학 밀도(optical density)
가 필름의 노출 정도와는 비례하지 않는다는 것을 발견했다.
반면에, 노출 정도를 더블링 하면, 두 배만큼은 어두워지지(혹은 밝아지지) 않
는 다는 것을 발견했다.
받는 광학 노출에 비해서 그림으로 보이는 부분이 논리니어한 파워 관계에 있
는 것을 사진사들은 감마라고 불렀다. 감마 밸류가 1.0값에서 달라질수록, 더
욱 현상은 논리니어해진다.
따라서, 사진사들의 감마는 받는 빛의 밀도와 노출 정도간의 논리니어한 파워
관계이다.
83

84. Nonlinear Color Encoding(Gamma)
CRT시스템에서 논리니어하게 균형을 잡거나,
인식 영역 안의 그래픽 정보를 감마-인코딩 하는데 필요
두 개의 역 논리니어 커브는 리니어 아웃풋을 만들고,
결과적으로 스크린 디스플레이에 정확한 그라데이션을 표현
84

85. Nonlinear Color Encoding(Gamma)
CRT만을 위한 것?
감마 보정은 한정된 칼라스페이스로
좋은 퀄리티의 이미지를
얻기 위해서 여전히 유용
85

86. Nonlinear Color Encoding(Gamma)
http://maxattivo.blogspot.com/2011/07/what-is-gamma-correction-in-image.html 86

87. Q&A

88. 감사합니다