1. Multimedia Communications
Chapter 1
Multimedia Elements
아주대학교 정보및컴퓨터공학부
노병희 (bhroh@ajou.ac.kr)
목차
멀티미디어 정보 요소들
멀티미디어 정보의 표현
디지털화의 필요성
오디오 정보의 디지털화
영상정 보의 디지털화
압축의 필요성
1

2. 1.1 멀티미디어 정보요소들
멀티미디어 정보 요소
Voice/Speech 와 Audio 정보의 특징
Image의 특징
Video의 특징
멀티미디어 정보 요소들
멀티미디어 정보 요소들
Text
Data (including Graphics)
Voice (with mono-channel)
Audio (with multiple-channels)
Image (still image)
Video (moving pictures)
2

3. Voice/Speech 와 Audio 의 특징
Voice/Speech 와 Audio
구분 주파수범위 샘플링비율 샘플당 비트수 비트율
Telephone
300 ~ 3400Hz* 8kHz 8 64kb/s
speech
Wideband
50 ~ 7000Hz 16kHz 14 224kb/s
speech
Wideband
10 ~ 20000Hz 48kHz 16 768kb/s
audio
* 유럽의 경우로서, 미국이나 일본의 경우는 200 – 3200Hz 범위임
Telephone Speech Music (“CD Quality”)
0 Hz 4kHz 7kHz 20kHz
Voice/Speech 와 Audio 의 특징
음성 신호의 주파수 범위
음성 신호 부호화 방법이 적용되는 범위
• 협대역 : 200 Hz ~ 3.4 kHz
• 광대역 : 50Hz ~ 7kHz
기본 음성 신호 부호화 방법
• 파형(waveform) 기반의 방법 (PCM, ADPCM, …)
• 분석-합성(analysis-synthesis) 기반의 방법 (LPC, CELP, …)
오디오 신호의 주파수 범위
사람의 가청 주파수 범위
• 10 Hz ~ 20 kHz
오디오 압축 방법은 사람의 가청 주파수 범위에 걸치는 모든
오디오 성분을 대상으로 함
3

4. Voice/Speech 와 Audio 의 특징
사람의 청각 특성
사람이 청각 능력은 주파수영역에서 고르지 않고, 특정 주파수
부근에 집중되는 형태를 보여줌
• 아래 그림은 사람이 모든 주파수의 신호를 동일한 크기로 들을수
있도록 하는데 있어서, 주파수에 따라 요구되는 신호의 세기를 보여줌
– 낮은 주파수와 높은 주파수 부분에서는 중간 주파수 보다 더 큰
세기의 음성/오디오 신호를 만들어 주어야 함
• 앞으로 배우게 될 sub-band coding (SBC)의 배경이 되는 성질임
영상 정보의 특징
Pixel (화소)
picture element 또는 picture cell의 약어 표현
디지털 이미지의 기본 단위로서, 소프트웨어 또는 하드웨어의
제어하에서 변경될 수 있는 가장 작은 화면 출력 요소
이미지의 해상도(resolution) 단위는 pixel임
example) 640 x 480
format
가로로 640개의
pixel과 세로로
480개의 pixel이
하나의 이미지
또는 스크린
화면을 구성됨
4

5. 비디오 정보의 특징
Video (or Moving Pictures)
Sequence of still images
• NTSC TV : 30 frames / sec
• PAL TV : 25 frames / sec
짧은 프레임간의 간격으로 인하여, 인접한 프레임들간에는 큰
상관성(correlation)이 존재함
time
1/30 sec.
1.2 멀티미디어 정보의 표현
디지털화의 필요성
Voice/Speech 와 Audio 정보의 디지털 화
Image/Vidoe 정보의 디지털 화
5

6. 멀티미디어 정보의 표현
디지털화의 필요성
오디오와 비디오의 근본 source들은 아날로그 형태임
모든 멀티미디어 요소들은 컴퓨터내에서 저장되고 처리되기
위하여 디지털화 되어야 함
voice의 정보형태
부분 확장한 모습
오디오 정보의 디지털화
두가지 기본 과정
sampling
quantization
Sampling Quantization
analog signal
sampled signal digitized signal
- continuous-time
- discrete-time - discrete-time
- continuous-amplitude
- continuous-amplitude - discrete-amplitude
6

7. 오디오 정보의 디지털화
Example (PCM)
영상 정보의 디지털화
Color Space
영상 각 pixel의 색을 다른 요소들로 분리하기 위하여 표현하는
이론적인 모델임
디지털 비디오에서의 두가지 color space
• RGB : 컴퓨터 환경에서 주로 쓰임
• YUV 또는 YCrCb : TV 관련 분야에서 주로 사용
7

8. RGB Color Space
RGB color space
색을 red(R), green (G), blue(B)의 세개 요소의 조합으로 표현
사람의 눈이 인식하는 모든 색을 표현하기 위하여는 RGB 요소는
각각 8 bit 이상 되어야 함
• R, G, B 각 8 bits 씩 총 24 bits가 필요
• 224 = 16,777,216개의 서로 다른 색 표현 가능
G GBR Electron
dot pitch guns
R
B
example) CRT Dot Row #1
모니터의 색 표현 방법 60o Dot Row #2
각 pixel마다 R, Dot Row #3
G, B의 세가지
B R B R
요소가 표현되고, B R
Shadow
Mask
사람은 픽셀마다 G G
G
이 세가지 색이
합쳐서 나타나는 Monitor Screen
한 가지의 색으로
인식하게 됨.
RGB Color Space
RGB color space
단점
• 모든 가능한 색을 표현하기 위하여 RGB 각 요소는 같은 비트수를
갖추어야 함.
• TV 환경에서는 부적절
– RGB에서는 밝기를 조절하기 위하여는 RGB 모든 요소의 값을
동일하게 조절하여야 함
– 최상의 압축을 위하여는 각 색의 요소들이 uncorrelate되어야 함
8

9. 사람 눈(eye)의 시각 특성
눈의 구조
보는 (seeing) 동안 눈이 수행하는 두가지 역할
• to recognize details of a scene
– the spatial resolution of the scene
• to recognize changes in a scene
– a temporal resolution of a scene
사람 눈(eye)의 시각 특성
Photoreceptor의 두가지 형태
rod (간상체)
• 흑백을 구분하고, 빛의 강도 (intensity of light)에 민감
cone (원추체)
• 색 (color)을 구분함
• red, green, blue등의 색에 민감한 여러 종류의 cone들이 있음
retina (망막)에는 약 120x106개의 rod들과 8x106개의 cone들이
있음
• 사람의 눈은 색(color)에는 덜 민감하고, 특히 색의 변화에는 더욱 덜
민감하다.
MPEG-2등의 비디오 압축 기법
• 눈의 색에 대한 둔감 정도를 반영하여 이미지당 색에 대한 정보를
줄임
• DCT를 사용하여 색의 high frequency change를 줄임
9

10. YUV color space
YUV color space
색을 intensity (Y)와 두개의 색과 관련된 요소들 (U와 V)로 분리함
• Y: 흑/백과 관련된 정보를 표현하고 luminance라고 불림
• U와 V: 색과 관련된 정보를 표현, chrominance라고 불림
intensity와 color의 두 요소를 갖는 사람 눈의 처리 구조를 따름
YCrCb는 ITU-R 601 권고안 (CCIR-601)을 통하여 제정된 디지털
비디오 형식의 색 표현에 대한 표준임.
• exmple) NTSC TV에서 RGB를 YUV로 변환하는 방법
– Y = 0.299R + 0.587G + 0.144B
– Cb= 0.599R - 0.276G - 0.324B
– Cr = 0.212R - 0.528G + 0.311B
Y와 (Cb, Cr) 신호는 uncorrelated 되어 있음.
YUV color space
YUV color space
sampling
• 사람의 시각 특성
– 밝기(luminance)의 변화에는 매우 민감하고,
– 색(chrominance)과 색의 변화에는 더욱 덜 민감함.
• YUV를 표현시 픽셀당 Y는 그대로 유지하고, UV는 줄임으로서
– 사람의 시각 특성의 효과는 유지하면서
– 영상을 표현하는 정보량을 줄일수 있음
대표적인 sampling 방법
• 4개의 픽셀에 대하여 표현되는 Y, U, V의 비율로 나타냄
• 4:4:4
• 4:2:2
• 4:2:0
4:4:4 4:2:2 4:2:0
Y Cb Cr
10

11. Digital Video Formats
Digital Video Formats
CIF (Common Interchange Format)
• NTSC 또는 PAL 기반의 frame들을 공통된 형식으로 변환하여 화상회의
등에 적용하기 위한 H.261 권고안에서의 디지털 비디오 형식
– luminance (Y) 해상도 : 352 x 288
– color sampling format : 4:2:0
QCIF (Quarter CIF) : CIF의 1/4 크기 (176x144 pixels)
SIF (Source Input Format)
• MPEG-1 영상 압축을 위한 디지털 비디오 형식
– luminance (Y) 해상도
• 360 x 240 pixels (for 30 frameses per sec. system: NTSC)
• 360 x 288 pixels (for 25 frames per sec. system: PAL..)
– color sampling format : 4:2:0
1.3 압축의 필요성
11

12. 압축의 필요성
압축안된 멀티미디어 정보의 데이터량
비디오
Format Pixels Lines per Frames Bits per Megabits
per Line Frame per second Pixel per Second
SVGA 800 600 72 8 276.5
NTSC 640 480 30 24 221.2
PAL 580 575 25 24 400.2
SECAM 580 575 25 24 400.2
HDTV 1920 1080 30 24 1,492.8
Film 2000 1700 24 32 2,611.2
음성/오디오
구분 주파수범위 샘플링비율 샘플당 비트수 비트율
Telephone speech 300 ~ 3400Hz* 8kHz 8 64kb/s
Wideband speech 50 ~ 7000Hz 16kHz 14 224kb/s
Wideband audio 10 ~ 20000Hz 48kHz 16 768kb/s
압축의 필요성
size가 큰 데이터의 두가지 문제점
기억
• size가 매우 큰 데이터 object는 매우 큰 저장 용량을 요구한다
• 데이터 기억 장치의 용량이 커질수록, 데이터를 검색하기 위한 접근
시간이 증가하게 된다.
전송
• size가 매우 큰 object는 전송을 위하여 크기에 비례하는 만큼의 시간이
요구된다.
멀티미디어 데이터들의 효율적 관리를 위하여,
데이터 object들의 크기를 줄이기 위한 압축이 요구됨
12

13. 질의/응답
13