1. INF-164 1
er
parcial II/2013
A C.I. Apellido Nombre firma _
So poi
0 p
1 q
Fuente
Original
S pi
000 ppp
001 ppq
010 pqp
011 pqq
100 qpp
101 qpq
110 qqp
111 qqq
Tercera
extensión
T pi
0 qqq
1 3pqq
2 3ppq
3 ppp
Fuente T
1. Sean S={s1, s2, s3} y T={t1, t2} dos fuentes -no necesariamente estadísticamente independientes- con probabilidades {p1, p2, p3}
y {q1, q2} respectivamente. Si el producto S × T es la fuente cuyos símbolos son los pares (si, tj), demostrar que:
H(S × T) ≤ H(S) + H(T).
)()()()()|(
)()/(
)(log)()|(log)()(log)()|()|(log)()|(
)(log)|(log)()|()()|(log)()|()(
THSHTSHSHTSHcomo
THTSH
tPtPtsPtPtPtPtsPtsPtPtsP
tPtsPtPtsPtPtsPtPtsPTSH
i
jj
i j
jij
i j
jjji
i j
jijji
i j
jjijji
i j
jjijji
2. Sea S la extensión de tercer orden de una fuente binaria de memoria nula, cuya probabilidad de emitir un 0 es igual a p. Otra
fuente, T, observa las salidas de S, emitiendo un 0, 1, 2 ó 3 según que la salida de S contenga 0,1,2 ó 3 ceros.
a) (10) Calcular H(S)
b) (15) Calcular H(T)
c) (05) Interpretar el resultado de H(S) – H(T).
3
3
2
2
2
2
3
3 1
log
1
log3
1
log3
1
log)(
q
q
pq
pq
qp
qp
p
pSH
3
3
2
2
2
2
3
3 1
log
3
1
log3
3
1
log3
1
log)(
q
q
pq
pq
qp
qp
p
pTH
)()()3log(3)()3log(3)3(log3)3(log3)()( 2222
THSHpqpqqppqqpTHSH
3. Determinar la entropía de la fuente afín de la siguiente fuente de Markov de segundo orden
0.3
0.9
0.8 0.4
0.2
0.7
01
11
00
10
0.6
0.1
1,56
1/13
3/13
3/13
6/13
= 4/13
= 9/13
0,89049
p(1)=p(1/00)p(00)+p(1/10)p(10)+p(1/01)p(01)+p(1/11)p(11) = w2 + w4
p(00) = w1 = p13p34 / D =
p(01) = w2 = p34p21 / D =
Entropia de la Fuente Afin S'
H( S' ) =
p(10) = w3 = p34p21 / D =
p(11) = w4 = p42p21 / D =
D = p34p13+ 2p21p34 + p42 p21 =
p(0)=p(0/00)p(00)+p(0/10)p(10)+p(0/01)p(01)+p(0/11)p(11) = w1 + w3
1 31 1 1
2 2 21 3
3 3 32 4
4 4 42 4
1 2 3 4
1 3
0.1 0.0 0.3 0.00.1 0 0.3 0
0.9 0.0 0.7 0.00.9 0 0.7 0
0 0.8 0 0.4 0.0 0.8 0.0 0.4
0 0.2 0 0.6 0.0 0.2 0.0 0.6
1
0.9 0.0 0.3 0
w ww w w
w w ww w
w w ww w
w w ww w
w w w w
w w
1
31 3
1 2 3 2 3
2 3 4
1
22 42 4
1 1 1
3 3 61 2 3 4 1 2 3 4 1
3 3 61
13 13 13 131 1 1 1 1 1 2 3 4
.0 0
0.9 0.7 0.0 0
00.0 0.2 0.4
00.0 0.8 0.0 0.4
3 ; 6
3 3 6 1 13 1 ; ; ;
w w
w w w w w
w w w
w ww w
w w w w w w w w w
w w w w w w w w w
0,1 0,0 0,3 0,0 0,077 0,077
0,9 0,0 0,7 0,0 0,231 0,231
0,0 0,8 0,0 0,4 0,231 0,369
0,0 0,2 0,0 0,6 0,462 0,323
X =
2. INF-164 1
er
parcial II/2013
B C.I. Apellido Nombre firma _
1. Sean S={s1, s2} y T={t1, t2, t3} dos fuentes -no necesariamente estadísticamente independientes- con probabilidades {p1, p2} y
{q1, q2, q3} respectivamente. Si el producto S × T es la fuente cuyos símbolos son los pares (si, tj), demostrar que:
H(S × T) ≤ H(S) + H(T).
2. El número de códigos diferentes correspondientes a una fuente S de q símbolos puede cifrarse con ayuda de árboles.
Encontrar todos los árboles diferentes que corresponda a algún código compacto ternarios con q = 7. Dos códigos son
diferentes si sus conjuntos de longitudes de palabras son diferentes. A cada árbol encontrado coloque su conjunto de
longitudes e indique las probabilidades para el cual cada código encontrado tiene el 100% de eficiencia.
e
31
1 2 3
3332
33
1
33
3
33
2
32
1
32
3
32
2
31
1
31
3
31
2
e
31
1 2 3
333222
33
1
33
3
33
2
32
1
32
3
32
2
21 23
e
31
2 3
333222
33
1
33
3
33
2
21 23
1
1211 13
si 1 2 3 4 5 6 7 8 9 10 11
xi 1 2 311 312 313 321 322 323 331 332 333
li 1 1 3 3 3 3 3 3 3 3 3
pi 0,33 0,33 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 1
Σpi*li 0,33 0,33 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 1,67 =L
Σ-pi*log(pi) 0,33 0,33 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 1,67 =H(S)
si 1 2 3 4 5 6 7 8 9 10 11
xi 1 21 22 23 31 321 322 323 331 332 333
li 1 2 2 2 2 3 3 3 3 3 3
pi 0,33 0,11 0,11 0,11 0,11 0,04 0,04 0,04 0,04 0,04 0,04 1
Σpi*li 0,33 0,22 0,22 0,22 0,22 0,11 0,11 0,11 0,11 0,11 0,11 1,89 =L
Σ-pi*log(pi) 0,33 0,22 0,22 0,22 0,22 0,11 0,11 0,11 0,11 0,11 0,11 1,89 =H(S)
si 1 2 3 4 5 6 7 8 9 10 11
xi 11 12 13 21 22 23 31 32 331 332 333
li 2 2 2 2 2 2 2 2 3 3 3
pi 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,04 0,04 0,04 1
Σpi*li 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11 0,11 2,11 =L
Σ-pi*log(pi) 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11 0,11 2,11 =H(S)
3. Determinar la entropía de la fuente afín de la siguiente fuente de Markov de segundo orden:
0.70.9
0.2 0.4
0.8
0.3
01
11
00
10
0.6
0.1