inf_144

1. INF-164 1
er
parcial II/2013
A C.I. Apellido Nombre firma _
So poi
0 p
1 q
Fuente
Original
S pi
000 ppp
001 ppq
010 pqp
011 pqq
100 qpp
101 qpq
110 qqp
111 qqq
Tercera
extensión
T pi
0 qqq
1 3pqq
2 3ppq
3 ppp
Fuente T
1. Sean S={s1, s2, s3} y T={t1, t2} dos fuentes -no necesariamente estadísticamente independientes- con probabilidades {p1, p2, p3}
y {q1, q2} respectivamente. Si el producto S × T es la fuente cuyos símbolos son los pares (si, tj), demostrar que:
H(S × T) ≤ H(S) + H(T).
   
)
(
)
(
)
(
)
(
)
|
(
)
(
)
/
(
)
(
log
)
(
)
|
(
log
)
(
)
(
log
)
(
)
|
(
)
|
(
log
)
(
)
|
(
)
(
log
)
|
(
log
)
(
)
|
(
)
(
)
|
(
log
)
(
)
|
(
)
(
T
H
S
H
T
S
H
S
H
T
S
H
como
T
H
T
S
H
t
P
t
P
t
s
P
t
P
t
P
t
P
t
s
P
t
s
P
t
P
t
s
P
t
P
t
s
P
t
P
t
s
P
t
P
t
s
P
t
P
t
s
P
T
S
H
i
j
j
i j
j
i
j
i j
j
j
j
i
i j
j
i
j
j
i
i j
j
j
i
j
j
i
i j
j
j
i
j
j
i

























2. Sea S la extensión de tercer orden de una fuente binaria de memoria nula, cuya probabilidad de emitir un 0 es igual a p. Otra
fuente, T, observa las salidas de S, emitiendo un 0, 1, 2 ó 3 según que la salida de S contenga 0,1,2 ó 3 ceros.
a) (10) Calcular H(S)
b) (15) Calcular H(T)
c) (05) Interpretar el resultado de H(S) – H(T).
3
3
2
2
2
2
3
3 1
log
1
log
3
1
log
3
1
log
)
(
q
q
pq
pq
q
p
q
p
p
p
S
H 



3
3
2
2
2
2
3
3 1
log
3
1
log
3
3
1
log
3
1
log
)
(
q
q
pq
pq
q
p
q
p
p
p
T
H 



)
(
)
(
)
3
log(
3
)
(
)
3
log(
3
)
3
(log
3
)
3
(log
3
)
(
)
( 2
2
2
2
T
H
S
H
pq
pq
q
p
pq
q
p
T
H
S
H 









3. Determinar la entropía de la fuente afín de la siguiente fuente de Markov de segundo orden
0.3
0.9
0.8 0.4
0.2
0.7
01
11
00
10
0.6
0.1
1,56
1/13
3/13
3/13
6/13
= 4/13
= 9/13
0,89049
p(1)=p(1/00)p(00)+p(1/10)p(10)+p(1/01)p(01)+p(1/11)p(11) = w2 + w4
p(00) = w1 = p13p34 / D =
p(01) = w2 = p34p21 / D =
Entropia de la Fuente Afin S'
H( S' ) =
p(10) = w3 = p34p21 / D =
p(11) = w4 = p42p21 / D =
D = p34p13+ 2p21p34 + p42 p21 =
p(0)=p(0/00)p(00)+p(0/10)p(10)+p(0/01)p(01)+p(0/11)p(11) = w1 + w3
1 3
1 1 1
2 2 2
1 3
3 3 3
2 4
4 4 4
2 4
1 2 3 4
1 3
0.1 0.0 0.3 0.0
0.1 0 0.3 0
0.9 0.0 0.7 0.0
0.9 0 0.7 0
0 0.8 0 0.4 0.0 0.8 0.0 0.4
0 0.2 0 0.6 0.0 0.2 0.0 0.6
1
0.9 0.0 0.3 0
w w
w w w
w w w
w w
w w w
w w
w w w
w w
w w w w
w w
   
   
 
  
    
   
   
  
  
   
  
  
     
   
    1
3
1 3
1 2 3 2 3
2 3 4
1
2
2 4
2 4
1 1 1
3 3 6
1 2 3 4 1 2 3 4 1
3 3 6
1
13 13 13 13
1 1 1 1 1 1 2 3 4
.0 0
0.9 0.7 0.0 0
0
0.0 0.2 0.4
0
0.0 0.8 0.0 0.4
3 ; 6
3 3 6 1 13 1 ; ; ;
w w
w w w w w
w w w
w w
w w
w w w w w w w w w
w w w w w w w w w


   
 

  
 
  
       
          
0,1 0,0 0,3 0,0 0,077 0,077
0,9 0,0 0,7 0,0 0,231 0,231
0,0 0,8 0,0 0,4 0,231 0,369
0,0 0,2 0,0 0,6 0,462 0,323
X =

2. INF-164 1
er
parcial II/2013
B C.I. Apellido Nombre firma _
1. Sean S={s1, s2} y T={t1, t2, t3} dos fuentes -no necesariamente estadísticamente independientes- con probabilidades {p1, p2} y
{q1, q2, q3} respectivamente. Si el producto S × T es la fuente cuyos símbolos son los pares (si, tj), demostrar que:
H(S × T) ≤ H(S) + H(T).
2. El número de códigos diferentes correspondientes a una fuente S de q símbolos puede cifrarse con ayuda de árboles.
Encontrar todos los árboles diferentes que corresponda a algún código compacto ternarios con q = 7. Dos códigos son
diferentes si sus conjuntos de longitudes de palabras son diferentes. A cada árbol encontrado coloque su conjunto de
longitudes e indique las probabilidades para el cual cada código encontrado tiene el 100% de eficiencia.
e
31
1 2 3
33
32
33
1
33
3
33
2
32
1
32
3
32
2
31
1
31
3
31
2
e
31
1 2 3
33
32
22
33
1
33
3
33
2
32
1
32
3
32
2
21 23
e
31
2 3
33
32
22
33
1
33
3
33
2
21 23
1
12
11 13
si 1 2 3 4 5 6 7 8 9 10 11
xi 1 2 311 312 313 321 322 323 331 332 333
li 1 1 3 3 3 3 3 3 3 3 3
pi 0,33 0,33 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 1
Σpi*li 0,33 0,33 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 1,67 =L
Σ-pi*log(pi) 0,33 0,33 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 1,67 =H(S)
si 1 2 3 4 5 6 7 8 9 10 11
xi 1 21 22 23 31 321 322 323 331 332 333
li 1 2 2 2 2 3 3 3 3 3 3
pi 0,33 0,11 0,11 0,11 0,11 0,04 0,04 0,04 0,04 0,04 0,04 1
Σpi*li 0,33 0,22 0,22 0,22 0,22 0,11 0,11 0,11 0,11 0,11 0,11 1,89 =L
Σ-pi*log(pi) 0,33 0,22 0,22 0,22 0,22 0,11 0,11 0,11 0,11 0,11 0,11 1,89 =H(S)
si 1 2 3 4 5 6 7 8 9 10 11
xi 11 12 13 21 22 23 31 32 331 332 333
li 2 2 2 2 2 2 2 2 3 3 3
pi 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,04 0,04 0,04 1
Σpi*li 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11 0,11 2,11 =L
Σ-pi*log(pi) 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,22 0,11 0,11 0,11 2,11 =H(S)
3. Determinar la entropía de la fuente afín de la siguiente fuente de Markov de segundo orden:
0.7
0.9
0.2 0.4
0.8
0.3
01
11
00
10
0.6
0.1