lecture4teoradelainformacin-120221112111-phpapp02.pptx

Comunicaciones II
Conferencia 4: Teoría de la Información.
UNIDADII: FORMA
TEODESEÑALESYCODIFICACIÓNFUENTE
Instructor: Israel M. Zamora, P.E., MS Telecommunications Management
Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.
Universidad Nacional de Ingeniería
Universidad Nacional de Ingeniería
COM II I. Zamora Uni II - Conf 4: Cod. fte. Fmteo. 1

Contenido
• Teoría de la Información
• Medida de la Información
• Entropía
– Propiedades de la Entropía
• Ejemplo 1
• Ejemplo 2
• Ejemplo 3
• Entropía de fuente extendida
• Ejemplo 4
• Codificación fuente (nuevamente)
• Codificación fuente: código Huffman

Teoría de la Información
•
•
•
•
En esta conferencia estudiamos los conceptos de INFORMACIÓN
y ENTROPÍA. Con esta teoría, es posible determinar
matemáticamente la tasa máxima de transmisión de información a
través de un canal dado. Esto es lo que llamamos CAPACIDAD DE
CANAL.
Aún cuando usualmente no es posible alcanzar la CAPACIDAD DE
CANAL en los sistemas prácticos, es un buen punto de referencia
cuando se evalúa el desempeño de un sistema.
De hecho, la ley de Shannon-Hartley es una ley fundamental
importante en el campo de la teoría e las comunicaciones, y es
muy útil también en el trabajo práctico ingenieril.
En el estudio de esta conferencia, se tendrá que las señales
mensaje se modelan como procesos aleatorios. Iniciaremos
considerando lo observable en una variable aleatoria:
•Cada observación da cierta cantidad de información.
•Las observaciones raras dan mas observación que las usuales.

¿Qué entendemos por el término información?
La noción intuitiva y común de información se refiere
a cualquier nuevo conocimiento acerca de algo.
Sin embargo, en nuestro contexto, apelaremos a la
teoría de la información. Esta disciplina de amplia
base matemática ha efectuado aportaciones
fundamentales, no solo a las comunicaciones, sino
también a la ciencia del cómputo, la física estadística
y la inferencia estadística, así como a la probabilidad
y la estadística.
En el contexto de las comunicaciones, la teoría de la
información tiene que ver con el modelado y el
análisis matemático de un sistema de comunicación
y no con los canales y las fuentes físicos.

En particular, esto proporciona respuestas a dos
preguntas fundamentales (entre otras):
¿Cuál es la complejidad irreductible debajo de la cual no
es posible comprimir una señal?
¿Cuál es la máxima velocidad de transmisión de
información posible en un canal de comunicaciones con
la cantidad mínima de errores posibles (comunicación
confiable).
•Los teóricos de información procuran determinar la
forma en que esto es posible y, si existe alguna cota
máxima posible de alcanzar.
•La teoría de la información también permite establecer si
es posible encontrar un código de fuente que permita
enviar más información en menos tiempo.

Una de las cosas más importantes que debemos
acordar es:
¿podemos establecer una buena medida de lo que es
información?
¿Cómo obtener un mecanismo para establecer el grado
de información que contiene un grupo limitado de
mensajes?
La respuesta a estas preguntas se encuentran en la
entropía de una fuente y en la capacidad de un canal.
Entropía:
Se define en términos del comportamiento probabilístico de una fuente de
información.
Capacidad de Canal:
Se define como la posibilidad intrínseca de un canal para transportar información;
se relaciona de forma natural con las características de ruido de canal.

Medida de la Información
En términos generales, la medida de la información que
genera una fuente está relacionada con la “calidad “ o
“nivel” de novedad (conocimiento) que provee al
destino.
•Por ejemplo, considérese que una fuente sólo puede transmitir uno de
los 4 mensajes siguientes:
x1 : Mañana saldrá el sol por el Este.
x2 : La próxima clase de este curso la dará Bernard Sklar
x3 : Durante la próxima semana se cerrará la Avenida Bolívar por reparaciones.
x4 : En un mes ocurrirá un alineamiento exacto con respecto al sol, de todos los
planetas del sistema solar incluyendo sus satélites naturales.
7. Cuál de estos mensajes tiene más información?
8.En base a qué fenómeno se puede establecer el grado de información
que tiene uno de estos mensajes?
•La respuesta es que la información es inversamente
proporcional a la probabilidad de ocurrencia del
mensaje.

•
•
•
• Por tanto, el mensaje x1 no es información ya que no agrega
conocimiento ya que todos sabemos que el sol sale por el Este y que
dicho evento ocurrirá con el 100% de certeza (siempre ocurre).
El mensaje x2 conlleva bastante información debido al nivel de
novedad que tiene el hecho que el Profesor Bernard Sklar, PhD,
imparta la próxima conferencia. Sin embargo, podemos decir que este
evento es poco probable, aunque posible, ya que está rodeado de
incertidumbre puesto que nunca ha sucedido.
El mensaje x3 es bastante probable ya que en ocasiones anteriores ha
ocurrido, es decir, con cierta frecuencia este evento se repite.
El mensaje x4 resulta ser casi imposible, aunque no se descarta, y
sería un magno evento si ocurriera, llevando una vasta cantidad de
información y conocimiento.
•Con base en lo anterior, se infiere que el mensaje x4 conlleva la mayor
cantidad de información por ser el menos probable y encerrar un alto
grado de incertidumbre.

•
De la discusión y análisis anterior, se puede concluir que la cantidad de
información debe satisfacer las siguientes condiciones:
•
•
•
•
El contenido de información del símbolo (evento) xk depende sólo de
su probabilidad de ocurrencia.
La información propia es una función continua.
La información propia es una función decreciente de su argumento, es
decir, el evento menos probable conlleva mayor información
Si los eventos j y j1 y j2 están relacionados tal que j={j1,j2} y pj=pj1 pj2
entonces:
“información (pj)”= “información (pj1)”+ “información (pj2)
• Desde un punto de vista de ingeniería interesa establecer medidas
comparativas de la riqueza de información que puede tener un conjunto de
mensajes.
I(xk )
Usamos la nomenclatura de información dada por:

La definición de información debe exhibir las siguientes propiedades importantes
que se satisface de manera intituiva :
1.
I(xk )  0 para pk  1
Evidentemente, si estamos absolutamente seguros del resultado
de un evento, incluso antes de que ocurran, no se gana inform ación.
2.
I(xk )  0 para 0  pk  1
Es decir, la ocurrencia de un evento X  x k proporciona o no información,
pero nunca origina una pérdida de información.
3.
I(xk )  I(x j ) para p´k  p j
Es decir, cuanto menos probable es un evento, tanto más información se
gana cuando éste ocurre.
4.
I(xk x j )  I(xk )  I(x j ) si xk y x j son estadísticamente independientes.

Una buena medida es la esperanza matemáticas de los valores estadísticos
de un espacio muestral. Consideremos una fuente de información que envía
uno de los símbolos del siguiente alfabeto:
Cada uno de los símbolos es entonces una muestra de la variable aleatoria
discreta X la cual toma símbolos de dicho alfabeto. La probabilidad que un
símbolo xk sea enviado (ocurra) está dada por:
Entonces una medida de la información propia que acarrea cada
símbolo xk sería:
LX  x0 ,x1 ,..., xK 1
K 1
 pk
k 0
 1
P(X  xk )  pk , k  0 ,1, ...,K-1 con
k
1
I( xk ) 
p
Medida en bits
Fuente Discreta
de Información
X
x2 x1 x0 x1 x2

El valor medio o esperanza de la información que acarrea la variable aleatoria
discreta X, la cual sería:
Sin embargo, definir la información del mensaje como I(xk)= 1/pk, crea un
serio problema para establecer la esperanza de la medida de información y
para cumplir con las 4 condiciones impuestas en la diapositiva #10.
Se puede probar que esta inconveniencia desaparece si se estable que:
El log2 1/pk se justifica dado que un bit es la cantidad mínima de información:
la ausencia o presencia de un mensaje determinado.
I( xk ) log2 pk 
k
p
  ,
 k 
2
I( x ) log
 1 
k  0

1
k
k
k
K 1
E [ I ( x )]  E X   x
p
Medida en bits

Entropía
En este caso se define a la entropía, como la media de la información
acarreada por la variable aleatoria discreta X, y se calcula como:
La cantidad H(X) recibe el nombre de entropía de una fuente discreta sin
memoria con alfabeto de fuente. Esta es una medida del contenido de
información promedia por símbolo de la fuente. Se debe notar que H(X)
depende sólo de las probabilidades del símbolo en alfabeto LX de la fuente.
X 
K 1
   pk  log 2 pk 
k  0
 
H ( X )  E [ I ( x k )]  E 2
 1 
K 1
k  0
 k
 pk 
p  log
Medida en
bits

Propiedades de la Entropía
1 . L a e n t r o p í a d e u n a f u e n t e d i s c r e t a s i n m e m o r i a
c u y o m o d e l o m a t e m á t i c o e s t á a c o t a d a p o r :
0  H ( X )  l o g 2 K
d o n d e K e s l a b a s e ( n ú m e r o d e s í m b o l o s ) d e l a l f a b e t o
f u e n t e .
2 . H ( X )  0 , s i y s o l o s í l a p r o b a b i l i d a d p k  1 p a r a
a l g u n a k , y l a s p r o b a b i l i d a d e s r e s t a n t e s e n e l c o n j u n t o
s o n t o d a s c e r o ; e s t a c o t a i n f e r i o r d e l a e n t r o p í a
c o r r e s p o n d e a n i n g u n a i n c e r t i d u m b r e .
3 . H ( X )  l o g 2 K , s i y s o lo s i p k  1 / K p a r a t o d a k ( e s d e c ir,
t o d o s lo s s í m b o lo s e n e l a l f a b e t o L
LX
X s o n i g u a lm e n t e
p r o b a b l e s ) ; e s t a e s l a c o t a s u p e r i o r d e l a e n t r o p í a
c o r r e s p o n d e a i n c e r t i d u m b r e m á x i m a .

COM II I. Zamora Uni II - Conf 4: Cod. fte. Fmteo. Probabilidad de símbolo 15
Ejemplo 1
Consideremos una fuente binaria discreta sin memoria (DMS) cuyo alfabeto está
compuesto de símbolos enviados con las probabilidades p y 1 - p respectivamente.
Determinaremos la entropía de este alfabeto, trazaremos su gráfica y determinaremos
el valor de p que maximiza dicha entropía
1
H(X)   pk log2 pk 
X
Tenemos que L  { 0,1 } 
x 1
 1
x0  0 con p0  p
con p1 1  p
•
k0
  plog2 p (1 p)log2 (1 p)  H( p )
Cuando p=0, la entropía H(X)=0, esto
es porque xlogx-->0 cuando x-->0.
• Cuando p=1. la entropía H(X)=0.
• La entropía, H(X) alcanza su valor
máximo, Hmáx=1 bit, cuando p1=p2=1/2,
es decir, los símbolos son
equiprobables.
Este resultado también se obtiene al derivar H(X) e
igualando a cero para determinar su máximo. Luego se
despeja p, o sea hallar p tal que dH(p)/dp=0,
H(X)
en
bits
Hmáx

NOTA: Observe que en el estudio que realizaremos sobre el formateo de señales como
PCM y DM, la tasa de muestreo r la denominaremos fS, y la velocidad de transmisión de
información binaria como Rb.
Codificación fuente (nuevamente)
•
Si consideramos una fuente discreta en el tiempo y en la amplitud que
crea observaciones independientes de una variable aleatoria X a una tasa
de r muestras por segundo, entonces la tasa de emisión (transmisión) de
la fuente es:
R  rH (X )
• Tal fuente puede ser codificada usando un codificador fuente, en una
corriente de bit, cuya tasas de transmisión de bits es menor que R+e, con
e>0.
• Es oportuno notar que a menudo es difícil construir códigos que provean
una tasa que sea arbitrariamente cercana a R. Pero a menudo es fácil
alcanzar una tasa mas o menos cercana a R.

Ejemplo 2
Una fuente con un ancho de banda de 4000Hz es muestreada a la frecuencia de Nyquist
y es cuantizada a cinco niveles. Asumiendo que la secuencia resultante puede
modelarse aproximadamente por un DMS con un alfabeto {-2, -1, 0, 1, 2} y con sus
probabilidades correspondientes de {1/2, 1/4, 1/8, 1/16, 1/16}. Determinaremos la tasa o
velocidad de transmisión de la fuente en bits por segundos.

  
         
        16
2 4 4 8 8 16 16 16
2 2
2 2 2
2
 
1
log  1  
1
log  1  
1
log 1  
1
log  1  
1
log  1 
5
H(X)   p log p 
k0
k 2 k
Tenemos que LX  {x0 ,x1 ,x2 ,x3 ,x4 }

 1
p2  1 / 8
p  1 / 4
p0  1 / 2
3
1
3
p4  1 / 16
x4
p  1 / 16
x
x
x0  2 con
 1 con
 0 con
 1 con
 1 con
con x2
H(X) 
15
bits / muestras
8
Por tanto, podemos hallar la velocidad de transmisión como:
15,000bps
bits
b
seg 8 muestras
R  r  H(X)  8,000
muestras

15

Ejemplo 3

Entropía de fuente extendida
En la práctica, la transmisión de información ocurre mas en bloques de símbolos que
en símbolos individuales. El alfabeto Ln
X compuesto de estos de Kn (donde K es el
número de símbolos individuales distintos del alfabeto fuente original LX) bloques
distintos suele nombrarse como alfabeto extendido en cuyo caso la determinación de
la medida de información y de la entropía, cuando la fuente es DMS, se obtiene como:
H( X n
)  nH ( X )
donde:
La entropía de un alfabeto compuesto de orden n es
igual a n veces la entropía de el alfabeto original de
orden 1 que le dio origen.
LX  x0 , x1 ,..., xK 1
 (x0 x1 ...xn1 )( xn x0 ...xn2 )...( xK 1 x1 ...xK 2 )

X
Ln
Compuesto de Kn bloques de
n símbolos
Compuesto de K símbolos

Ejemplo 4
Considere una fuente discreta sin memoria con alfabeto de fuente LX ={x0, x1,
x2} con probabilidades respectivas ={1/4, 1/4, 1/2}. Determinaremos la
entropía H(X) y la entropía compuesta para n=2, o H(X2). Se comprobará que
H(X2)=2H(X).
2
k 2 k
2
H(X)   p log p 
3
bits
k0
Se deja como ejercicio los detalles de este cálculo.
Cuadro auxiliar donde se muestran los alfabetos LX y L2
X
Símbolos
(bloques) L2
X
0 1 2 3 4 5 6 7 8
Secuencia
correspondiente
de símbolos LX
x0x0 x0x1 x0x2 x1x0 x1x1 x1x2 x2x0 x2x1 x2x2
Probabilidad de
símbolos L2
X
1/16 1/16 1/8 1/16 1/16 1/8 1/8 1/8 1/4
 (x 0 , x 1, x 2 )
0 1 8
2
X
n  2 sím bolos por bloque
por tanto K n
 3 2
 9 bloques distintos de L
Observe que K  3 símbolos independientes de L
X
L
2
XX
L  ( ξ , ξ,...,ξ )

Ejemplo 3
Evaluando el resultado tenemos.

 
 
 
 
   
 8
16 16 16 8
16
2
2
 2  2
p log p  
 1
log  1  
1
log  1  
1
log 1  
8
0
2
)  
H(X )  H(
 4 
4
 8 
8
 8 
8
 8 
16  8
16 16  16
2  
2  
2  
 2  
2   2 

1
log  1  
1
log  1  
1
log  1  
1
log  1  
1
log  1  
1
log  1 
H(X 2
)  3bits
De tal manera vemos que H(X2)=2H(X), es decir (3) = (2)*(3/2)

Hemos indicado que uno de los objetivos de la teoría de la información es establecer si
es posible encontrar un código de fuente que permita enviar más información en
menos tiempo, esto es, encontrar un código que sea suficientemente eficiente.
Por código eficiente se entiende aquel código cuya longitud media es la mínima posible
que resulta de asignar códigos mas cortos a símbolos mas probables y códigos mas
largos a símbolos menos probables. En la conferencia #3, estudiamos un caso
particular conocido como Código Huffman el cual cumple con esta condición.
Alfabeto Fuente
Probabilidad de los símbolos
del Alfabeto Fuente
Longitud media del código
Varianza de la longitud de los códigos
K-1
LX  x0 , x1 ,..., xK 1
 1
K 1
 pk
k 0
P(X  xk )  pk
k  0 ,1, ...,K-1 con
2
LX   pk lk
k0
K-1
k0
k k
X   p l  L
σ2

Dada una fuente discreta sin memoria de
entropía H(X),La longitud promedio de
palabra de código L para cualquier
esquema de codificación fuente sin
distorsión está acotada como:
L X  H ( X )
Primero teorema de Shannon
Matemáticamente, la eficiencia de un código se define como:
X
L
H( X )
η 
Es el valor mínimo posible de LX
el código será mas efeciente en la medida que η 1
 Lmín
con LX se observa que η 1, por tanto
El valor mínimo de L (Lmín) se obtiene a través del primer teorema de Shannon
conocido como teorema de la codificación fuente. Este teorema se enuncia
como:
Fuente discreta
sin memoria
Fuente discreta
sin memoria
x a
k k
Secuencia
Binaria
Entonces, la
eficiencia del código
se puede reescribir
como:
L
η  mín
LX
La redundancia del
código se calcula
como:
 1

Codificación fuente: código Huffman
•
•
•
• Una limitación fundamental de los códigos Huffman es que las
estadísticas de los símbolos fuentes tienen que ser conocidas (o
estimadas).
Para el código Huffman, puede mostrarse que el número medio de bits de
código de un símbolo fuente, L(x) satisface la relación siguiente:
H(X )  LX  H(X ) 1
Cuando se codifican n símbolos al mismo tiempo, se obtiene el resultado
correspondiente:
H(X )  LX  H(X ) 1 n
Así que, al usar códigos amplios de Huffman, con bloques de longitud
suficientemente grande, es posible que se llegue arbitrariamente a
valores muy cercanos del límite de la entropía. Esto no es una forma
práctica, pero este desarrollo básicamente constituye una prueba del
teorema de codificación fuente.

lecture4teoradelainformacin-120221112111-phpapp02.pptx

Recomendados

Recomendados

Más contenido relacionado

Similar a lecture4teoradelainformacin-120221112111-phpapp02.pptx

Similar a lecture4teoradelainformacin-120221112111-phpapp02.pptx (20)

Último

Último (20)

lecture4teoradelainformacin-120221112111-phpapp02.pptx