1. El documento analiza las fuentes de información con y sin memoria.
2. Una fuente de Markov depende de los símbolos anteriores emitidos, mientras que una fuente sin memoria no depende de los símbolos anteriores.
3. Se definen conceptos como la matriz de transición, los estados de la fuente, y la entropía de una fuente de Markov. Se proveen ejemplos para ilustrar estos conceptos.
1. CONFERENCIA N° 5
Tabla de contenido
1. OBJETIVOS ................................................................................................................... 1
2. INTRODUCCIÓN ........................................................................................................... 1
3. DESARROLLO ............................................................................................................... 2
3.1. EXTENSIÓN DE UNA FUENTE SIN MEMORIA ....................................................... 2
EJERCICIO N° 1 .............................................................................................................. 3
3.2. FUENTE DE INFORMACIÓN CON MEMORIA. FUENTE DE MARKOV. .................. 3
EJERCICIO N°2............................................................................................................... 4
3.3. ENTROPÍA DE UNA FUENTE DE MARKOV............................................................ 5
EJERCICIO N°3............................................................................................................... 6
EJERCICIO N° 4 .............................................................................................................. 7
3.3.1. CADENAS DE MARKOV ..................................................................................... 8
EJEMPLO ....................................................................................................................... 8
1. OBJETIVOS
• Analizar la extensión de Fuente con memoria y Fuente de información sin memoria.
• Determinar las diferencias entre una fuente con memoria y sin memoria
• Verificar la Teoría de Markov
• Desarrollar diferentes ejercicios de extensión de fuente sin memoria y con memoria
2. INTRODUCCIÓN
Siendo una fuente de información un conjunto de símbolos que llamaremos alfabeto de la
fuente y unas probabilidades asociadas a esos símbolos siguiendo unas características de la
fuente. Las fuentes de información emiten símbolos de acuerdo a las probabilidades asociadas
a esos símbolos y según estas probabilidades asignadas a los símbolos.
Una fuente de información de Markov es aquella en la que la aparición de un símbolo
depende de la aparición anterior de un numero m determinado de símbolos anteriores, lo que
significa que la probabilidad de aparición de un símbolo esta condicionada a la aparición
anterior de otros símbolos. Por eso la fuente se denomina fuente de Markov de orden m. Se
puede indicar la situación de la fuente en cualquier momento indicando el estado en el que se
encuentra, definiéndose este estado por los m símbolos precedentes, teniendo en cuenta que el
estado puede cambiar con la emisión de cada símbolo.
2. 3. DESARROLLO
3.1. EXTENSIÓN DE UNA FUENTE SIN MEMORIA
Si consideramos una fuente discreta binaria sin memoria, que emite los símbolos S1=0 y S2=1
con probabilidades de ocurrencia conocidas. Podemos caracterizar la información media por
símbolo de la fuente a través de la entropía.
Esto es:
2
H ( S ) = P( S1 ) log(1 P( S1 )) + P( S 2 ) log(1 P ( S 2 )) = ∑ P ( S i ) log(1 P ( S i ))
i =1
Estudiemos ahora el caso en que esta fuente emite cadenas de dos símbolos, cuyos
componentes son S1 y S2.
De este modo estaríamos en presencia de una fuente discreta capaz de emitir las cadenas:
S1S1, S1S2, S2S1, S2S2 o los mensajes 00, 01, 10, 11.
De igual manera pudiéramos considerar mensajes compuestos por tres símbolos, por r
símbolos, etc.
Para una fuente discreta sin memoria X con un alfabeto q símbolos x = {x1, x2, ... , xq},
podemos considerar una fuente derivada de X que agrupe secuencias de r símbolos de X.
La fuente derivada de X, llamémosle Y, contiene qr mensajes diferentes y le llamaremos
“extensión de orden r de la fuente X” y representaremos así:
y = {y1, y2, ... , yqr}
y es también una fuente discreta sin memoria donde cada yi es una secuencia de r símbolos de
X.
yi = xi1 xi2 xi3 … xir
Y la probabilidad de ocurrencia de yi será:
P(yi) = P(xi1) P(xi2) … P(xir)
A la entropía de la fuente extendida de orden r le llamaremos H(Sr) y se puede demostrar que:
H(Sr) = rH(S)
3. EJERCICIO N° 1
Si2 P(Si2) H (S2) = 1/16 log 16 + 2[3/16 log 16/3] + 9/16 log 16/9
S1S1 1/16 H (S2) = 1/16 *4 + 2[3/16 log 16/3] + 9/16 log 16/9
S1S2 3/16 H (S2) = 1/4 + 6/16[log 16 - log 3] + 9/16[log 16 - log 9]
S2S1 3/16 H (S2) = 1/4 + 6/16[4 -1,58] + 9/16[4 - 3,16]
S2S2 9/16 H (S2) = 1,66 → Shannon/mensaje
Si P(Si) H(S) = P(S1) log (1/P(S1)) + P(S2) log (1/P(S2))
S1 ¼ = 1/4 log 4 + 3/4 log 4/3 = 1/2 + 0,311
S2 ¾
= 0,8112 → Shannon/símbolos
Prueba que:
H(S2) = 2H(S)
1,66 ≈ 2(0,8112)
1,66 ≈ 1,6224
Al considerar una secuencia de orden r de símbolos, la entropía aumenta r veces con respecto
a la fuente original.
3.2. FUENTE DE INFORMACIÓN CON MEMORIA. FUENTE DE MARKOV.
Como habíamos establecido en una fuente sin memoria la emisión de un símbolo (en términos de su
probabilidad) es estadísticamente independiente de la secuencia de símbolos anteriormente emitidos.
Esto es:
P(Si/Si-1, Si-2, ... , Si) = P(Si) i = 1, 2, ..., n
Como se ha discutido este modelo abstracto no se corresponde completamente con la mayoría de las
fuentes que se tienen en cuenta en el mundo real, analícese por ejemplo el lenguaje natural. Un modelo
más concreto es aquel que reconoce la dependencia estadística de emisión de un símbolo dado que ha
ocurrido en la emisión de una secuencia de k símbolos.
Este modelo se le llama fuente discreta con memoria de orden k o fuente de Markov.
En este caso no consideraría la probabilidad a priori de la ocurrencia de Si, con respecto a una
secuencia previa de k símbolos.
4. Para una fuente de Markov de orden k y de N símbolos existirán Nk estados diferentes.
En un momento dado la fuente se encontrará en un estado Ei y al emitirse un nuevo símbolo
esta pasará al estado Ej en una probabilidad dada P(Ei/Ej) así denotada.
Esta transición del estado Ei al Ej por la ocurrencia del símbolo Sm se acostumbra a
representar mediante un diagrama de estados, así:
Ej
Sm
En término más prácticos la fuente solo recuerda los
últimos k símbolos emitidos por lo que puede
considerarse como un registro de k posiciones.
Ei
EJERCICIO N°2
Considere la fuente de Markov de orden 2 con alfabeto binario:
S = {0,1}
Cantidad de estados = 22 = 4 → (00, 01, 10, 11)
Se conoce las probabilidades de aparición de un símbolo dado de las diferentes cadenas de
longitud 2.
P(0/00) = P(1/11)=0.8
P(1/00) = P(0/11)=0,2
P(0/01) = P(0/10) = P(1/10) = P(1/01) = 0,5
La fuente de Markov puede representarse mediante el siguiente diagrama de estados:
t0 t1
S1S1 S1
S1S2 S1
S2S1 S1
S2S2 S1
5. En general solo es posible pasar de un estado a otro N estado.
Las probabilidades P(Ej/Ei) pueden representarse en una matriz de transición de estados que
contiene Nk filas y Nk columnas.
k
P( E1 / E1 ) P( E 2 / E1 ) .............. P( E N / E1 )
k
P( E1 / E 2 ) P( E 2 / E 2 ) ................ P( E N / E 2 )
T = {P( E j / Ei )} = ............... ............... ................. ..............
............... ............... ............... ................
k k k k
P ( E1 / E N ) P( E 2 / E N ) ................ P( E N / E N )
Cada fila representa un estado actual Ei y cada columna un estado próximo Ej.
Para el ejemplo tratado:
P(00 / 00) P(01 / 00) P(10 / 00) P(11 / 00)
P(00 / 01) P (01 / 01) P (10 / 01) P (11 / 01)
T=
P (00 / 10) P (01 / 10) P (10 / 10) P (11 / 10)
P (00 / 11) P (01 / 11) P (10 / 11) P (11 / 11)
Como de un estado dado solo se puede pasar a otros N estados incluyéndose a él mismo, en
cada fila hay solo N probabilidades diferentes a 0.
Para cada fila se cumple:
Nk
∑ P( E
j =1
j / Ei ) = 1
En resumen para caracterizar una fuente con memoria es necesario conocer:
El alfabeto de la fuente
La matriz de transición T
El conjunto de probabilidades de los estados de la fuente
3.3. ENTROPÍA DE UNA FUENTE DE MARKOV
Para cada estado de la fuente Ei puede definirse una entropía H(Ej/Ei) interpretable como la
información promedio que brinda la fuente cuando se halla en el estado Ei.
Nk
H ( E j / Ei ) = ∑ P( E j / Ei ) log(1 / P( E j / Ei ))
j =1
6. Sin embargo cada estado Ei tiene su propia probabilidad de ocurrencia a priori P(Ei).
Se define entonces la entropía de la fuente de Markov así:
Nk
H ( S ) = ∑ P( Ei ) H ( E j / Ei )
i =1
Nk Nk
H ( S ) = ∑∑ P( Ei ) P( E j / Ei ) log(1 / P( E j / Ei ))
i =1 j =1
Para fuentes de Markov de orden k = 1 cada estado se determina por un símbolo del alfabeto
por lo que:
P( E j / E i ) = P( S j / S i )
Nk Nk
H ( S ) = ∑∑ P( S i ) P( S j / S i ) log(1 / P( S j / S i ))
i =1 i =1
Para fuente de Markov de orden 1 se cumple que
H(S) ≤ log N
El valor máximo ocurre cuando los símbolos son equiprobables:
P(Sj/Si) = 1/N
En cuyo caso deja de ser una fuente con memoria
EJERCICIO N°3
Se tiene una fuente binaria de Markov de orden 1 con la siguiente matriz de transición.
0.7
P(1 / 1) P (0 / 1) 0.3 0 0.1 1 0.9
T=
P (1 / 0) P (0 / 0)
P(1) = 0.875
P(0) = 0.125
P(1/1) = 0,9
P(0/1) = 0,1
P(1/0) = 0,7 ⇒ P(0/0) = 1 - P(1/0) = 0,3
Calcule la entropía.
7. 2 2
H ( S ) = ∑∑ P ( S i ) P ( S j / S i ) log(1 / P ( S j / S i ))
j =1 i =1
= 0.125 * 0.3 * log 1/0.3 + → 3.33 → 1.737
0.125 * 0.7 * log 1/0.7 + → 1.43 → 0.52
0.875 * 0.1 * log 1/0.1 + → 10 → 3.33
0.875 * 0.9 * log 1/0.9 = → 1.11 → 0.15
= 0.0651 + 0.0455 + 0.291 + 0.118 =
= 0.5201
EJERCICIO N° 4
Consideremos una fuente discreta sin memoria que emite los símbolos S1 = 0, S2 = 1 y S3 = 2
con las probabilidades de ocurrencia siguientes:
Si P(Si)
S1 1/4
S2 3/4
S3 1/2
Cuál será el valor de la entropía y la cantidad de mensajes para las fuentes extendidas de
orden 2 (H(S2)) y de orden 3 (H(S3)).
H(S) = P(S1) log 1/P(S1) + P(S2) log l/P(S2) + P(S3) log 1/P(S3)
H(S) = 1/6 * log 6 + 1/3 * log 3 + 1/2 * log 2
= 2.59/6 + 1.59/3 + 1/2 = 1,462
H(S2) = 2H(S) = 2,924
H(S3) = 2H(S) = 4,386
qr = 3 2 = 9 → 33 = 27
8. 3.3.1. CADENAS DE MARKOV
Supongamos que M = { X n }n =0 (o M = { X n }n = −∞ ) es una sucesión de variables aleatorias
∞ ∞
correlacionadas, donde cada (estado) X n proviene de algún conjunto Ω conocido como el
espacio de estados. Se supone que los estados en Ω pueden ser etiquetados mediante enteros,
es decir, Ω es discreto.
El proceso es una cadena de Markov si éste satisface la condición de Markov
Pr ( X n +1
= =
j Xn =
i, X n −1 xn −1 ,..., X 0 = Pr ( X n +1
= x0 ) = =
j Xn i)
Una distribución inicial Pr ( X 0 = i ) para X 0 y la probabilidad de transición para X n +1 dado
X n , Pr ( X n +1
= =
j Xn i ) determinan una cadena de Markov.
Si la probabilidad de transición no depende de n , es decir, si
Pr ( X n + m +1 = j X n+m = i ) = Pr ( X n +1 = j Xn = i); ∀m ∈
decimos que la cadena de Markov M es homogénea y escribimos la probabilidad de
transición como una matriz P donde sus elementos están dados por
= Pr ( X n +1
Pij = =
j Xn i)
Note que Pij es la probabilidad condicional para pasar al estado j en el próximo paso dado
que el estado actual sea i . Las probabilidades de transición satisfacen la condición de
normalización
∑P
j∈Ω
ij =1
ya que la cadena debe estar en algún estado en el próximo paso.
Una matriz de esta naturaleza, cuyas filas suman uno es conocida como matriz estocástica.
EJEMPLO
Supongamos que Ω ={1, 2,3} , la matriz de transición es
52 1
2
1
10
P=15
7
10
1
10
2 2 1
5 5 5
y la distribución inicial es Pr ( X 0 i =
= ) (1 , 1 , 1).
3 3 3
9. 0.4
1
0.1
0.5
0.4
0.2
Se puede representar a la matriz de transición como un grafo, donde un vértice corresponde a
un estado y un enlace orientado del vértice i al vértice j le corresponde una probabilidad de
transición Pij de i a j cuando ésta sea diferente de cero. Para el ejemplo tenemos su
correspondiente representación en un grafo orientado en la Figura 1.
0.1
2 3
0.7 0.4 0.2
Figura1: Grafo orientado correspondiente al Ejemplo 1.
5.-Conclusiones
• Se analizó la extensión de Fuente con memoria y Fuente de información sin
memoria.
• Se determino que la fuente con memoria depende de una probabilidad anterior a
diferencia de la de sin memoria
• En la fuente de Markov al ser de un grado demasiado alto se hace difícil el cálculo.
6-Recomendaciones
Se debe ordenar los datos antes de comenzar los cálculos
Realizar con efectividad los cálculos de la fuente de Markov