SlideShare una empresa de Scribd logo
1 de 9
Descargar para leer sin conexión
CONFERENCIA N° 5
Tabla de contenido
1.     OBJETIVOS ................................................................................................................... 1
2.     INTRODUCCIÓN ........................................................................................................... 1
3.     DESARROLLO ............................................................................................................... 2
     3.1.       EXTENSIÓN DE UNA FUENTE SIN MEMORIA ....................................................... 2
       EJERCICIO N° 1 .............................................................................................................. 3
     3.2.       FUENTE DE INFORMACIÓN CON MEMORIA. FUENTE DE MARKOV. .................. 3
       EJERCICIO N°2............................................................................................................... 4
     3.3.       ENTROPÍA DE UNA FUENTE DE MARKOV............................................................ 5
       EJERCICIO N°3............................................................................................................... 6
       EJERCICIO N° 4 .............................................................................................................. 7
     3.3.1.       CADENAS DE MARKOV ..................................................................................... 8
       EJEMPLO ....................................................................................................................... 8




      1. OBJETIVOS
            •   Analizar la extensión de Fuente con memoria y Fuente de información sin memoria.
            •   Determinar las diferencias entre una fuente con memoria y sin memoria
            •   Verificar la Teoría de Markov
            •   Desarrollar diferentes ejercicios de extensión de fuente sin memoria y con memoria


      2. INTRODUCCIÓN
Siendo una fuente de información un conjunto de símbolos que llamaremos alfabeto de la
fuente y unas probabilidades asociadas a esos símbolos siguiendo unas características de la
fuente. Las fuentes de información emiten símbolos de acuerdo a las probabilidades asociadas
a esos símbolos y según estas probabilidades asignadas a los símbolos.
Una fuente de información de Markov es aquella en la que la aparición de un símbolo
depende de la aparición anterior de un numero m determinado de símbolos anteriores, lo que
significa que la probabilidad de aparición de un símbolo esta condicionada a la aparición
anterior de otros símbolos. Por eso la fuente se denomina fuente de Markov de orden m. Se
puede indicar la situación de la fuente en cualquier momento indicando el estado en el que se
encuentra, definiéndose este estado por los m símbolos precedentes, teniendo en cuenta que el
estado puede cambiar con la emisión de cada símbolo.
3. DESARROLLO

3.1. EXTENSIÓN DE UNA FUENTE SIN MEMORIA

Si consideramos una fuente discreta binaria sin memoria, que emite los símbolos S1=0 y S2=1
con probabilidades de ocurrencia conocidas. Podemos caracterizar la información media por
símbolo de la fuente a través de la entropía.

Esto es:

                                                                          2
         H ( S ) = P( S1 ) log(1 P( S1 )) + P( S 2 ) log(1 P ( S 2 )) = ∑ P ( S i ) log(1 P ( S i ))
                                                                         i =1


Estudiemos ahora el caso en que esta fuente emite cadenas de dos símbolos, cuyos
componentes son S1 y S2.

De este modo estaríamos en presencia de una fuente discreta capaz de emitir las cadenas:
S1S1, S1S2, S2S1, S2S2 o los mensajes 00, 01, 10, 11.

De igual manera pudiéramos considerar mensajes compuestos por tres símbolos, por r
símbolos, etc.

Para una fuente discreta sin memoria X con un alfabeto q símbolos x = {x1, x2, ... , xq},
podemos considerar una fuente derivada de X que agrupe secuencias de r símbolos de X.

La fuente derivada de X, llamémosle Y, contiene qr mensajes diferentes y le llamaremos
“extensión de orden r de la fuente X” y representaremos así:

        y = {y1, y2, ... , yqr}

y es también una fuente discreta sin memoria donde cada yi es una secuencia de r símbolos de
X.

        yi = xi1 xi2 xi3 … xir

Y la probabilidad de ocurrencia de yi será:

P(yi) = P(xi1) P(xi2) … P(xir)

A la entropía de la fuente extendida de orden r le llamaremos H(Sr) y se puede demostrar que:

H(Sr) = rH(S)
EJERCICIO N° 1



      Si2          P(Si2)            H (S2) = 1/16 log 16 + 2[3/16 log 16/3] + 9/16 log 16/9

      S1S1         1/16              H (S2) = 1/16 *4 + 2[3/16 log 16/3] + 9/16 log 16/9

      S1S2         3/16              H (S2) = 1/4 + 6/16[log 16 - log 3] + 9/16[log 16 - log 9]

      S2S1         3/16              H (S2) = 1/4 + 6/16[4 -1,58] + 9/16[4 - 3,16]

      S2S2         9/16              H (S2) = 1,66 → Shannon/mensaje



      Si           P(Si)             H(S)      = P(S1) log (1/P(S1)) + P(S2) log (1/P(S2))

      S1           ¼                 = 1/4 log 4 + 3/4 log 4/3 = 1/2 + 0,311
      S2           ¾
                                     = 0,8112 → Shannon/símbolos


               Prueba que:
              H(S2) = 2H(S)
             1,66 ≈ 2(0,8112)
              1,66 ≈ 1,6224


Al considerar una secuencia de orden r de símbolos, la entropía aumenta r veces con respecto
a la fuente original.


3.2. FUENTE DE INFORMACIÓN CON MEMORIA. FUENTE DE MARKOV.

Como habíamos establecido en una fuente sin memoria la emisión de un símbolo (en términos de su
probabilidad) es estadísticamente independiente de la secuencia de símbolos anteriormente emitidos.
Esto es:

P(Si/Si-1, Si-2, ... , Si) = P(Si)          i = 1, 2, ..., n

Como se ha discutido este modelo abstracto no se corresponde completamente con la mayoría de las
fuentes que se tienen en cuenta en el mundo real, analícese por ejemplo el lenguaje natural. Un modelo
más concreto es aquel que reconoce la dependencia estadística de emisión de un símbolo dado que ha
ocurrido en la emisión de una secuencia de k símbolos.

Este modelo se le llama fuente discreta con memoria de orden k o fuente de Markov.

En este caso no consideraría la probabilidad a priori de la ocurrencia de Si, con respecto a una
secuencia previa de k símbolos.
Para una fuente de Markov de orden k y de N símbolos existirán Nk estados diferentes.

En un momento dado la fuente se encontrará en un estado Ei y al emitirse un nuevo símbolo
esta pasará al estado Ej en una probabilidad dada P(Ei/Ej) así denotada.

Esta transición del estado Ei al Ej por la ocurrencia del símbolo Sm se acostumbra a
representar mediante un diagrama de estados, así:

                           Ej
              Sm
                                          En término más prácticos la fuente solo recuerda los
                                          últimos k símbolos emitidos por lo que puede
                                          considerarse como un registro de k posiciones.

         Ei

EJERCICIO N°2

Considere la fuente de Markov de orden 2 con alfabeto binario:

S = {0,1}
        Cantidad de estados = 22 = 4 → (00, 01, 10, 11)

Se conoce las probabilidades de aparición de un símbolo dado de las diferentes cadenas de
longitud 2.




P(0/00) = P(1/11)=0.8
P(1/00) = P(0/11)=0,2
P(0/01) = P(0/10) = P(1/10) = P(1/01) =            0,5

La fuente de Markov puede representarse mediante el siguiente diagrama de estados:

t0            t1
S1S1          S1
S1S2          S1
S2S1          S1
S2S2          S1
En general solo es posible pasar de un estado a otro N estado.

Las probabilidades P(Ej/Ei) pueden representarse en una matriz de transición de estados que
contiene Nk filas y Nk columnas.

                                                                                                k
                               P( E1 / E1 )       P( E 2 / E1 )      ..............      P( E N / E1 )
                                                                                                 k
                              P( E1 / E 2 )      P( E 2 / E 2 )     ................    P( E N / E 2 )
        T = {P( E j / Ei )} = ...............     ...............   .................     ..............
                               ...............    ...............    ...............     ................
                                             k                  k                              k         k
                              P ( E1 / E N )     P( E 2 / E N )     ................    P( E N / E N )


Cada fila representa un estado actual Ei y cada columna un estado próximo Ej.

Para el ejemplo tratado:

                        P(00 / 00) P(01 / 00) P(10 / 00) P(11 / 00)
                        P(00 / 01) P (01 / 01) P (10 / 01) P (11 / 01)
                     T=
                        P (00 / 10) P (01 / 10) P (10 / 10) P (11 / 10)
                        P (00 / 11) P (01 / 11) P (10 / 11) P (11 / 11)


Como de un estado dado solo se puede pasar a otros N estados incluyéndose a él mismo, en
cada fila hay solo N probabilidades diferentes a 0.

Para cada fila se cumple:

        Nk

        ∑ P( E
        j =1
                 j   / Ei ) = 1



En resumen para caracterizar una fuente con memoria es necesario conocer:

     El alfabeto de la fuente
     La matriz de transición T
     El conjunto de probabilidades de los estados de la fuente

    3.3. ENTROPÍA DE UNA FUENTE DE MARKOV

Para cada estado de la fuente Ei puede definirse una entropía H(Ej/Ei) interpretable como la
información promedio que brinda la fuente cuando se halla en el estado Ei.

                             Nk
        H ( E j / Ei ) = ∑ P( E j / Ei ) log(1 / P( E j / Ei ))
                             j =1
Sin embargo cada estado Ei tiene su propia probabilidad de ocurrencia a priori P(Ei).

Se define entonces la entropía de la fuente de Markov así:

                     Nk
        H ( S ) = ∑ P( Ei ) H ( E j / Ei )
                     i =1
                     Nk Nk
        H ( S ) = ∑∑ P( Ei ) P( E j / Ei ) log(1 / P( E j / Ei ))
                     i =1 j =1



Para fuentes de Markov de orden k = 1 cada estado se determina por un símbolo del alfabeto
por lo que:

        P( E j / E i ) = P( S j / S i )
                   Nk Nk
        H ( S ) = ∑∑ P( S i ) P( S j / S i ) log(1 / P( S j / S i ))
                   i =1 i =1


Para fuente de Markov de orden 1 se cumple que

H(S) ≤ log N

El valor máximo ocurre cuando los símbolos son equiprobables:

P(Sj/Si) = 1/N

En cuyo caso deja de ser una fuente con memoria


EJERCICIO N°3

Se tiene una fuente binaria de Markov de orden 1 con la siguiente matriz de transición.


                                                                         0.7
           P(1 / 1) P (0 / 1)                                    0.3 0   0.1    1 0.9
        T=
           P (1 / 0) P (0 / 0)

P(1) = 0.875
P(0) = 0.125

P(1/1) = 0,9
P(0/1) = 0,1
P(1/0) = 0,7 ⇒ P(0/0) = 1 - P(1/0) = 0,3

Calcule la entropía.
2    2
         H ( S ) = ∑∑ P ( S i ) P ( S j / S i ) log(1 / P ( S j / S i ))
                    j =1 i =1




         = 0.125 * 0.3 * log 1/0.3 +        → 3.33                         → 1.737
           0.125 * 0.7 * log 1/0.7 +        → 1.43                         → 0.52
           0.875 * 0.1 * log 1/0.1 +        → 10                           → 3.33
           0.875 * 0.9 * log 1/0.9 =        → 1.11                         → 0.15
         = 0.0651 + 0.0455 + 0.291 + 0.118 =
         = 0.5201


EJERCICIO N° 4

Consideremos una fuente discreta sin memoria que emite los símbolos S1 = 0, S2 = 1 y S3 = 2
con las probabilidades de ocurrencia siguientes:

Si             P(Si)
S1             1/4
S2             3/4
S3             1/2

Cuál será el valor de la entropía y la cantidad de mensajes para las fuentes extendidas de
orden 2 (H(S2)) y de orden 3 (H(S3)).

H(S) = P(S1) log 1/P(S1) + P(S2) log l/P(S2) + P(S3) log 1/P(S3)

H(S) = 1/6 * log 6 + 1/3 * log 3 + 1/2 * log 2

                = 2.59/6 + 1.59/3 + 1/2 = 1,462

H(S2) = 2H(S) = 2,924

H(S3) = 2H(S) = 4,386

qr = 3 2 = 9      → 33 = 27
3.3.1.     CADENAS DE MARKOV

Supongamos que M = { X n }n =0 (o M = { X n }n = −∞ ) es una sucesión de variables aleatorias
                                        ∞                              ∞


correlacionadas, donde cada (estado) X n proviene de algún conjunto Ω conocido como el
espacio de estados. Se supone que los estados en Ω pueden ser etiquetados mediante enteros,
es decir, Ω es discreto.

El proceso es una cadena de Markov si éste satisface la condición de Markov

              Pr ( X n +1
                 =             =
                               j Xn          =
                                            i, X n −1    xn −1 ,..., X 0 = Pr ( X n +1
                                                                  = x0 )      =                       =
                                                                                                      j Xn    i)

Una distribución inicial Pr ( X 0 = i ) para X 0 y la probabilidad de transición para X n +1 dado
X n , Pr ( X n +1
         =           =
                     j Xn         i ) determinan una cadena de Markov.

Si la probabilidad de transición no depende de n , es decir, si

                    Pr ( X n + m +1 =   j X n+m =       i ) = Pr ( X n +1 =           j Xn =   i);   ∀m ∈ 

decimos que la cadena de Markov M es homogénea y escribimos la probabilidad de
transición como una matriz P donde sus elementos están dados por

                                         = Pr ( X n +1
                                          Pij =                             =
                                                                            j Xn        i)

Note que Pij es la probabilidad condicional para pasar al estado j en el próximo paso dado
que el estado actual sea i . Las probabilidades de transición satisfacen la condición de
normalización
                                                           ∑P
                                                            j∈Ω
                                                                  ij   =1


ya que la cadena debe estar en algún estado en el próximo paso.

Una matriz de esta naturaleza, cuyas filas suman uno es conocida como matriz estocástica.


EJEMPLO
Supongamos que Ω ={1, 2,3} , la matriz de transición es


                                                          52           1
                                                                        2
                                                                              1
                                                                             10   
                                                                                 
                                                        P=15
                                                                        7
                                                                       10
                                                                              1
                                                                             10   
                                                          2           2     1    
                                                          5           5     5    


y la distribución inicial es Pr ( X 0 i =
                                    = )                  (1 , 1 , 1).
                                                          3 3 3
0.4


                                           1
                                                   0.1
                         0.5
                                                         0.4




                                 0.2


Se puede representar a la matriz de transición como un grafo, donde un vértice corresponde a
un estado y un enlace orientado del vértice i al vértice j le corresponde una probabilidad de
transición Pij de i a j cuando ésta sea diferente de cero. Para el ejemplo tenemos su
correspondiente representación en un grafo orientado en la Figura 1.

                                           0.1
                            2                                  3


                 0.7                         0.4                    0.2


Figura1: Grafo orientado correspondiente al Ejemplo 1.




5.-Conclusiones
     • Se analizó la extensión de Fuente con memoria y Fuente de información sin
         memoria.
     • Se determino que la fuente con memoria depende de una probabilidad anterior a
         diferencia de la de sin memoria
     • En la fuente de Markov al ser de un grado demasiado alto se hace difícil el cálculo.


6-Recomendaciones

    Se debe ordenar los datos antes de comenzar los cálculos

    Realizar con efectividad los cálculos de la fuente de Markov

Más contenido relacionado

La actualidad más candente

Lecture 9 codificación de línea y psd
Lecture 9 codificación de línea y psdLecture 9 codificación de línea y psd
Lecture 9 codificación de línea y psdnica2009
 
Lecture 6 formateo de señales en pcm
Lecture 6 formateo de señales en pcmLecture 6 formateo de señales en pcm
Lecture 6 formateo de señales en pcmnica2009
 
Codificación Convolucional, Decodificador de Viterbi y Turbo Código
Codificación Convolucional, Decodificador de Viterbi y Turbo CódigoCodificación Convolucional, Decodificador de Viterbi y Turbo Código
Codificación Convolucional, Decodificador de Viterbi y Turbo CódigoOscar Javier Jimenez Revelo
 
Ruido en un Sistema de Comunicación Parte II
Ruido en un Sistema de Comunicación   Parte IIRuido en un Sistema de Comunicación   Parte II
Ruido en un Sistema de Comunicación Parte IIFam ParCar
 
No retorno a cero (nrz l)
No retorno a cero (nrz l)No retorno a cero (nrz l)
No retorno a cero (nrz l)Fernando Luz
 
CAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOS
CAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOSCAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOS
CAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOSStudent A
 
Ruido en telecomunicaciones
Ruido en telecomunicacionesRuido en telecomunicaciones
Ruido en telecomunicacionesMonica Patiño
 
Sistema de transmision banda base
Sistema de transmision banda baseSistema de transmision banda base
Sistema de transmision banda baseDouglas
 
TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE
TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE
TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE Toño Avilix
 
3.PCM Digitalizacion de señal analogica
3.PCM Digitalizacion de señal analogica3.PCM Digitalizacion de señal analogica
3.PCM Digitalizacion de señal analogicaEdison Coimbra G.
 
Ejercicios Modulación Análoga & Digital resultados(fam)-rev3
Ejercicios Modulación Análoga & Digital resultados(fam)-rev3Ejercicios Modulación Análoga & Digital resultados(fam)-rev3
Ejercicios Modulación Análoga & Digital resultados(fam)-rev3Francisco Apablaza
 
Teoria de la informacion
Teoria de la informacionTeoria de la informacion
Teoria de la informacionGalafardo Gala
 

La actualidad más candente (20)

Lecture 9 codificación de línea y psd
Lecture 9 codificación de línea y psdLecture 9 codificación de línea y psd
Lecture 9 codificación de línea y psd
 
Lecture 6 formateo de señales en pcm
Lecture 6 formateo de señales en pcmLecture 6 formateo de señales en pcm
Lecture 6 formateo de señales en pcm
 
Solución ejercicios 9 12
Solución ejercicios 9 12Solución ejercicios 9 12
Solución ejercicios 9 12
 
Hamming y CRC
Hamming y CRCHamming y CRC
Hamming y CRC
 
Codificación Convolucional, Decodificador de Viterbi y Turbo Código
Codificación Convolucional, Decodificador de Viterbi y Turbo CódigoCodificación Convolucional, Decodificador de Viterbi y Turbo Código
Codificación Convolucional, Decodificador de Viterbi y Turbo Código
 
Ruido en un Sistema de Comunicación Parte II
Ruido en un Sistema de Comunicación   Parte IIRuido en un Sistema de Comunicación   Parte II
Ruido en un Sistema de Comunicación Parte II
 
Fuentes de informacion y entropia
Fuentes de informacion y entropiaFuentes de informacion y entropia
Fuentes de informacion y entropia
 
No retorno a cero (nrz l)
No retorno a cero (nrz l)No retorno a cero (nrz l)
No retorno a cero (nrz l)
 
CAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOS
CAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOSCAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOS
CAPACIDAD DE CANAL DE COMUNICACIÓN DE DATOS
 
Ruido en telecomunicaciones
Ruido en telecomunicacionesRuido en telecomunicaciones
Ruido en telecomunicaciones
 
Sistema de transmision banda base
Sistema de transmision banda baseSistema de transmision banda base
Sistema de transmision banda base
 
Sa fourier con matlab
Sa fourier con matlabSa fourier con matlab
Sa fourier con matlab
 
TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE
TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE
TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN FUENTE
 
3.PCM Digitalizacion de señal analogica
3.PCM Digitalizacion de señal analogica3.PCM Digitalizacion de señal analogica
3.PCM Digitalizacion de señal analogica
 
Modulacion ask
Modulacion askModulacion ask
Modulacion ask
 
Ejercicios Modulación Análoga & Digital resultados(fam)-rev3
Ejercicios Modulación Análoga & Digital resultados(fam)-rev3Ejercicios Modulación Análoga & Digital resultados(fam)-rev3
Ejercicios Modulación Análoga & Digital resultados(fam)-rev3
 
Trellis Y Viterbi
Trellis Y ViterbiTrellis Y Viterbi
Trellis Y Viterbi
 
Pcm
PcmPcm
Pcm
 
Exposicion hdb3.pptx
Exposicion hdb3.pptxExposicion hdb3.pptx
Exposicion hdb3.pptx
 
Teoria de la informacion
Teoria de la informacionTeoria de la informacion
Teoria de la informacion
 

Destacado (20)

Conferencia n°7
Conferencia n°7Conferencia n°7
Conferencia n°7
 
Taller5
Taller5Taller5
Taller5
 
Animación y multimedia
Animación y multimediaAnimación y multimedia
Animación y multimedia
 
Conferencia n° 8
Conferencia n° 8Conferencia n° 8
Conferencia n° 8
 
Formularios en html
Formularios en htmlFormularios en html
Formularios en html
 
3 planeacion estrategica
3 planeacion estrategica3 planeacion estrategica
3 planeacion estrategica
 
Fuentes en Word 2010
Fuentes en Word 2010Fuentes en Word 2010
Fuentes en Word 2010
 
Conferencia n 6
Conferencia n 6Conferencia n 6
Conferencia n 6
 
Estilos en Word 2010
Estilos en Word 2010Estilos en Word 2010
Estilos en Word 2010
 
Proyecto de investigaciòn
Proyecto de investigaciònProyecto de investigaciòn
Proyecto de investigaciòn
 
Formato de Parrafo en Word 2010
Formato de Parrafo en Word 2010Formato de Parrafo en Word 2010
Formato de Parrafo en Word 2010
 
Imagenes en Word 2010
Imagenes en Word 2010Imagenes en Word 2010
Imagenes en Word 2010
 
Cartel miio de xiio
Cartel miio de xiioCartel miio de xiio
Cartel miio de xiio
 
Tablas en Word 2010
Tablas en Word 2010Tablas en Word 2010
Tablas en Word 2010
 
Unidad 1
Unidad 1Unidad 1
Unidad 1
 
SmartArt en Word 2010
SmartArt en Word 2010SmartArt en Word 2010
SmartArt en Word 2010
 
WordArt en Word 2010
WordArt en Word 2010WordArt en Word 2010
WordArt en Word 2010
 
Columnas en Word 2010
Columnas en Word 2010Columnas en Word 2010
Columnas en Word 2010
 
Letra Capital en Word 2010
Letra Capital en Word 2010Letra Capital en Word 2010
Letra Capital en Word 2010
 
Ejemplos de uso de smart art
Ejemplos de uso de smart artEjemplos de uso de smart art
Ejemplos de uso de smart art
 

Similar a Conferencia n° 5

Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...
Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...
Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...Iñaki Dominguez
 
117_3_25062021012559.pdf
117_3_25062021012559.pdf117_3_25062021012559.pdf
117_3_25062021012559.pdfjanethsanchez54
 
RESUMEN DE ESTADISTICA II INIDAD 2
RESUMEN DE ESTADISTICA II INIDAD 2RESUMEN DE ESTADISTICA II INIDAD 2
RESUMEN DE ESTADISTICA II INIDAD 2FELIX Castro Garcia
 
Tabla periodica-nuevo-modelo
Tabla periodica-nuevo-modeloTabla periodica-nuevo-modelo
Tabla periodica-nuevo-modeloCarlos Fuentes
 
examen inf-164
examen inf-164examen inf-164
examen inf-164tecmac
 
Configuración electrónica 8°
Configuración electrónica 8°Configuración electrónica 8°
Configuración electrónica 8°Andres Bernal
 
Numeros cuanticos
Numeros cuanticosNumeros cuanticos
Numeros cuanticosKaren Alex
 
Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]
Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]
Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]clauciencias
 
SISTEMAS DE COMUNICACIONES. FOURIER :EJERCICIOS DE SERIES y TRANSFORMADAS _...
SISTEMAS DE COMUNICACIONES.  FOURIER :EJERCICIOS DE  SERIES y TRANSFORMADAS _...SISTEMAS DE COMUNICACIONES.  FOURIER :EJERCICIOS DE  SERIES y TRANSFORMADAS _...
SISTEMAS DE COMUNICACIONES. FOURIER :EJERCICIOS DE SERIES y TRANSFORMADAS _...AVINADAD MENDEZ
 
ACTIVIDADES ENTROPÍA DE LA INFORMACIÓN
ACTIVIDADES ENTROPÍA DE LA INFORMACIÓNACTIVIDADES ENTROPÍA DE LA INFORMACIÓN
ACTIVIDADES ENTROPÍA DE LA INFORMACIÓNAnthony Benalcazar
 
Actividades Entropía de la información
Actividades Entropía de la información Actividades Entropía de la información
Actividades Entropía de la información Anthony Benalcazar
 
Analisis de señales discretas en t
Analisis de señales discretas en tAnalisis de señales discretas en t
Analisis de señales discretas en tkinetic15
 
Transformada de Fourier
Transformada de FourierTransformada de Fourier
Transformada de FourierRomer Díaz
 

Similar a Conferencia n° 5 (20)

Entropia
EntropiaEntropia
Entropia
 
Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...
Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...
Tema 2 configuracion electrónica, geometría molecular, estructuras cristalina...
 
1pii13-res.pdf
1pii13-res.pdf1pii13-res.pdf
1pii13-res.pdf
 
117_3_25062021012559.pdf
117_3_25062021012559.pdf117_3_25062021012559.pdf
117_3_25062021012559.pdf
 
RESUMEN DE ESTADISTICA II INIDAD 2
RESUMEN DE ESTADISTICA II INIDAD 2RESUMEN DE ESTADISTICA II INIDAD 2
RESUMEN DE ESTADISTICA II INIDAD 2
 
Tabla periodica-nuevo-modelo
Tabla periodica-nuevo-modeloTabla periodica-nuevo-modelo
Tabla periodica-nuevo-modelo
 
examen inf-164
examen inf-164examen inf-164
examen inf-164
 
Quimica General
Quimica GeneralQuimica General
Quimica General
 
Números Cuánticos
Números CuánticosNúmeros Cuánticos
Números Cuánticos
 
Arreglo de fuentes puntuales
Arreglo de fuentes puntualesArreglo de fuentes puntuales
Arreglo de fuentes puntuales
 
Configuración electrónica 8°
Configuración electrónica 8°Configuración electrónica 8°
Configuración electrónica 8°
 
Apuntes pds cap 4-5
Apuntes pds cap 4-5Apuntes pds cap 4-5
Apuntes pds cap 4-5
 
Numeros cuanticos
Numeros cuanticosNumeros cuanticos
Numeros cuanticos
 
Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]
Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]
Bloque ii modelo actual y configuracion electronica2017.pdf [autoguardado]
 
SISTEMAS DE COMUNICACIONES. FOURIER :EJERCICIOS DE SERIES y TRANSFORMADAS _...
SISTEMAS DE COMUNICACIONES.  FOURIER :EJERCICIOS DE  SERIES y TRANSFORMADAS _...SISTEMAS DE COMUNICACIONES.  FOURIER :EJERCICIOS DE  SERIES y TRANSFORMADAS _...
SISTEMAS DE COMUNICACIONES. FOURIER :EJERCICIOS DE SERIES y TRANSFORMADAS _...
 
ACTIVIDADES ENTROPÍA DE LA INFORMACIÓN
ACTIVIDADES ENTROPÍA DE LA INFORMACIÓNACTIVIDADES ENTROPÍA DE LA INFORMACIÓN
ACTIVIDADES ENTROPÍA DE LA INFORMACIÓN
 
Actividades Entropía de la información
Actividades Entropía de la información Actividades Entropía de la información
Actividades Entropía de la información
 
Estadística i tema 3
Estadística i tema 3Estadística i tema 3
Estadística i tema 3
 
Analisis de señales discretas en t
Analisis de señales discretas en tAnalisis de señales discretas en t
Analisis de señales discretas en t
 
Transformada de Fourier
Transformada de FourierTransformada de Fourier
Transformada de Fourier
 

Más de Santiago Acurio (20)

Manual neobook (1)
Manual neobook (1)Manual neobook (1)
Manual neobook (1)
 
Tutorial slideshare
Tutorial slideshareTutorial slideshare
Tutorial slideshare
 
2. presehongo estructura organizacional
2. presehongo estructura organizacional2. presehongo estructura organizacional
2. presehongo estructura organizacional
 
1. Conceptos administración
1. Conceptos administración1. Conceptos administración
1. Conceptos administración
 
Grupo 5 diagnóstico educativo grupo 5
Grupo 5 diagnóstico educativo grupo 5Grupo 5 diagnóstico educativo grupo 5
Grupo 5 diagnóstico educativo grupo 5
 
Introduccion caract generales
Introduccion caract generalesIntroduccion caract generales
Introduccion caract generales
 
Introduccion caract generales
Introduccion caract generalesIntroduccion caract generales
Introduccion caract generales
 
Preguntas
PreguntasPreguntas
Preguntas
 
Desarrollo rápido de aplicaciones web
Desarrollo rápido de aplicaciones webDesarrollo rápido de aplicaciones web
Desarrollo rápido de aplicaciones web
 
Evaluación académica
Evaluación académicaEvaluación académica
Evaluación académica
 
Syllabus física ii (2)
Syllabus física ii (2)Syllabus física ii (2)
Syllabus física ii (2)
 
Ejerciciobordesfuenteyprrafoecono
EjerciciobordesfuenteyprrafoeconoEjerciciobordesfuenteyprrafoecono
Ejerciciobordesfuenteyprrafoecono
 
Taller29a
Taller29aTaller29a
Taller29a
 
Taller31
Taller31Taller31
Taller31
 
Taller32
Taller32Taller32
Taller32
 
Taller30
Taller30Taller30
Taller30
 
Taller29
Taller29Taller29
Taller29
 
Taller28 a
Taller28 aTaller28 a
Taller28 a
 
Taller31
Taller31Taller31
Taller31
 
Ejercicio smart art
Ejercicio smart artEjercicio smart art
Ejercicio smart art
 

Último

Tecnología educativa en la era actual .pptx
Tecnología educativa en la era actual .pptxTecnología educativa en la era actual .pptx
Tecnología educativa en la era actual .pptxJulioSantin2
 
Los escritos administrativos, técnicos y comerciales
Los escritos administrativos, técnicos y comercialesLos escritos administrativos, técnicos y comerciales
Los escritos administrativos, técnicos y comercialeshanda210618
 
Presentación contribuciones socioeconómicas del SUPV 2023
Presentación contribuciones socioeconómicas del SUPV 2023Presentación contribuciones socioeconómicas del SUPV 2023
Presentación contribuciones socioeconómicas del SUPV 2023Ivie
 
Tema 4 Rocas sedimentarias, características y clasificación
Tema 4 Rocas sedimentarias, características y clasificaciónTema 4 Rocas sedimentarias, características y clasificación
Tema 4 Rocas sedimentarias, características y clasificaciónIES Vicent Andres Estelles
 
Concurso de Innovación Pedagógica T2 FONDEP 2024 Ccesa007.pdf
Concurso de Innovación Pedagógica  T2  FONDEP 2024 Ccesa007.pdfConcurso de Innovación Pedagógica  T2  FONDEP 2024 Ccesa007.pdf
Concurso de Innovación Pedagógica T2 FONDEP 2024 Ccesa007.pdfDemetrio Ccesa Rayme
 
La Gatera de la Villa nº 51. Revista cultural sobre Madrid..
La Gatera de la Villa nº 51. Revista cultural sobre Madrid..La Gatera de la Villa nº 51. Revista cultural sobre Madrid..
La Gatera de la Villa nº 51. Revista cultural sobre Madrid..La Gatera de la Villa
 
PROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍA
PROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍAPROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍA
PROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍAJoaqunSolrzano
 
21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf
21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf
21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdfceeabarcia
 
5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc
5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc
5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.docGLADYSPASTOR
 
Herbert James Drape. Erotismo y sensualidad.pptx
Herbert James Drape. Erotismo y sensualidad.pptxHerbert James Drape. Erotismo y sensualidad.pptx
Herbert James Drape. Erotismo y sensualidad.pptxArs Erótica
 
CIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTO
CIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTOCIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTO
CIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTOCEIP TIERRA DE PINARES
 
GUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdf
GUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdfGUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdf
GUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdfNELLYKATTY
 
U2_EA2_descargable TICS PRESENCIAL 2.pdf
U2_EA2_descargable TICS PRESENCIAL 2.pdfU2_EA2_descargable TICS PRESENCIAL 2.pdf
U2_EA2_descargable TICS PRESENCIAL 2.pdfJavier Correa
 
Anuncio de Remitido Colegio SEK a la comunidad pública
Anuncio de Remitido Colegio SEK a la comunidad públicaAnuncio de Remitido Colegio SEK a la comunidad pública
Anuncio de Remitido Colegio SEK a la comunidad públicaIvannaMaciasAlvarez
 
explicacionsobrelasemanasanta-190411100653.ppt
explicacionsobrelasemanasanta-190411100653.pptexplicacionsobrelasemanasanta-190411100653.ppt
explicacionsobrelasemanasanta-190411100653.pptjosemanuelcremades
 
Adoración sin fin al Dios Creador por sus bendiciones
Adoración sin fin al Dios Creador por sus bendicionesAdoración sin fin al Dios Creador por sus bendiciones
Adoración sin fin al Dios Creador por sus bendicionesAlejandrino Halire Ccahuana
 
EL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLA
EL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLAEL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLA
EL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLAJAVIER SOLIS NOYOLA
 
SECUENCIA DIDÁCTICA Matemática 1er grado
SECUENCIA  DIDÁCTICA Matemática 1er gradoSECUENCIA  DIDÁCTICA Matemática 1er grado
SECUENCIA DIDÁCTICA Matemática 1er gradoAnaMara883998
 

Último (20)

Tecnología educativa en la era actual .pptx
Tecnología educativa en la era actual .pptxTecnología educativa en la era actual .pptx
Tecnología educativa en la era actual .pptx
 
Los escritos administrativos, técnicos y comerciales
Los escritos administrativos, técnicos y comercialesLos escritos administrativos, técnicos y comerciales
Los escritos administrativos, técnicos y comerciales
 
Presentación contribuciones socioeconómicas del SUPV 2023
Presentación contribuciones socioeconómicas del SUPV 2023Presentación contribuciones socioeconómicas del SUPV 2023
Presentación contribuciones socioeconómicas del SUPV 2023
 
Actividad de bienestar docente 2016 Pereira
Actividad de bienestar docente 2016 PereiraActividad de bienestar docente 2016 Pereira
Actividad de bienestar docente 2016 Pereira
 
Tema 4 Rocas sedimentarias, características y clasificación
Tema 4 Rocas sedimentarias, características y clasificaciónTema 4 Rocas sedimentarias, características y clasificación
Tema 4 Rocas sedimentarias, características y clasificación
 
Concurso de Innovación Pedagógica T2 FONDEP 2024 Ccesa007.pdf
Concurso de Innovación Pedagógica  T2  FONDEP 2024 Ccesa007.pdfConcurso de Innovación Pedagógica  T2  FONDEP 2024 Ccesa007.pdf
Concurso de Innovación Pedagógica T2 FONDEP 2024 Ccesa007.pdf
 
La Gatera de la Villa nº 51. Revista cultural sobre Madrid..
La Gatera de la Villa nº 51. Revista cultural sobre Madrid..La Gatera de la Villa nº 51. Revista cultural sobre Madrid..
La Gatera de la Villa nº 51. Revista cultural sobre Madrid..
 
PROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍA
PROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍAPROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍA
PROGRAMACIÓN CURRICULAR ANUAL DE CIENCIA Y TECNOLOGÍA
 
21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf
21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf
21 MARZO DIA INTERNACIONAL DOS BOSQUES.pdf
 
VISITA DE ESTUDO À CRUZ VERMELHA _
VISITA DE ESTUDO À CRUZ VERMELHA                   _VISITA DE ESTUDO À CRUZ VERMELHA                   _
VISITA DE ESTUDO À CRUZ VERMELHA _
 
5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc
5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc
5°-CARPETA PEDAGÓGICA 2024-MAESTRAS DE PRIMARIA PERÚ-978387435.doc
 
Herbert James Drape. Erotismo y sensualidad.pptx
Herbert James Drape. Erotismo y sensualidad.pptxHerbert James Drape. Erotismo y sensualidad.pptx
Herbert James Drape. Erotismo y sensualidad.pptx
 
CIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTO
CIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTOCIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTO
CIENCIAS SOCIALES SEGUNDO TRIMESTRE CUARTO
 
GUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdf
GUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdfGUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdf
GUÍA SIANET - Agenda - Tareas - Archivos - Participaciones - Notas.pdf
 
U2_EA2_descargable TICS PRESENCIAL 2.pdf
U2_EA2_descargable TICS PRESENCIAL 2.pdfU2_EA2_descargable TICS PRESENCIAL 2.pdf
U2_EA2_descargable TICS PRESENCIAL 2.pdf
 
Anuncio de Remitido Colegio SEK a la comunidad pública
Anuncio de Remitido Colegio SEK a la comunidad públicaAnuncio de Remitido Colegio SEK a la comunidad pública
Anuncio de Remitido Colegio SEK a la comunidad pública
 
explicacionsobrelasemanasanta-190411100653.ppt
explicacionsobrelasemanasanta-190411100653.pptexplicacionsobrelasemanasanta-190411100653.ppt
explicacionsobrelasemanasanta-190411100653.ppt
 
Adoración sin fin al Dios Creador por sus bendiciones
Adoración sin fin al Dios Creador por sus bendicionesAdoración sin fin al Dios Creador por sus bendiciones
Adoración sin fin al Dios Creador por sus bendiciones
 
EL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLA
EL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLAEL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLA
EL BRILLO DEL ECLIPSE (CUENTO LITERARIO). Autor y diseñador JAVIER SOLIS NOYOLA
 
SECUENCIA DIDÁCTICA Matemática 1er grado
SECUENCIA  DIDÁCTICA Matemática 1er gradoSECUENCIA  DIDÁCTICA Matemática 1er grado
SECUENCIA DIDÁCTICA Matemática 1er grado
 

Conferencia n° 5

  • 1. CONFERENCIA N° 5 Tabla de contenido 1. OBJETIVOS ................................................................................................................... 1 2. INTRODUCCIÓN ........................................................................................................... 1 3. DESARROLLO ............................................................................................................... 2 3.1. EXTENSIÓN DE UNA FUENTE SIN MEMORIA ....................................................... 2 EJERCICIO N° 1 .............................................................................................................. 3 3.2. FUENTE DE INFORMACIÓN CON MEMORIA. FUENTE DE MARKOV. .................. 3 EJERCICIO N°2............................................................................................................... 4 3.3. ENTROPÍA DE UNA FUENTE DE MARKOV............................................................ 5 EJERCICIO N°3............................................................................................................... 6 EJERCICIO N° 4 .............................................................................................................. 7 3.3.1. CADENAS DE MARKOV ..................................................................................... 8 EJEMPLO ....................................................................................................................... 8 1. OBJETIVOS • Analizar la extensión de Fuente con memoria y Fuente de información sin memoria. • Determinar las diferencias entre una fuente con memoria y sin memoria • Verificar la Teoría de Markov • Desarrollar diferentes ejercicios de extensión de fuente sin memoria y con memoria 2. INTRODUCCIÓN Siendo una fuente de información un conjunto de símbolos que llamaremos alfabeto de la fuente y unas probabilidades asociadas a esos símbolos siguiendo unas características de la fuente. Las fuentes de información emiten símbolos de acuerdo a las probabilidades asociadas a esos símbolos y según estas probabilidades asignadas a los símbolos. Una fuente de información de Markov es aquella en la que la aparición de un símbolo depende de la aparición anterior de un numero m determinado de símbolos anteriores, lo que significa que la probabilidad de aparición de un símbolo esta condicionada a la aparición anterior de otros símbolos. Por eso la fuente se denomina fuente de Markov de orden m. Se puede indicar la situación de la fuente en cualquier momento indicando el estado en el que se encuentra, definiéndose este estado por los m símbolos precedentes, teniendo en cuenta que el estado puede cambiar con la emisión de cada símbolo.
  • 2. 3. DESARROLLO 3.1. EXTENSIÓN DE UNA FUENTE SIN MEMORIA Si consideramos una fuente discreta binaria sin memoria, que emite los símbolos S1=0 y S2=1 con probabilidades de ocurrencia conocidas. Podemos caracterizar la información media por símbolo de la fuente a través de la entropía. Esto es: 2 H ( S ) = P( S1 ) log(1 P( S1 )) + P( S 2 ) log(1 P ( S 2 )) = ∑ P ( S i ) log(1 P ( S i )) i =1 Estudiemos ahora el caso en que esta fuente emite cadenas de dos símbolos, cuyos componentes son S1 y S2. De este modo estaríamos en presencia de una fuente discreta capaz de emitir las cadenas: S1S1, S1S2, S2S1, S2S2 o los mensajes 00, 01, 10, 11. De igual manera pudiéramos considerar mensajes compuestos por tres símbolos, por r símbolos, etc. Para una fuente discreta sin memoria X con un alfabeto q símbolos x = {x1, x2, ... , xq}, podemos considerar una fuente derivada de X que agrupe secuencias de r símbolos de X. La fuente derivada de X, llamémosle Y, contiene qr mensajes diferentes y le llamaremos “extensión de orden r de la fuente X” y representaremos así: y = {y1, y2, ... , yqr} y es también una fuente discreta sin memoria donde cada yi es una secuencia de r símbolos de X. yi = xi1 xi2 xi3 … xir Y la probabilidad de ocurrencia de yi será: P(yi) = P(xi1) P(xi2) … P(xir) A la entropía de la fuente extendida de orden r le llamaremos H(Sr) y se puede demostrar que: H(Sr) = rH(S)
  • 3. EJERCICIO N° 1 Si2 P(Si2) H (S2) = 1/16 log 16 + 2[3/16 log 16/3] + 9/16 log 16/9 S1S1 1/16 H (S2) = 1/16 *4 + 2[3/16 log 16/3] + 9/16 log 16/9 S1S2 3/16 H (S2) = 1/4 + 6/16[log 16 - log 3] + 9/16[log 16 - log 9] S2S1 3/16 H (S2) = 1/4 + 6/16[4 -1,58] + 9/16[4 - 3,16] S2S2 9/16 H (S2) = 1,66 → Shannon/mensaje Si P(Si) H(S) = P(S1) log (1/P(S1)) + P(S2) log (1/P(S2)) S1 ¼ = 1/4 log 4 + 3/4 log 4/3 = 1/2 + 0,311 S2 ¾ = 0,8112 → Shannon/símbolos Prueba que: H(S2) = 2H(S) 1,66 ≈ 2(0,8112) 1,66 ≈ 1,6224 Al considerar una secuencia de orden r de símbolos, la entropía aumenta r veces con respecto a la fuente original. 3.2. FUENTE DE INFORMACIÓN CON MEMORIA. FUENTE DE MARKOV. Como habíamos establecido en una fuente sin memoria la emisión de un símbolo (en términos de su probabilidad) es estadísticamente independiente de la secuencia de símbolos anteriormente emitidos. Esto es: P(Si/Si-1, Si-2, ... , Si) = P(Si) i = 1, 2, ..., n Como se ha discutido este modelo abstracto no se corresponde completamente con la mayoría de las fuentes que se tienen en cuenta en el mundo real, analícese por ejemplo el lenguaje natural. Un modelo más concreto es aquel que reconoce la dependencia estadística de emisión de un símbolo dado que ha ocurrido en la emisión de una secuencia de k símbolos. Este modelo se le llama fuente discreta con memoria de orden k o fuente de Markov. En este caso no consideraría la probabilidad a priori de la ocurrencia de Si, con respecto a una secuencia previa de k símbolos.
  • 4. Para una fuente de Markov de orden k y de N símbolos existirán Nk estados diferentes. En un momento dado la fuente se encontrará en un estado Ei y al emitirse un nuevo símbolo esta pasará al estado Ej en una probabilidad dada P(Ei/Ej) así denotada. Esta transición del estado Ei al Ej por la ocurrencia del símbolo Sm se acostumbra a representar mediante un diagrama de estados, así: Ej Sm En término más prácticos la fuente solo recuerda los últimos k símbolos emitidos por lo que puede considerarse como un registro de k posiciones. Ei EJERCICIO N°2 Considere la fuente de Markov de orden 2 con alfabeto binario: S = {0,1} Cantidad de estados = 22 = 4 → (00, 01, 10, 11) Se conoce las probabilidades de aparición de un símbolo dado de las diferentes cadenas de longitud 2. P(0/00) = P(1/11)=0.8 P(1/00) = P(0/11)=0,2 P(0/01) = P(0/10) = P(1/10) = P(1/01) = 0,5 La fuente de Markov puede representarse mediante el siguiente diagrama de estados: t0 t1 S1S1 S1 S1S2 S1 S2S1 S1 S2S2 S1
  • 5. En general solo es posible pasar de un estado a otro N estado. Las probabilidades P(Ej/Ei) pueden representarse en una matriz de transición de estados que contiene Nk filas y Nk columnas. k P( E1 / E1 ) P( E 2 / E1 ) .............. P( E N / E1 ) k P( E1 / E 2 ) P( E 2 / E 2 ) ................ P( E N / E 2 ) T = {P( E j / Ei )} = ............... ............... ................. .............. ............... ............... ............... ................ k k k k P ( E1 / E N ) P( E 2 / E N ) ................ P( E N / E N ) Cada fila representa un estado actual Ei y cada columna un estado próximo Ej. Para el ejemplo tratado: P(00 / 00) P(01 / 00) P(10 / 00) P(11 / 00) P(00 / 01) P (01 / 01) P (10 / 01) P (11 / 01) T= P (00 / 10) P (01 / 10) P (10 / 10) P (11 / 10) P (00 / 11) P (01 / 11) P (10 / 11) P (11 / 11) Como de un estado dado solo se puede pasar a otros N estados incluyéndose a él mismo, en cada fila hay solo N probabilidades diferentes a 0. Para cada fila se cumple: Nk ∑ P( E j =1 j / Ei ) = 1 En resumen para caracterizar una fuente con memoria es necesario conocer:  El alfabeto de la fuente  La matriz de transición T  El conjunto de probabilidades de los estados de la fuente 3.3. ENTROPÍA DE UNA FUENTE DE MARKOV Para cada estado de la fuente Ei puede definirse una entropía H(Ej/Ei) interpretable como la información promedio que brinda la fuente cuando se halla en el estado Ei. Nk H ( E j / Ei ) = ∑ P( E j / Ei ) log(1 / P( E j / Ei )) j =1
  • 6. Sin embargo cada estado Ei tiene su propia probabilidad de ocurrencia a priori P(Ei). Se define entonces la entropía de la fuente de Markov así: Nk H ( S ) = ∑ P( Ei ) H ( E j / Ei ) i =1 Nk Nk H ( S ) = ∑∑ P( Ei ) P( E j / Ei ) log(1 / P( E j / Ei )) i =1 j =1 Para fuentes de Markov de orden k = 1 cada estado se determina por un símbolo del alfabeto por lo que: P( E j / E i ) = P( S j / S i ) Nk Nk H ( S ) = ∑∑ P( S i ) P( S j / S i ) log(1 / P( S j / S i )) i =1 i =1 Para fuente de Markov de orden 1 se cumple que H(S) ≤ log N El valor máximo ocurre cuando los símbolos son equiprobables: P(Sj/Si) = 1/N En cuyo caso deja de ser una fuente con memoria EJERCICIO N°3 Se tiene una fuente binaria de Markov de orden 1 con la siguiente matriz de transición. 0.7 P(1 / 1) P (0 / 1) 0.3 0 0.1 1 0.9 T= P (1 / 0) P (0 / 0) P(1) = 0.875 P(0) = 0.125 P(1/1) = 0,9 P(0/1) = 0,1 P(1/0) = 0,7 ⇒ P(0/0) = 1 - P(1/0) = 0,3 Calcule la entropía.
  • 7. 2 2 H ( S ) = ∑∑ P ( S i ) P ( S j / S i ) log(1 / P ( S j / S i )) j =1 i =1 = 0.125 * 0.3 * log 1/0.3 + → 3.33 → 1.737 0.125 * 0.7 * log 1/0.7 + → 1.43 → 0.52 0.875 * 0.1 * log 1/0.1 + → 10 → 3.33 0.875 * 0.9 * log 1/0.9 = → 1.11 → 0.15 = 0.0651 + 0.0455 + 0.291 + 0.118 = = 0.5201 EJERCICIO N° 4 Consideremos una fuente discreta sin memoria que emite los símbolos S1 = 0, S2 = 1 y S3 = 2 con las probabilidades de ocurrencia siguientes: Si P(Si) S1 1/4 S2 3/4 S3 1/2 Cuál será el valor de la entropía y la cantidad de mensajes para las fuentes extendidas de orden 2 (H(S2)) y de orden 3 (H(S3)). H(S) = P(S1) log 1/P(S1) + P(S2) log l/P(S2) + P(S3) log 1/P(S3) H(S) = 1/6 * log 6 + 1/3 * log 3 + 1/2 * log 2 = 2.59/6 + 1.59/3 + 1/2 = 1,462 H(S2) = 2H(S) = 2,924 H(S3) = 2H(S) = 4,386 qr = 3 2 = 9 → 33 = 27
  • 8. 3.3.1. CADENAS DE MARKOV Supongamos que M = { X n }n =0 (o M = { X n }n = −∞ ) es una sucesión de variables aleatorias ∞ ∞ correlacionadas, donde cada (estado) X n proviene de algún conjunto Ω conocido como el espacio de estados. Se supone que los estados en Ω pueden ser etiquetados mediante enteros, es decir, Ω es discreto. El proceso es una cadena de Markov si éste satisface la condición de Markov Pr ( X n +1 = = j Xn = i, X n −1 xn −1 ,..., X 0 = Pr ( X n +1 = x0 ) = = j Xn i) Una distribución inicial Pr ( X 0 = i ) para X 0 y la probabilidad de transición para X n +1 dado X n , Pr ( X n +1 = = j Xn i ) determinan una cadena de Markov. Si la probabilidad de transición no depende de n , es decir, si Pr ( X n + m +1 = j X n+m = i ) = Pr ( X n +1 = j Xn = i); ∀m ∈  decimos que la cadena de Markov M es homogénea y escribimos la probabilidad de transición como una matriz P donde sus elementos están dados por = Pr ( X n +1 Pij = = j Xn i) Note que Pij es la probabilidad condicional para pasar al estado j en el próximo paso dado que el estado actual sea i . Las probabilidades de transición satisfacen la condición de normalización ∑P j∈Ω ij =1 ya que la cadena debe estar en algún estado en el próximo paso. Una matriz de esta naturaleza, cuyas filas suman uno es conocida como matriz estocástica. EJEMPLO Supongamos que Ω ={1, 2,3} , la matriz de transición es 52 1 2 1 10    P=15 7 10 1 10  2 2 1  5 5 5  y la distribución inicial es Pr ( X 0 i = = ) (1 , 1 , 1). 3 3 3
  • 9. 0.4 1 0.1 0.5 0.4 0.2 Se puede representar a la matriz de transición como un grafo, donde un vértice corresponde a un estado y un enlace orientado del vértice i al vértice j le corresponde una probabilidad de transición Pij de i a j cuando ésta sea diferente de cero. Para el ejemplo tenemos su correspondiente representación en un grafo orientado en la Figura 1. 0.1 2 3 0.7 0.4 0.2 Figura1: Grafo orientado correspondiente al Ejemplo 1. 5.-Conclusiones • Se analizó la extensión de Fuente con memoria y Fuente de información sin memoria. • Se determino que la fuente con memoria depende de una probabilidad anterior a diferencia de la de sin memoria • En la fuente de Markov al ser de un grado demasiado alto se hace difícil el cálculo. 6-Recomendaciones  Se debe ordenar los datos antes de comenzar los cálculos  Realizar con efectividad los cálculos de la fuente de Markov