Muestra ejemplos de estacionalidad en las cadenas de markov

1. Ejemplos de Estacionalidad
UNAD México, Noviembre 2014
Gpe. Rodríguez
Procesos Estocásticos

2. Estacionalidad
Teorema: Toda matriz estocástica P tiene como valor propio a
λ=1, es decir, existe un vector π tal que:
π= λ πP
Donde λ=1 siendo π un vector renglón
Una cadena de Markov es estacionaria si su distribución de
probabilidad incondicional πn tiende a mantenerse
constante a largo plazo, cuando n tiende a infinito
independientemente en que estado se inicie. Esto
significa que las probabilidades se estabilizan en el
tiempo.

3. Estacionalidad
Se sabe que:
πn= πn-1P
Ahora
π= lim πn
n→∞
Entonces
π= lim πn-1P
n→∞
Si hay estacionalidad
lim πn-1=π
n→∞
Por tanto
π= πP

4. Estacionalidad
Aunque se continúe multiplicando por la matriz P el vector π
ya no cambia. El vector π es el vector característico de la
matriz P correspondiente al valor característico λ=1
Para obtener π basta con resolver el sistema de ecuaciones:
π= πP
Agregando la restricción adicional
Σ π(x)=1
x∈S

5. Ejemplos
Para λ
1=1

 


 
(π (0), π (1)) (π (0), π (1))

=
0.3 0.7
0.5 0.5
π(0)=0.3π(0)+0.5π(1)
π(1)=0.7π(0)+0.5π(1)
π(0)+π(1)=1
Despejando π(0)=5/12 y π(1)=7/12

 


=
 

0.3 0.7
0.5 0.5
P
0 1
0.3
0.7
0.5
0.5
0
0.3 0.7
0.5 0.5
=
−
−
λ
λ
Ejemplo 1
Encontrando los valores propios
(0.3-λ)(0.5-λ)-(0.35)=0
0.15-0.8λ+λ2-0.35=0
λ2 -0.8λ-0.2=0
(λ-1)(λ+0.2)=0 ∴λ
1=1 λ
2=-0.2

6. Ejemplos
Si multiplicamos

0.3 0.7
)

5
7
( ,

 = Supongamos que iniciamos en cero
π
0=(1,0)
π
1=(0.3,0.7)
π
3=(0.44,0.56)
.
.
.
)
7
,
12
5
(
12
0.5 0.5
12
12

 

El 42% del tiempo se
pasará en el estado 0 y
el 58% en el estado 1
¿Qué pasará
si iniciamos
en 1?

7. Ejemplos
Movilidad absoluta
0 1


=
P  
1 0

 

1
0 1
1
0
0 1
1 0
=
−
−
λ
λ
Para λ
1=1
π(0)=π(1)
π(1)=π(0)
π(0)+π(1)=1


0 1
Despejando π(0)=1/2 y π(1)=1/2
Ejemplo 2
Encontrando los valores propios
λ2 -1=0
∴λ
1=+1 λ
2=-1
 

 

=
1 0
(π (0), π (1)) (π (0), π (1))
El orden es 2 en las raíces de 1 en
este caso nos indican periodicidad de
orden 2.

8. Ejemplos
Si multiplicamos

0 1
)
2

1
( =  
Supongamos que iniciamos en uno
π
0=(0,1)
π
1=(1,0)
π
3=(0,1)
.
.
.
1
,
2
)
2
1
(
1 0
1
,
2

 

El 50% del tiempo se
pasará en el estado 0 y
el 50% en el estado 1
¿Qué pasará
si iniciamos
en 0?

9. Ejemplos

0 1

=
P   0 1

 

1
0 1
1
0
0 1
0 1
=
−
−
λ
λ
Para λ
2=1
π(0)=0

0 1
π(1)=π(0)+ π(1)
π(0)+π(1)=1

Despejando π(0)=0 y π(1)=1
Ejemplo 3
Encontrando los valores propios
λ2 -λ-0=0
λ(λ-1)=0
∴λ
1=0 λ
2=1
 

 

=
0 1
(π (0), π (1)) (π (0), π (1))

10. Ejemplos
Si multiplicamos

0 1

1) , 0 ( =  
Supongamos que iniciamos en cero
π
0=(1,0)
π
1=(0,1)
π
3=(0,1)
.
.
.
(0, 1)
0 1

 

El 0% del tiempo se pasará
en el estado 0 y el 100%
en el estado 1 (estado
absorbente)
¿Qué pasará
si iniciamos
en 1?

11. Ejemplos
1 0

=
P   0 1


 

0 1
1
1
0
1 0
0 1
=
−
−
λ
λ
Para λ
1=1

1 0
π(0)= π(0)
π(1)= π(1)
π(0)+π(1)=1

Solución múltiple, no es estacionario.
Ejemplo 4
Encontrando los valores propios
(1-λ)2=0
λ2 -2λ+1=0
∴λ
1=1 λ
2=1
 

 

=
0 1
(π (0), π (1)) (π (0), π (1))
Dos raíces
iguales a la
unidad indica
dos estados
absorbentes y
dos clases
finales

12. Ejemplos
Supongamos que iniciamos en cero
π
0=(1,0)
π
1=(1,0)
π
3=(1,0)
.
.
.
¿Qué pasará
si iniciamos
en 1?

13. Ejemplo 5

0 1 0
= 0 1
0 0 1

Encontrando los valores propios
-λ3 +1=0
λ3=1
∴λ
0 1 0
0 0 1
1=1 λ
2=1 λ
3=1
Ejemplos
Movilidad Absoluta (Periodicidad de orden 3)
1 0 0
P
  

  

1
1
0
1 0 0
=
−
−
−
λ
λ
λ
1 2
Para λ
1=1
π(0)=π(2)
π(1)=π(0)
π(2)= π(1)

0 1 0
0 0 1
π(0)+π(1)+ π(2)=1

Despejando π(0)=1/3, π(1)=1/3,
π(2)=1/3
  

  

=
1 0 0
(π (0), π (1), π (2)) (π (0), π (1), π (2))
El orden es 3,
indica que el
periodo es 3

14. Ejemplos
Si multiplicamos
0 1 0


(1/3, 1/3, 1/3) 0 0 1
=
Supongamos que iniciamos en el estado 2
π
0=(0,0,1)
π
1=(1,0,0)
π
3=(0,1,0)
.
.
.
(1/3, 1/3, 1/3)
1 0 0
  

   
El 33% estaremos en cada
estado
Periodicidad
de orden 3

15. Ejemplo 6
0 0.2 0.4 0.4
0 1 0 0
0 0 1 0


Encontrando los valores propios
0.2 0.4 0.4
0 1 0 0
0 0 1 0
-λ(1-λ)(1-λ)(1-λ)=0
∴λ
1=0 λ
2=1 λ
3=1, λ
4=1
Ejemplos
0 0 0 0
P
    

    

=
0
1
2
0.4
1
1
0
0 0 0 1
=
−
−
−
−
λ
λ
λ
λ
Para λ
0.4
2=1
π(0)=0

0 0.2 0.4 0.4
0 1 0 0
0 0 1 0
2
0.2
π(1)=0.2 π(0)+ π(1)
π(2)=0.4π(0)+ π(2)
π(3)=0.4 π(1)+ π(3)
π(0)+π(1)+ π(2)+ π(3) =1

1
Solución Múltiple, no es estacionario, la
distribución a largo plazo depende en que
estado se inicie
    

    

=
0 0 0 1
(π (0), π (1), π (2), π (3)) (π (0), π (1), π (2), π (3))
3 raíces igual a 1(3 clases finales: 3
estados absorbentes)

16. Ejemplo 7
0.5 0.5 0
0 0 1


=
Encontrando los valores propios
0.5 0.5 0
0 0 1
(0.5-λ)(-λ(0.5-λ)-0.5)=0
(0.5-λ)(-0.5λ+λ2-0.5)=0
(0.5-λ) (λ-1) (λ-0.5)=0
∴λ
1=0.5 λ
2=1 λ
3=-0.5
Ejemplos
0 0.5 0.5
P
  

  

0
2
0
0 0.5 0.5
=
−
−
−
λ
λ
λ
Para λ
2=1
(π (0), π (1), π (2)) =
(π (0), π (1), π (2))
π(0)=0.5π(0)

  

0.5 0.5 0
0 0 1
0 0.5 0.5
π(1)=0.5π(0)+ 0.5π(2)
π(2)= π(1)+0.5 π(2)
π(0)+π(1)+ π(2)=1

  

Despejando π(0)=0, π(1)=1/3, π(2)=2/3
1
{1,2}
Recurrentes
{0}
Transitorio
Clase final
Un sólo valor
característico
igual 1
significa una
sola clase
final

17. Ejemplos
Si multiplicamos
0.5 0.5 0


(0, 1/3, 2/3) 0 0 1
=
Supongamos que iniciamos en el estado 0
π
0=(1,0,0)
π
1=(0.5,0.5,0)
π
3=(0.25,0.25,0.5)
.
.
.
(0, 1/3, 2/3)
0 0.5 0.5
  

  

El 33% estaremos en el
estado 1 y el 66% en el
estado 2 y 0 en el estado 0
La
distribución
a largo plazo
es única y no
depende del
estado inicial
¿Qué pasará
si iniciamos
en 1 o 2?

18. Ejemplo 8
0 0.5 0.5
0 0 1


=
Encontrando los valores propios
-λ(λ2-1)=0
∴λ
0 0.5 0.5
0 0 1
1=0 λ
2=1 λ
3=-1
Ejemplos
0 1 0
P
  

  

0
2
0
0 1
=
−
−
−
λ
λ
λ
Para λ
2=1
(π (0), π (1), π (2)) (π (0), π (1), π (2))
π(0)=0

  

=
0 0.5 0.5
0 0 1
0 1 0
π(1)=0.5π(0)+ π(2)
π(2)= 0.5π(0)+π(1)
π(0)+π(1)+ π(2)=1

  

Despejando π(0)=0, π(1)=1/2, π(2)=1/2
1
{1,2}
Recurrentes
{0}
Transitorio
Clase final
Un sólo valor
característico
igual 1 significa
una sola clase
final de orden 2
(periodicidad 2)

19. Ejemplos
Si multiplicamos
0 0.5 0.5


(0, 1/2, 1/2) 0 0 1
=
Supongamos que iniciamos en el estado 0
π
0=(1,0,0)
π
1=(0,0.5,0.5)
π
3=(0,0.5,0.5)
.
.
.
(0, 1/2, 1/2)
0 1 0
  

  

El 50% estaremos en el
estado 1 y 2, y 0 en el
estado 0
¿Qué pasará
si iniciamos
en 1 o 2?

20. Observaciones Generales
Toda matriz estocástica P tiene al menos un valor
característico λ=1
El número de valores característicos iguales a uno es igual al
número de clases finales de la cadena.
El número de valores característicos raíces de la unidad
(λ5=1) indica el orden de la periodicidad. La periodicidad de
orden 1 implica aperiodicidad.
Cuando hay más de una clase final existen múltiples
soluciones para el vector de distribución a largo plazo π.
Cuando hay periodicidad el estado a largo plazo depende en
realidad del estado inicial y del número de transición.