El documento presenta una introducción a las cadenas de Markov, definiendo este tipo de procesos estocásticos y algunos de sus conceptos fundamentales como las probabilidades de transición, la matriz de transición y la probabilidad para el n-ésimo estado. Incluye varios ejemplos numéricos para ilustrar estas ideas y su resolución a través de MATLAB.

1. U N I V E R S I DA D NA C I O NA L E X P E R I M E N TA L
POLITÉCNICA
ANTONIO JOSÉ DE SUCRE
VICERECTORADO BARQUISIMETO
DIRECCIÓN DE INVESTIGACIÓN
Y P O S T- G R A D O
Cadenas de Markov
Autores:
I n g. H é c t o r R . M a r t í n e z
I n g. O s k a r J . S á n c h e z
Facilitadora: MSc . Marienny A r rieche
Barquisimeto, Noviembre 2012

2. CADENAS DE MARKOV
Definición de Cadenas de Markov
Probabilidades de Transición
Probabilidad para el n-ésimo estado.
Ejemplos
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 2

3. CADENAS DE MARKOV
Una “CADENA” es un proceso en tiempo discreto en el que
una variable aleatoria “Xn” va cambiando con el paso del tiempo
X1 X2 X3 X… Xn
t
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 3

4. CADENAS DE MARKOV
En cadenas de Markov, se obedece la propiedad de Markov, la
cual establece que:
La probabilidad de que Xn= j solo depende del estado inmediatamente anterior
Xn-1
Se define una Cadena Homogénea:
Cuando las probabilidades no dependen del tiempo en que se considere.
Matemáticamente
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 4

5. PROBABILIDADES DE
TRANSICIÓN
En una cadena homogénea finita de m posibles estados E1, E2, … Em se
introduce la notación
Sucede porque en cada paso, puede ocurrir algún suceso
E1, E2…Em. Los cuales son mutuamente excluyentes.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 5

6. PROBABILIDADES DE
TRANSICIÓN
De allí que, las probabilidades de transición satisfacen que:
Y esto a su vez, genera la matriz de transición T = [pij], la
cual es de tamaño m x m y se define como:
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 6

7. PROBABILIDAD PARA EL
N-ÉSIMO ESTADO.
Se refiere a la probabilidad de llegar a Ej después de n pasos, dada una distribución
de probabilidad.
Se denota , para un sistema que ocupe inicialmente el estado Ei
Entonces: es la probabilidad de alcanzar Ej en un solo paso . De allí que
considerando el Teorema de la Probabilidad Total, resulta:
Probabilidad Inicial
Probabilidad de alcanzar Ej en un solo paso
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 7

8. PROBABILIDAD PARA EL
N-ÉSIMO ESTADO.
En forma Vectorial se representan:
Probabilidad Inicial
Probabilidad de alcanzar Ej en un solo paso
El segundo vector permite obtener:
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 8

9. PROBABILIDAD PARA EL
N-ÉSIMO ESTADO.
Y de forma análoga, para un tercer estado:
Para el n-ésimo estado:
En general:
Donde:
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 9

10. TRANSICIÓN EN N PASOS.
Estado Segundo Estado
…
Inicial Estado Final
Se refiere a cuando un proceso, que inicia en un estado Ei, debe pasar a
un estado Ej, y durante su trayecto pasa por n cantidad de estados.
Esta analogía, se utiliza para procesos complejos, y variantes . De allí
que se justifica su estudio en el campo estocástico.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 10

11. TRANSICIÓN EN N PASOS.
Se define:
Es la probabilidad de que la cadena esté en el estado
Ej después de n pasos, dado que la cadena empezó
con el estado Ei .
La distribución de Probabilidad para
este caso viene dada por:
Analizando, a través de la
Probabilidad Markoviana
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 11

12. TRANSICIÓN EN N PASOS.
Tomando como referencia
3 EVENTOS que cumplen con la
A B C
propiedad combinacional
De las identidad de la transición en N pasos, se sustituyen:
Ecuación de
Chapman
Kolmogorov
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 10

13. EJEMPLO 1
El área de mantenimiento de los Servicios a la Navegación Aérea, clasifica las
fallas de los equipos en dos categorías, a saber: Clase A para las fallas que
ocurren en forma intermitente, más de la mitad del día y Clase B si lo hace
con menos frecuencia. Esta clasificación se obtiene de una secuencia
estadística de fallas. Por experiencia, si un día la falla es tipo B, es igual de
probable que al día siguiente la falla también lo sea.
Entonces, hipotéticamente, si un día cualquiera la falla es tipo A, la
probabilidad es de 2/3 de que sea también tipo A al día siguiente.
Esta situación permite, representar un proceso de Markov, considerando su
dependencia temporal, y no obstante, académicamente, se debe considerar que
las fallas solo dependen del día anterior.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 10

14. EJEMPLO 1
De allí que se identifican dos estados.
La matriz de transición seria determinada por:
A B
A 1/2 1/2
B 1/3 2/3
De allí que:
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 10

15. EJEMPLO 2
Analizando el día actual :
Resulta lógico, considerando que solo
una condición se dará. El equipo puede
falla clasificado Tipo A o B.
Si la falla es Tipo B, entonces por ejemplo se podría determinar como será
clasificada al tercer día, mediante la relación:
De tal manera que:
La probabilidad de que al tercer día, sea tipo A es del 0.403
y del tipo B es de 0.597
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

16. EJEMPLO 3
En Venezuela existen 3 operadores principales de telefonía móvil
como lo son: Movilnet, movistar y digitel. Todas estas operadoras
representan los estados.
Los porcentajes estimados por cada operador en el mercado actual
indican que movilnet tiene el 0.4, movistar posee el 0.25 y digitel el
0.35. Todo esto indica el estado inicial.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

17. EJEMPLO 3
Se tiene la siguiente información un usuario actualmente de movilnet
tiene una probabilidad de permanecer en movilnet de 0.60, de
cambiarse a movistar 0.2 y de pasar a digitel de 0.2; si en la actualidad
un usuario el cliente de movistar tiene una probabilidad de
mantenerse en la misma del 0.5, de que esta persona se cambie a
movilnet 0.3 y que se pase a digitel 0.2; si el usuario es cliente en la
actualidad de digitel la probabilidad de que permanezca en digitel es
de 0.4 de que se cambie a movilnet de 0.3 y de que se cambie a
movistar 0.3. Cabe destacar que el estudio se hace a lo largo de un
semestre.
Partiendo de esta información podemos elaborar la matriz de
transición. La suma de las probabilidades de cada estado debe ser
igual a 1.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

18. EJEMPLO 3
Matriz de Transición
Movilnet Movistar Digitel
E1 Movilnet 0.6 0.2 0.2
=1
E2 Movistar 0.3 0.5 0.2
=1
E3 Digitel 0.3 0.3 0.4
=1
Se requiere graficar el
comportamiento de la cadena de
Markov a lo largo de 6 meses.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

19. EJEMPLO 3
Aplicando MATLAB se definen:
Ei=[.4, .25, .35]; % Estado Inicial
T=[.6, .2, .2; .3 .5 .2; .3, .3, .4]; % Matriz de Transición
x=Ei*T^6; % Producto del vector Ei por la matriz de transición definida con la letra T elevado a
la potencia 6, debido a que el estudio es realizado en un semestre
disp(Ei)
% x = 0.4286 0.3214 0.2500; Resultado del producto
plot (x) % Graficar x
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

20. EJEMPLO 3
Comportamiento de la Cadena de Markov
0.44
0.42
0.4
0.38
0.36
Probabilidad (P)
0.34
0.32
0.3
0.28
0.26
0.24
1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6 2.8 3
Tiempo (t)
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

21. EJEMPLO 4
Suponga que una aeronave tiene 2 opciones (estados) para aterrizar
con la ayuda de los sistemas de la radionavegación aérea en el
Aeropuerto Internacional de Barquisimeto, la primera de las opciones
es el procedimiento ILS y la segunda es el procedimiento DVOR. El
modelo de Markov utiliza:
La probabilidad de que utilice el procedimiento ILS es 0.95 y la
probabilidad de cola es 0.05.
La probabilidad de que utilice el procedimiento DVOR es 0.90 y la
probabilidad de cola es 0.10.
La probabilidad que utilice uno de los procedimientos es 0.5.
Dado a que la aeronave puede aterrizar por la 090 o por la 027 de la
pista de aterrizaje, la probabilidad es 0.5.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

22. EJEMPLO 4
Matriz de Transición
Se requiere graficar el comportamiento de la
cadena de Markov a lo largo de 6 meses.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

23. EJEMPLO 4
Aplicando MATLAB se definen:
Ei=[.5, .5] % Estado Inicial
T=[.95, .05; .90 .10]; % Matriz de Transición
x=Ei*T^2; % Producto del vector Ei por la matriz de transición definida con la letra T
elevado a la potencia 2, debido a que el estudio tiene 2 opciones.
disp(Ei)
% x = 0.9463 0.0538; Resultado del producto
plot (x) % Graficar x
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

24. EJEMPLO 4
Comportamiento de la Cadena de Markov
1
0.9
0.8
0.7
0.6
Probabilidad (P)
0.5
0.4
0.3
0.2
0.1
0
1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2
Tiempo (t)
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

25. EJEMPLO 5
Considere que el departamento de electrónica clasifica las fallas de un
RADAR primario de vigilancia trimestralmente a nivel de
potencia, transmisión, recepción y el grupo de antenas. Las
probabilidades de que una de las secciones se averíe son:
Potencia 0.1.
Transmisión 0.4.
Recepción 0.5.
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

26. EJEMPLO 5
Matriz de Transición
Potencia Transmisión Recepción
E1 Potencia 0.1 0.3 0.6 =1
E2 Transmisión 0.3 0.4 0.3
=1
E3 Recepción 0.4 0.1 0.5 =1
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

27. EJEMPLO 5
Aplicando MATLAB se definen:
Ei=[.4, .25, .35]; % Estado Inicial
T=[.1, .3, .6; .3 .4 .3; .4, .1, .5]; % Matriz de Transición
x=Ei*T^3; % Producto del vector Ei por la matriz de transición definida con la
letra T elevado a la potencia 2, debido a que el estudio se realiza trimestralmente.
disp(x)
% x = 0.2879 0.2279 0.4843; Resultado del producto
plot (x) % Graficar x
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

28. EJEMPLO 5
Comportamiento de la Cadena de Markov
0.5
0.45
0.4
Probabilidad (P)
0.35
0.3
0.25
0.2
1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6 2.8 3
Tiempo (t)
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15

29. GRACIAS
Procesos Estocásticos: Cadenas de Markov U.N.E.X.P.O 15