1. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
N
N
NO
O
OT
T
TA
A
AS
S
S D
D
DE
E
E C
C
CL
L
LA
A
AS
S
SE
E
E:
:
:
A
A
AN
N
NÁ
Á
ÁL
L
LI
I
IS
S
SI
I
IS
S
S D
D
DE
E
E M
M
MA
A
AR
R
RK
K
KO
O
OV
V
V1
1
1
I
I
IN
N
NT
T
TR
R
RO
O
OD
D
DU
U
UC
C
CC
C
CI
I
IÓ
Ó
ÓN
N
N
El análisis de Markov (AM)se originó con los estudios (1906-1907) de A. A.
Markov sobre la secuencia de experimentos conectados en cadena, y con los
intentos de describir matemáticamente el fenómeno físico denominado
“movimiento browniano”.
La primera construcción matemática correcta de un proceso de Markov con
trayectorias continuas la formuló Norbert Wiener en 1923.
La teoría general del AM se desarrolló en las décadas de 1930’s y 1940’s por
A. A. Kolmogorov, W. Feller, W. Doeblin, P.Levy, J. L. Doob, y otros.
El AM es un procedimiento que se puede utilizar para describir el
comportamiento de un sistema en una situación dinámica. Específicamente,
describe y predice los movimientos de un sistema entre los diferentes estados
posibles con el paso del tiempo.
El AM hace predicciones del tipo: la probabilidad de encontrar un sistema
en un estado particular en cualquier instante dado, las probabilidades de
cada estado a la larga (equilibrio), etc.
1
Curso impartido en la Universidad Politécnica de Cartagena, Cartagena, Murcia, España. Noviembre de
2000.

2. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
Este tipo de predicciones don de gran valor para la dirección de sistemas
(movimientos de personal, inventarios, comportamiento de clientes, etc.)
P
P
PR
R
RO
O
OC
C
CE
E
ES
S
SO
O
OS
S
S D
D
DE
E
E M
M
MA
A
AR
R
RK
K
KO
O
OV
V
V
Un proceso de Markov o markoviano (PM) está formado por un conjunto de
objetos y un conjunto de estados tales que:
 En cualquier momento cada objeto deberá encontrarse en uno de los
estados (diferentes objetos no necesariamente deberán estar en
diferentes estados
 La probabilidad de que un objeto cambie de un estado a otro (el cual
puede ser el mismo que el primer estado) durante un periodo, depende
sólo de estos dos estados
El número entero de periodos transcurridos desde el momento en que el
proceso se inicia, representa las etapas del proceso, las cuales pueden ser
finitas o infinitas.
Si el número de estados es finito o infinito contable, el PM es una cadena de
Markov (CM).
Una CM finita (CMF) es aquella que tiene un número finito de estados.
Una CM infinita (CMI) es aquella que tiene un número infinito de estados.
Resumiendo, se tiene la siguiente:
Definición
Una CMF es una secuencia de n experimentos en la que cada experimento
consta de m resultados o estados posibles m
E
E
E ,
,
, 2
1  y la probabilidad de

3. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
que ocurra un resultado particular depende únicamente de la probabilidad del
resultado del experimento anterior.
La probabilidad de transición ij
p es la probabilidad de que el experimento
pase del estado i
E al estado j
E .
Así, ij
p es una probabilidad condicional que se puede expresar como
  m
j
i
E
E
P
p j
i
ij 

 ,
1
; .
Si los índices j
i, de ij
p representan el número de renglón y el número de
columna, respectivamente, entonces las probabilidades de transición se pueden
colocar en una matriz P de probabilidades de transición, cuyos elementos son
no negativos y menores o iguales a 1; i.e.,











mm
m
m
p
p
p
p
P





1
1
11
.
Cada elemento de P representa la probabilidad de pasar de un estado a
otro.
En resumen: una matriz de transición es una matriz cuadrada cuyos
elementos son no negativos y que, en ella, los elementos de cualquier
renglón suman uno.
En general cualquier matriz M cuyos elementos son no negativos y donde la
suma de los elementos en cada renglón recibe matriz estocástica o matriz de
probabilidad.
Por lo tanto, una matriz de transición es una matriz estocástica cuadrada.

4. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
E
E
EJ
J
JE
E
EM
M
MP
P
PL
L
LO
O
O:
:
: E
E
ES
S
ST
T
TA
A
AB
B
BI
I
IL
L
LI
I
ID
D
DA
A
AD
D
D F
F
FA
A
AM
M
MI
I
IL
L
LI
I
IA
A
AR
R
R
Los datos del censo dividen a las familias en económicamente estables y
económicamente deprimidas. Durante un periodo de 10 años:
 La probabilidad de que una familia estable permanezca estable es de
0.92
 La probabilidad de que una familia estable se vuelva deprimida es de
0.08
 La probabilidad de que una familia deprimida se vuelva estable es de
0.03
 La probabilidad de que una familia deprimida permanezca deprimida es
de 0.93
Definir la matriz de transición.
Solución
Si se denota la estabilidad económica como estado 1 y la depresión económica
como estado 2, entonces el modelo para este proceso puede plantearse como
una CM de dos estados, con matriz de transición









97
.
0
03
.
0
08
.
0
92
.
0
P .
V
V
VE
E
EC
C
CT
T
TO
O
OR
R
RE
E
ES
S
S D
D
DE
E
E D
D
DI
I
IS
S
ST
T
TR
R
RI
I
IB
B
BU
U
UC
C
CI
I
IÓ
Ó
ÓN
N
N
Se denota con  
n
i
p , a la proporción de objetos en el estado i al final del n -
ésimo periodo o ensayo y se designa con
       
 
n
m
n
n
n
p
p
p
X ,
,
, 2
1 
 .

5. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
al vector de distribución para el final del n-ésimo periodo.
De acuerdo con esto,
       
 
0
0
2
0
1
0
,
,
, m
p
p
p
X 

representa la proporción de objetos en cada estado al inicio del proceso; es
decir, es la probabilidad de estar en un estado particular al empezar el
proceso.
En otras palabras,  
o
X :
 Es un vector renglón cuyos elementos son no negativos y donde la
suma de los elementos es uno
 Es un vector estocástico en forma de renglón
E
E
EJ
J
JE
E
EM
M
MP
P
PL
L
LO
O
O:
:
: M
M
ME
E
ER
R
RC
C
CA
A
AD
D
DO
O
O D
D
DE
E
E C
C
CO
O
ON
N
NS
S
SU
U
UM
M
MO
O
O
El fabricante de dentífrico Brillo controla actualmente 60% del mercado de
una ciudad. Datos del año anterior muestran que
 88% de consumidores de Brillo continúan utilizándola, mientras que el
12% de los usuarios de Brillo cambiaron a otras marcas
 85% de los usuarios de la competencia permanecieron leales a estas
otras marcas, mientras que el 15% cambió a Brillo
Definir la matriz de transición y el vector inicial de distribución.
Solución
La formulación de este problema como una CM es como sigue.
Se considera como estado 1 al consumo de dentífrico Brillo y al estado 2
como el consumo de una marca de la competencia. Entonces,

6. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
 11
p , probabilidad de que un consumidor de Brillo permanezca leal a
Brillo, es 0.88
 12
p , la probabilidad de que un consumidor de brillo cambie a otra
marca, es de 0.12
 21
p , probabilidad de que el consumidor de otra marca cambie a brillo,
es de 0.15
 22
p , probabilidad de que un consumidor permanezca leal a la
competencia, es de 0.85
Así, la matriz de transición es:









85
.
0
15
.
0
12
.
0
88
.
0
P .
El vector inicial de distribución de probabilidad es
 
 
40
.
0
,
60
.
0
0

X ;
donde los componentes  
60
.
0
0
1 
p y  
40
.
0
0
2 
p representan las proporciones de
personas inicialmente en los estados 1 y 2, respectivamente.
E
E
EJ
J
JE
E
EM
M
MP
P
PL
L
LO
O
O:
:
: P
P
PR
R
RO
O
OG
G
GR
R
RA
A
AM
M
MA
A
A D
D
DE
E
E E
E
EN
N
NT
T
TR
R
RE
E
EN
N
NA
A
AM
M
MI
I
IE
E
EN
N
NT
T
TO
O
O
El programa de entrenamiento para los supervisores de producción de cierta
compañía contiene dos fases, la primera seguida de la segunda:
 La fase 1, que incluye 3 semanas de trabajo en el aula
 La fase 2, consistente de un programa de aprendizaje de tres semanas
bajo la supervisión de los supervisores ya trabajando
De la experiencia pasada, la compañía espera que:

7. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
 El 60% de aquellos que inician el entrenamiento en el aula logren pasar
a la fase de aprendizaje
 El restante 40% que abandona completamente el programa de
entrenamiento
De aquellos que pasan a la fase de aprendizaje:
 El 70% se gradúan como supervisores
 El 10% deberán repetir la segunda fase
 El 20% quedan completamente fuera del programa
¿Cuántos supervisores la compañía puede esperar de su programa a actual de
entrenamiento, si hay 45 personas en la fase de aula y 21 personas en la fase
de aprendizaje?
Solución
La formulación de este problema como una CM es como sigue.
Se considera un periodo de tres semanas y se definen los estados 1 a 4,
respectivamente, como las condiciones de:
 Estado 1: quedar fuera
 Estado 2: ser entrenado en el aula
 Estado 3: ser aprendiz
 Estado 4: ser supervisor.
Si se considera que las personas que quedan excluidas nunca vuelven a entrar
al programa de entrenamiento y que los supervisores quedan como
supervisores, entonces las probabilidades de transición están dadas por la
matriz

8. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com















0
0
0
0
7
.
0
1
.
0
0
2
.
0
0
6
.
0
0
4
.
0
0
0
0
1
P .
Hay 45  21 = 66 actualmente en el programa de entrenamiento, de manera
que el vector de probabilidad inicial es:
 






 0
,
66
21
,
66
45
,
0
0
X .
R
R
RE
E
EL
L
LA
A
AC
C
CI
I
IÓ
Ó
ÓN
N
N E
E
EN
N
NT
T
TR
R
RE
E
E L
L
LO
O
OS
S
S V
V
VE
E
EC
C
CT
T
TO
O
OR
R
RE
E
ES
S
S D
D
DE
E
E
D
D
DI
I
IS
S
ST
T
TR
R
RI
I
IB
B
BU
U
UC
C
CI
I
IÓ
Ó
ÓN
N
N I
I
IN
N
NI
I
IC
C
CI
I
IA
A
AL
L
L Y
Y
Y F
F
FI
I
IN
N
NA
A
AL
L
L
Si al vector de distribución inicial  
0
X se le aplica la matriz de transición P ,
entonces se obtiene la distribución de probabilidad después de una
observación,  
1
X ; es decir
   
P
X
X 0
1
 .
Si ahora a  
1
X se le aplica la matriz de transición P , se obtiene la distribución
de probabilidad después de la segunda observación,  
2
X ; es decir,
     
   
    2
0
0
0
1
2
P
X
PP
X
P
P
X
P
X
X 


 .
Continuando con este proceso, se obtiene el siguiente resultado para la n -
ésima observación:
Teorema
En una CM, la distribución de probabilidad después de n observaciones es
    n
n
P
X
X 0

donde n
P es la n -ésima potencia de la matriz de transición P y  
0
X es la
distribución inicial de probabilidad.

9. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
De este resultado, se puede deducir el siguiente
Teorema
Si P es la matriz de transición de una CM, entonces los elementos  
n
ij
p de n
P (
n -ésima potencia de P ) proporcionan las probabilidades de pasar del estado
i
E al estado j
E en n etapas, para toda i ó j .
De esta forma, se puede observar que la probabilidad ij
p se identifica con la
proporción de objetos en el estado i que realizan la transición al estado j
durante un periodo.
E
E
EJ
J
JE
E
EM
M
MP
P
PL
L
LO
O
O:
:
: C
C
CE
E
EN
N
NS
S
SO
O
O D
D
DE
E
E P
P
PO
O
OB
B
BL
L
LA
A
AC
C
CI
I
IÓ
Ó
ÓN
N
N
En el último censo se obtuvieron los siguientes datos con respecto a una
ciudad. Cada año:
 El 7% de los residentes de la ciudad se mudaron a los suburbios
 El 1% de la gente de los suburbios se mudó a la ciudad
Suponiendo que el número total de personas se mantiene constante,
determinar la distribución de probabilidad de los residentes de los suburbios y
de la ciudad después de 5 años (es decir, después de 5 observaciones) en el
caso de que la distribución inicial de probabilidad es que el 85% residen en la
ciudad y el 15% residen en los suburbios.
Solución
El porcentaje de mudanzas se puede considerar como la probabilidad de tales
cambios.

10. Análisis de Markov
Dr. Alejandro Domínguez, alexdfar@yahoo.com
Este problema se puede expresar como una secuencia de experimentos en la
que cada uno mide la proporción entre el número de personas que residen en
la ciudad y los que residen en los suburbios.
Según las probabilidades dadas para la mudanza, suponer que n
 representa
esta proporción después de n años.
La proporción de 1

n
 después de 1

n años dependerá únicamente del valor
de n
 y no de los valores que preceden a n
 .
Así se tiene un experimento que se puede representar como una CM.
La distribución inicial de probabilidades para este sistema es
 
 
15
.
0
,
85
.
0
0

X .
La matriz de transición es









99
.
0
01
.
0
07
.
0
93
.
0
P .
Para encontrar la distribución de probabilidad después de 5 años, es necesario
calcular 5
P . Este resultado es
   
    
















 5
22
5
21
5
12
5
11
5
9574
.
0
0426
.
0
2983
.
0
7017
.
0
p
p
p
p
P .
Aquí  
5
ij
p (para 2
,
1
, 
j
i ) es la probabilidad de pasar del estado i al estado j
en 5 etapas consecutivas.
Así, la distribución de probabilidad después de 5 años es
   
 
3972
.
0
,
6028
.
0
5
0
5

 P
X
X .
Entonces, después de 5 años, el 60.28% de los residentes viven en la ciudad y
el 38.72% viven en los suburbios.