Cadenas de Markov en la modelación de procesos estocásticos

Instituto Tecnológico de Puebla
INVESTIGACIÓN DE OPERACIONES II
Equipo 5:
Mayra Priscila Fernanda Escalona Contreras
Ivannia
Alejandra Méndez Méndez
Jesús Antonio Rivera Sánchez
Ulises
Juan Carlos Marín Rosas

4. Cadenas de Markov

ÍNDICE

4.1 Introducción.
4.2 Formulación de las cadenas de Markov.
4.3 Procesos estocásticos.
4.4 Propiedad Markoviana de primer orden.
4.5
Probabilidad de transición estacionarias de un solo paso.
4.6 Probabilidad de transición estacionarias de “n” pasos.
4.7 Estados absorbentes.
4.8
Probabilidad de transición estacionarias de estados estables.
Tiempos de primer paso.

4.1 INTRODUCCIÓN

“Cuando,
conociendo el pasado
y el presente, el
comportamiento
probabilístico del
futuro inmediato sólo
depende del estado
presente”

Matemáticas aplicadas a la administración y a la economía/PEARSON/Arya y Lardner

 Un proceso o sucesión de eventos que se desarrolla en el tiempo
en el cual el resultado en cualquier etapa contiene algún elemento
que depende del azar se denomina proceso aleatorio o proceso
estocástico. Por ejemplo, la sucesión podría ser las condiciones
del tiempo en una serie de días consecutivos: el tiempo cambia día
a día de una manera que en apariencia es algo aleatoria.

 Un ejemplo simple de un proceso estocástico es una sucesión de
ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos
de una moneda. En este caso, el resultado en cualquier etapa es
independiente de todos los resultados previos.

 Sin embargo, en la mayoría de los procesos estocásticos, cada
resultado depende de lo que sucedió en etapas anteriores del
proceso. Por ejemplo, el tiempo en un día determinado no es
aleatorio por completo sino que es afectado en cierto grado por el
tiempo de días previos.


El caso más simple de un proceso estocástico en que los
resultados dependen de otros, ocurre cuando el resultado en
cada etapa sólo depende del resultado de la etapa anterior y
no de cualquiera de los resultados previos.

Tal proceso se denomina proceso de Markov o cadena de
Markov (una cadena de eventos, cada evento ligado al
precedente). Estas cadenas reciben su nombre del
matemático ruso Andrei Andreevitch Markov (1856-1922) que
desarrollo el método en 1907.

Como mencionamos antes, estas cadenas tiene memoria,
recuerdan el último evento y eso condiciona las posibilidades
de los eventos futuros. Esto justamente las distingue de una
serie de eventos independientes como el hecho de tirar una
moneda. Este tipo de proceso presenta una forma de
dependencia simple, pero muy útil en muchos modelos, entre
las variables aleatorias que forman un proceso estocástico.


Cadena de Márkov
• Proceso estocástico discreto en el que la
probabilidad de que ocurra un evento
depende del evento inmediatamente
anterior.

• Una cadena de Márkov es una
secuencia X1, X2, X3,... de variables
aleatorias.

• El rango de estas variables, es llamado
espacio estado, el valor de Xn es el estado
del proceso en el tiempo n. Si la distribución
de probabilidad condicional de Xn+1 en
estados pasados es una función de Xn por sí
sola, entonces:

• Donde xi es el estado del proceso en el
instante i. La identidad mostrada es
la Propiedad de Márkov.

Cadenas irreducibles
• Una cadena de Markov se dice irreducible si
se cumple cualquiera de las siguientes
condiciones (equivalentes entre sí):
• 1. Desde cualquier estado de E se puede
acceder a cualquier otro.
• 2. Todos los estados se comunican entre sí.
• 3. C(x)=E para algún x∈E.
• 4. C(x)=E para todo x∈E.
• 5. El único conjunto cerrado es el total.

Cadenas positivo-recurrentes
• Una cadena de Markov se dice positivo-
recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es
además irreducible es posible demostrar
que existe un único vector de probabilidad
invariante y está dado por:

Cadenas regulares
• Se dice regular (también primitiva o ergódica) si existe
alguna potencia positiva de la matriz de transición
cuyas entradas sean todas estrictamente mayores
que cero.
• Cuando el espacio de estados E es finito, si P denota
la matriz de transición de la cadena se tiene que:

donde W es una matriz con todos sus renglones iguales
a un mismo vector de probabilidad w, que resulta ser
el vector de probabilidad invariante de la cadena.

Cadenas absorbentes
• Una cadena de Markov con espacio de
estados finito se dice absorbente si se
cumplen las dos condiciones siguientes:
• 1. La cadena tiene al menos un estado
absorbente.
• 2. De cualquier estado no absorbente se
accede a algún estado absorbente.
• Si denotamos como A al conjunto de todos
los estados absorbentes y a su
complemento como D, tenemos los
siguientes resultados:

• Su matriz de transición siempre se puede llevar
a una de la forma

donde la submatriz Q corresponde a los estados
del conjunto D, I es la matriz identidad, 0 es la
matriz nula y R alguna submatriz.
•
esto es, no importa en donde se encuentre la
cadena, eventualmente terminará en un estado
absorbente.

Cadenas de Markov en tiempo
continuo
• Si en lugar de considerar una secuencia
discreta X1, X2,..., Xi,.. con i indexado en el
conjunto de números naturales, se consideran
las variables aleatorias Xt con t que varía en un
intervalo continuo del conjunto de números
reales, tendremos una cadena en tiempo
continuo. Para este tipo de cadenas en tiempo
continuo la propiedad de Márkov se expresa de la
siguiente manera:
•

• tal que

• FORMATO DE LA MATRIZ DE
TRANCISIONES:

Como realizar el diagrama de
transición
A

Ejemplo: la ruina del jugador
En el tiempo 0, tengo $2. en los tiempos 1,2 … n participo en
un juego en el que apuesto $1. con la probabilidad P, gano el
juego, y con probabilidad 1-P, pierdo el juego. Mi objetivo es
incrementar mi capital a $4, y cuando lo logre se termina el
juego. El juego también se termina si mi capital se reduce a
$0.
1.-Encuentre la matriz de transición.
2.-Desarolle el diagrama de transición.

Algunas veces nos encontramos interesados en cómo cambia una
variable aleatoria con el tiempo. Por ejemplo, es posible que se desee
saber cómo evoluciona el precio de una parte de las acciones o la
participación en el mercado de una empresa. El estudio de cómo una
variable aleatoria cambia a través del tiempo incluyen los procesos
estocásticos.

¿Qué es un proceso estocástico?

Suponga que se observan algunas características de un sistema en puntos
discretos en el tiempo (identificados con 0,1,2,….). Sea Xt el valor de la
característica del sistema en el tiempo t. En la mayoría de las situaciones,
Xt NO SE CONOCE CON CERTEZA ANTES DEL TIEMPO t y se podría
considerar como una variable aleatoria.

Un proceso estocástico discreto en el tiempo es simplemente una
descripción de la relación entre las variables aleatorias X0, X1, X2….

• Se dispone de 4 módulos de atención que se
van activando secuencialmente a medida que
la cantidad de usuarios que deben ser
atendidos aumenta.
Central
• Cada módulo tiene un máximo de usuarios a Telefónica
los que puede entregar servicio.

• Cuando un módulo está completamente
utilizado, entra en servicio el siguiente módulo.

• Si un módulo deja de ser utilizado, el módulo
se desactiva temporalmente, quedando en
servicio los módulos anteriores. 1 2 3 4

• La definición de estados para el
ejemplo será:

– Estado 1: El módulo 1 está Central
siendo utilizado. Telefónica
– Estado 2: El módulo 2 está
siendo utilizado.
siendo utilizado.
siendo utilizado.

1 2 3 4

• Si consideramos los siguientes porcentajes, para pasar
de curso, repetir o retirarse en cada año:

Repetir 1º año: 2%
Repetir 1º año: 2% Repetir 3º año: 4%
Pasar aa2º año: 97%
Pasar 2º año: 97% Pasar a 4º año: 92%
Retirarse al final del 1º año: 1%
Retirarse al final del 1º año: 1% Retirarse al final del 3º año: 2%

Repetir 2º año: 3% Repetir 4º año: 1%
Pasar a 3º año: 95% Egresar: 96%
Retirarse al final del 2º año: 2% Retirarse al final del 4º año: 3%

• Definición de estados:
– Estado 1: Estar en primer año.
– Estado 2: Estar en segundo año.
– Estado 3: Estar en tercer año.
– Estado 4: Estar en cuarto año.
– Estado 5: Egresar del establecimiento.
– Estado 6: Retirarse del establecimiento.

• La representación gráfica de los estados definidos es:

1 2 3 4 5 6

El clima de Centerville puede cambiar con rapidez de un
día a otros. Sin embrago, las posibilidades de tener
clima seco (sin lluvia) mañana es de alguna forma
mayor si hoy esta seco, es decir, no llueve. Esta
probabilidades no cambian si se considera la
información acerca del clima en los días anteriores a
hoy.

 La evolución del clima día tras día en Centerville es un
proceso estocástico. Si se comienza en alguna día
inicial (etiquetado como el día 0), el clima se observa
cada día t puede ser:

 Estado 0= El día es seco
O bien
 Estado 1= El día t es lluvioso

 Así, para = 0, 1, 2, …, la variable aleatoria Xt
 Toma los valores ,

0 sí día t es seco
 Xt
1 sí día t es lluvioso

 El proceso estocástico {Xt}= {X0, X1, X2….} proporciona una representación matemática de la
forma como evaluación el clima de Centerville a través del tiempo.

PROPIEDAD DE MARKOV

• Nos dice que el futuro depende
únicamente del valor del estado del
presente y es independiente del pasado.

• Como son probabilidades condicionales deben
satisfacer:

• Y

• Donde M es el numero finito asociado a los
diferentes estados por donde puede pasar el
proceso

Una matriz de transición P se dice que es regular si
para algún entero positivo k, la matriz k P no tiene
elementos iguales a cero. Si P es una matriz de
transición regular, entonces sin importar la matriz
de estado inicial, las matrices de estado sucesivas
se aproximan a alguna matriz de estado fija B en
donde B.P = B. La matriz B se denomina matriz
estacionaria del sistema.

Ejemplo: Si la matriz de
transición regular es:

Es la matriz estacionaria que se
requiere.

Por definición, la suma de las probabilidades
p1+ p2 =1 y además B.P = B, o sea:

De allí, resolviendo el sistema que queda
planteado podemos calcular la matriz
estacionaria buscada.

Ejemplo:
Suponga que toda la industria de bebidas de cola
produce solo 2. Dado que una persona la ultima vez
compro cola 1, hay 67% de probabilidades de que su
siguiente compra se cola 1. Dado que la ultima compra
de una persona fue cola 2, hay un 33% de probabilidad
de que su siguiente compra se cola 2.

Si una persona en la actualidad es comprador de cola
2, ¿cual es la probabilidad de que compre cola 1 dos
veces a partir de ahora?

Solución: vemos las compras de cada persona como
una cadena de Markov con el estado, en cualquier
tiempo dado, el tipo de cola que compro la persona
en la ultima vez. Así, la compras de cada individuo
puede representarse como una cadena de Markov
donde.

Estado 1 = la persona compro cola del tipo 1 la ultima vez
Estado 2= la persona compro cola del tipo 2 la ultima vez

Si se define xn como el tipo de cola que una persona compra
en su n-ésima compra futura (compra actual de cola = x0) ,
entonces x0 ,x1... se podría describir como la cadena de
Markov con la siguiente matriz de transición:

Respondiendo a la pregunta se tiene una
probabilidad del 67% de que el comprador
de cola dos compre cola 1 dos veces a
partir de ahora.

Suponga que se está estudiando una cadena de Markov con
una matriz de probabilidad de transición conocida P. (puesto
que las cadenas con las que se tratará son estacionarias, no
nos molestaremos en marcar nuestras cadenas de Markov
como estacionarias). Una pregunta de interés es:
Si una cadena de Markov está en el estado i en el tiempo m,
¿cuál es la probabilidad de que n periodos después la cadena
esté en el estado j? Puesto que se trata con una cadena de
Markov estacionaria, esta probabilidad es independiente de
m, así que se podría escribir

P = ( X n + m = j | X m = i ) = P ( X n = j | X 0 = i ) = Pij (n )
donde Pij ( n ) se llama probabilidad del n-ésimo paso de una
transición del estado i al estado j.

Resulta claro que P (1) = Pu: Para determinar P (2) ,
ij ij
observe que si el sistema ahora está en el estado i, entonces
para que el sistema termine en el estado j dos periodos a
partir de ahora, se debe ir del estado i a algún estado k y
luego del estado k al estado j (véase la figura 3). Este
razonamiento nos permite escribir

k =s
Pij (2) = ∑( probabilidad de transición de i a k ) X ( probabilidad de transicion de k a j)
k =1

Usando la definición de P, la matriz de probabilidad de
transición, se reescribe la última ecuación como
k =s
…………(3)
P (2) = ∑
ij PikPjk
k=1

El lado derecho de (3) es sólo el producto escalar del renglón
i de la matriz P con la columna J de la matriz P. 2Por
P
consiguiente,ij (2) es el ij-ésimo elemento de la matriz .
P
Al
ampliar este razonamiento, se puede demostrar que para
n > 1,

Pij (n) = ij − emesimo elemento de P n
……..(4)
Pij (0) = P ( X 0 = j | X 0 = i )
Por supuesto, para n = O, , así
que se debe escribir

 
Pij (0) =  .l si j = i 
 0 si j ≠ i 

Se ilustra
el uso de la
ecuación (4)
en el ejemplo 4.

EJEMPLO DE BEBIDA
Suponga que toda la industria de bebidas produce solo 2
refrescos. Dado que una persona la ultima vez compro
refresco 1, hay 90% de probabilidades de que su siguiente
compra sea refresco 1. dado que la ultima compra de una
persona fue refresco 2, hay un 80% de probabilidades de que
su siguiente compra se refresco 2.

•1 Si una persona en la actualidad es comprador de cola 2,
¿cuál es la probabilidad de que compre cola 1 dos veces a
partir de ahora?

• 2 Si una persona en la actualidad es comprador de cola 1,
¿cuál es la probabilidad de que compre cola 1 tres
ocasiones a partir de ahora?

SOLUCION:

Vemos las compras de cada persona como una cadena de
Markov con el estado, en cualquier tiempo dado, del tipo de
cola que compró la persona en la última vez. Así, las
compras de cada individuo pueden representarse como
una cadena de Markov de dos estados, donde;

• Estado l = La persona compró cola del tipo 1 la última
vez.
• Estado 2 = La persona compró cola del tipo 2 la última
vez.
Si se define Xn como el tipo de cola que una persona
compra en su n-ésima compra futura (compra actual de
cola = Xo), entonces X0, X1,… se podría describir como la
cadena de Markov con la siguiente matriz de transición:

 R1 R 2 
R 1 .90 .10
P=
R 2 .20 .80

 


Ahora se pueden contestar las preguntas 1 y 2.

Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento 2,1 de P 2:

.90 .10 .90 .10 .83 .17 
P =
2
 .20 .80 = .34 .66
.20 .80    
•Por consiguiente, P21(2) = .34. Esto significa que la
probabilidad de que un bebedor de cola 2 en el futuro compre
dos veces cola l es .34. Mediante la teoría de probabilidad
básica, se podría obtener esta respuesta de una manera
distinta (véase la figura 4).

• Observe que P21 (2) = (probabilidad de que la siguiente
compra sea cola 1 y la segunda compra sea cola 1) +
(probabilidad de que la siguiente compra sea cola 2 y la
segunda compra sea cola
1) = P21P11 + P22P21= (.20)(.90) + (.80)(.20) = .34.

2 Se busca P11(3) = elemento 11 de P 3 :

 90
. .10 83
. .17   781
. .219
P =P ( P ) =
3 2
= 438
 20
. .80 34
. .66  . .562


• Por lo tanto, P11(3) = .781

PROBABILIDADES DE ESTADOS
ESTABLES
Ahora analizaremos el concepto importante de probabilidades
de estado estable, que se puede usar para describir el
comportamiento a largo plazo de una cadena de Markov.

El resultado es vital para comprender las probabilidades de
estado estable y el comportamiento a largo plazo de las
cadenas de Markov.

Sea P la matriz de transición de una cadena ergódica de
estado estable. Entonces existe un vector π = [π1 π2 … πs] tal
que:

• El vector π = [π1 π2 … πs] se llama distribución de
estado estable, o distribución de equilibrio, para
la cadena de Marcos. Para una cadena
determinada con matriz de transición P, ¿cómo se
puede hallar la distribución de probabilidades de
estado estable? A Partir del teorema 1, se observa
que y toda i

Pij (n + 1) ≅ Pij (n ) ≅ π j

π (m + n) = π(n) [P]m Lo cual define una relación de
recurrencia, la cual permite conocer la evolución del vector de
probabilidad de estado en el instante m, conociendo el vector
de probabilidad inicial, hacienda n = 0
A medida que aumenta el número de instantes m, las
matrices convergen a un valor estable, independiente del
vector de probabilidad inicial. Por lo tanto, cuando el sistema
llega a un estado j, la probabilidad en estado estable llegara
ser:

m
π j = lim Pij 
 
m →∞
Entonces la ecuación quedaría de la siguiente manera.

π = πP
Ya que con la ecuación anterior se tendrían un número infinito
de soluciones debido a que el rango de la matriz P siempre
resulta ser menor o igual a s - 1. Para obtener valores únicos
de las probabilidades de estado, observe que para cualquier n
y cualquier i

Pi 1(n ) + Pi 2 (n ) + ... + Pis ( n ) = 1

∑π
j
j =1

Para ejemplificar estas probabilidades utilizaremos el ejemplo
anterior de los refrescos donde P:

Refresco 1 refresco 2

P = refresco 1 0.9 0.1

refresco 2 0.2 0.8

0.9 0.1
π1 π2 = π1 π2
0.2 0.8

Ejemplo:
Se considera una señal con amplitud entre −2A y 2A, el cual
solo puede tomar valores múltiplos de A. En cualquier
instante n, la señal puede, ya sea quedarse en el mismo
valor, aumentar A o disminuir A. Al asumir que los cambios
tienen igual probabilidad, determine:

1. La matriz de transición de estados.
2. La probabilidad de que en el segundo instante, la señal pase el
estado −A al estado A.
3. La probabilidad de estado de la señal en estado estable.

El diagrama de transición de estados que se ilustra en la
siguiente figura, determina el proceso de Markov donde:

Luego, la matriz de transición de estados es igual a:

• Para definir las probabilidades de
transición para el segundo instante, se
tiene:

Luego P−A,A = 1/9 = 0.111. Nótese que dicha probabilidad
puede hallarse usando la matriz de transición de estado inicial
P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En estado estable se
debe satisfacer el sistema de ecuaciones, dado por 2.26, y
eliminando el término π5:

Suponga que cada cliente realiza una compra de refresco durante
cualquier semana. Suponiendo que hay 100 mil clientes que
consumen refresco. A la compañía le cuesta 1 dólar producir un
refresco y lo vende en 2 dólares. Por $500 mil al año, una empresa
publicitaria garantiza disminuir de 10 a 5% la fracción de clientes de
refresco 1que cambian a refresco 2 después de una compra. ¿Debe
la compañía que fabrica refresco 1 contratar a la empresa
publicitaria?

En la actualidad, una fraccion π1 = 2/3 de las compras de
refresco 1. Cada compra de refresco 1produce a la compañia
una gananci de 1 dolar. Puesto que hay un total 52(100 000),
compras de refresco al año, ganancia de la compañoa que
produce refresco 1 es:

•2/3(5 200 000) = $3466666

La compañía publicitaria esta ofreciendo cambiar la matriz
Pa Refresco 1 refresco 2
P = refresco 1 0.95 0.05

refresco 2 0.2 0.8
Para P, las ecuaciones de estado estable son

Π1 = .95π1 + .20π2
Π2 = .05π1 + .80π2

Sustituyendo la ecuación por π1 + π2 = 1 y resolviendo, se obtiene π1 = .
80 y π2 = .20. Ahora la ganancia anual de la compañia que produce
refresco 1 será

.80 (5 200 000) – 500 000 = $3660000

•Por lo tanto, la compañía que produce
refresco 1 debe contratar a la agencia
de publicidad.

Cadenas absorbentes

• Muchas aplicaciones interesantes de las
cadenas de markov tienen que ver con cadenas
en las que algunos de los estados son
absorbentes y el resto son estados transitorios.
Este tipo de cadena se llama cadena
absorbente. Considere una cadena de markov
absorbente; si se comienza en un estado
transitorio, entonces finalmente se esta seguro
de salir del estado transitorio y terminar en uno
de los estados absorbentes

Cadenas absorbentes
• En este formato, los renglones y las columnas de P
corresponden (en orden) a los estados
• Aquí I es una matriz identidad de m x m que refleja el
hecho de que nunca se puede dejar un estado
absorbente: Q es una matriz de (s – m) x (s – m) que
representa estados transitorios; R es una matriz de (s –
m) x m que representa transiciones a estados
absorbentes; 0 es una matriz de m x (s – m) que
consiste por completo en ceros. Esto refleja el echo de
que es imposible ir de un estado absorbente a un
transitorio.

Ejemplo planificación de fuerza
de trabajo
• El bufete jurídico de Mason y Burger emplea tres tipos de abogados:
principiantes, experimentados y asociados. Durante un año
determinado, hay una probabilidad .15 de que un abogado principiante
sea promovido a experimentado y una probabilidad .05 de que salga de
la empresa. También, hay una probabilidad .20 de que el abogado
experimentado sea promovido asocio y una probabilidad .10 de que
salga de la empresa. La probabilidad de que un asociado salga de la
empresa es de .05
• 1 ¿Cuál es el tiempo promedio que un abogado principiante recién
contratado dure trabajando en la empresa ?
• 2 ¿Cuál es la probabilidad de que un abogado principiante se convierta
en asociado ?
• 3 ¿Cuál es el tiempo promedio que un asociado pasa en la empresa ?

Matriz de probabilidades de
transición. s=5, m=2
Entonces

experimentad sale como no sale como
principiante o asociado asociado asociado

principiante 0.8 0.15 0 0.05 0

experimentado 0 0.7 0.2 0.1 0

asociado 0 0 0.95 0 0.05

sale como no
asociado 0 0 0 1 0
sale como
asociado 0 0 0 0 1

Solución
Por lo tanto:

0.8 0.15 0 0.05 0
Q= 0 0.7 0.2 R= 0.1 c0
0 0 0.95 3x3 0 0.05 3x2

Entonces:

0.2 -0.15 0
I -Q = 0 0.3 -0.2
0 0 0.05

Solución
Esta matriz tiene por nombre matriz fundamental de la
cadena de markov.

5 2.5 10
(I-Q)^-1
= 0 3.33 13.33
0 0 20

Por lo tanto:
a1 a2
t1 0.5 0.5
(I-Q)^-1 R= t2 0.33 0.66
t3 0 1

Ejemplo : cuentas por cobrar
• Suponga que una empresa asume que una cuenta es
incobrable si se tiene mas de tres meses de atraso. Entonces
al comienza de cada mes, cada cuenta se puede clasificar en
uno de los siguientes estados:
• Estado 1 Cuentas nuevas.
• Estado 2 El pago de la cuenta tiene un mes de atraso.
• Estado 3 El pago de la cuenta tiene dos meses de atraso.
• Estado 4 El pago de la cuenta tiene tres meses de atraso.
• Estado 5 La cuenta ha sido pagada.
• Estado 6 La deuda se borra como deuda incobrable.
Los datos se muestran en la siguiente cadena de markov

• ¿ cual es la probabilidad de que
finalmente se cobre una cuenta nueva?

• ¿Cuál es la probabilidad de una cuenta de
un mes de retraso en algún momento sea
una deuda incobrable?

Matriz de probabilidad de transición
Entonces s=6, m=2

nueva 1 mes 2 meses 3 meses pagada incobrable
nueva 0 0.6 0 0 0.4 0
1 mes 0 0 0.5 0 0.5 0
2 meses 0 0 0 0.4 0.6 0
3 meses 0 0 0 0 0.7 0.3
pagada 0 0 0 0 1 0
deuda
incobrable 0 0 0 0 0 1

solución
Por lo tanto: 0 0.6 0 0
0 0 0.5 0
Q= 0 0 0 0.4
0 0 0 0 4x4

0.4 0
0.5 0
R= 0.6 0
0.7 0.3 4x2

Solución
1 -0.6 0 0
0 1 -0.5 0
I-Q= 0 0 1 -0.4
0 0 0 1
Se encuentra que ;

t1 t2 t3 t4
t1 1 0.6 0.3 0.12
(I - Q)^-1= t2 0 1 0.5 0.2
t3 0 0 1 0.4
t4 0 0 0 1

Para las preguntas 1 y 3 es necesario calcular;

a1 a2
t1 0.964 0.036
(I - Q)^-1 R = t2 0.94 0.06
t3 0.88 0.12
t4 0.7 0.3

Interpretación
• 1.- Así finalmente de que se cobre una
cuenta nueva es de = .964 el 96%.

• 2.- por consiguiente, la probabilidad de
una cuenta con un mes de retraso se
convierta en una deuda incobrable es de
= .06

PROBABILIDADES DE ESTADOS
ESTABLES
• Ahora analizaremos el concepto importante
de probabilidades de estado estable, que se
puede usar para describir el
comportamiento a largo plazo de una
cadena de Markov.

• El resultado es vital para comprender las
probabilidades de estado estable y el
comportamiento a largo plazo de las cadenas
de Markov.

• Sea P la matriz de transición de una cadena
ergódica de estado estable. Entonces existe
un vector π = [π1 π2 … πs] tal que

• El vector π = [π1 π2 … πs] se llama
distribución de estado estable, o
distribución de equilibrio, para la cadena
de Marcos. Para una cadena determinada
con matriz de transición P, ¿cómo se puede
hallar la distribución de probabilidades de
estado estable? A Partir del teorema 1, se
observa que y toda i

• π (m + n) = π(n) [P]m Lo cual define una
relación de recurrencia, la cual permite
conocer la evolución del vector de
probabilidad de estado en el instante m,
conociendo el vector de probabilidad inicial,
hacienda n = 0

• A medida que aumenta el número de instantes m,
las matrices convergen a un valor estable,
independiente del vector de probabilidad inicial.
Por lo tanto, cuando el sistema llega a un estado j,
la probabilidad en estado estable llegara ser:

• Entonces la ecuación quedaría de la
siguiente manera.
Ya que con la ecuación anterior se tendrían un número infinito de
soluciones debido a que el rango de la matriz P siempre resulta
ser menor o igual a s - 1. Para obtener valores únicos de las
probabilidades de estado, observe que para cualquier n y
cualquier i

• Para ejemplificar estas probabilidades
utilizaremos el ejemplo anterior de los
refrescos donde P:

P = refresco 1 0.9 0.1

refresco 2 0.2 0.8

0.9 0.1
π1 π2 = π1 π2
0.2 0.8

• Ejemplo 2.7 Se considera una señal con
amplitud entre −2A y 2A, el cual solo
puede tomar valores múltiplos de A. En
cualquier instante n, la señal puede, ya
sea quedarse en el mismo valor,
aumentar A o disminuir A. Al asumir que
los cambios tienen igual probabilidad,
determine:

• La matriz de transición de estados.
• La probabilidad de que en el segundo
instante, la señal pase el estado −A al
estado A.
• La probabilidad de estado de la señal en
estado estable.

El diagrama de transición de estados que se ilustra en la
siguiente figura, determina el proceso de Markov donde:

• Luego, la matriz de transición de estados
es igual a:

• Luego P−A,A = 1/9 = 0.111. Nótese que
dicha probabilidad puede hallarse usando
la matriz de transición de estado inicial
P−A,A = P−A,0P0,A = 1/3*1/3 = 0.111. En
estado estable se debe satisfacer el
sistema de ecuaciones, dado por 2.26, y
eliminando el término π5:

• Suponga que cada cliente realiza una compra de refresco
durante cualquier semana. Suponiendo que hay 100 mil
clientes que consumen refresco. A la compañía le cuesta 1
dólar producir un refresco y lo vende en 2 dólares. Por $500
mil al año, una empresa publicitaria garantiza disminuir de 10
a 5% la fracción de clientes de refresco 1que cambian a
refresco 2 después de una compra. ¿Debe la compañía que
fabrica refresco 1 contratar a la empresa publicitaria?

• En la actualidad, una fraccion π1 = 2/3 de las
compras de refresco 1. Cada compra de refresco
1produce a la compañia una gananci de 1 dolar.
Puesto que hay un total 52(100 000), compras de
refresco al año, ganancia de la compañoa que
produce refresco 1 es:

• 2/3(5 200 000) = $3466666

• La compañía publicitaria esta ofreciendo
cambiar la matriz P a

P = refresco 1 0.95 0.05

refresco 2 0.2 0.8
Para P, las ecuaciones de estado estable son

Π1 = .95π1 + .20π2
Π2 = .05π1 + .80π2

• Sustituyendo la ecuación por π1 + π2 = 1 y
resolviendo, se obtiene π1 = .80 y π2 = .20. Ahora la
ganancia anual de la compañia que produce refresco
1 será

• .80 (5 200 000) – 500 000 = $3660000

• Por lo tanto, la compañía que produce refresco 1 debe
contratar a la agencia de publicidad.

Cadenas de Markov en la modelación de procesos estocásticos

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Cadenas de Markov en la modelación de procesos estocásticos

Similar a Cadenas de Markov en la modelación de procesos estocásticos (20)

Último

Último (6)

Cadenas de Markov en la modelación de procesos estocásticos