Este documento presenta un taller sobre cadenas de Markov. En la primera sección se analiza una matriz de transición de 5 estados y se clasifican los estados como recurrentes o transitorios. Luego, se modela una cadena de Markov para una unidad de dos componentes en paralelo que pueden fallar o repararse. Finalmente, se analiza una cadena continua para un centro de trabajo con llegadas y salidas exponenciales.

1. TALLER DE INVESTIGACIÓN DE OPERACIONES II
CADENAS DE MARKOV
TALLER DE INVESNTIGACIÓN DE OPERACIONES II
“CADENAS DE MARKOV”
ALEXANDER JOSÉ ESCOBAR MURGAS
2011116026
MARIA ALEJANDRA GARCÍA HABEYCH
2010216046
LUIS ALEJANDRO SUÁREZ BURGOS
2011116066
Ing. NESTOR CAICEDO SOLANO
UNIVERIDAD DEL MAGDALENA
FACULTAD DE INGENIERÍA
PROGRAMA DE INGENIERÍA INDUSTRIAL
INVESNTIGACIÓN DE OPERACIONES II
SANTA MARTA D.T.C.H
2013

2. TALLER DE INVESTIGACIÓN DE OPERACIONES II
CADENAS DE MARKOV
TALLER INVESTIGACIÓN DE OPERACIONES II
16.4-3. Dada la siguiente matriz de transición (de un paso), determine las clases de cadena de
Markov y si son recurrentes o no.
P=
Estado 0 1 2 3 4
0 1/4 3/4 0 0 0
1 3/4 1/4 0 0 0
2 1/3 1/3 1/3 0 0
3 0 0 0 3/4 1/4
4 0 0 0 1/4 3/4
RESPUESTA:
En este caso se presentan tres tipos de estados:
El estado 0 y el estado 1 son de tipo recurrente, puesto que la probabilidad de pasar del estado 0 o
1 a los estados 2, 3 o 4 es igual a 0, es decir, transitan entre sí o permanecen en sus estados
originales, por ende, se puede observar que: 𝑃00 + 𝑃01 = 𝑃10 + 𝑃11 = 1 → 𝑆𝑜𝑛 𝑟𝑒𝑐í𝑝𝑟𝑜𝑐𝑎𝑠.
Este mismo caso se presenta entre los estados 3 y 4, por lo tanto, son estados recurrentes,
entonces, podemos observar que las probabilidades de pasar del estado 3 o 4 a los estados 1, 2 o
3 es nula, es decir, transitan entre ellos o permanecen en sus estados originales, esto quiere decir
que: 𝑃33 + 𝑃34 = 𝑃43 + 𝑃44 = 1 → 𝑆𝑜𝑛 𝑟𝑒𝑐í𝑝𝑟𝑜𝑐𝑎𝑠.
Caso contrario ocurre en el estado 2, el cual posee la particularidad de que únicamente se puede
llegar al estado 2 partiendo del estado 2.
Por tanto:
{0,1} = Estados recurrentes.
{2} = Estado transitorio.
{3,4}= Estados recurrentes.

3. TALLER DE INVESTIGACIÓN DE OPERACIONES II
CADENAS DE MARKOV
16.5-9. Una unidad importante consta de dos componentes colocadas en paralelo. La unidad tiene
un desempeño satisfactorio si una de las dos componentes está en operación. Por lo tanto, solo se
opera una de ellas a la vez, pero ambas se mantienen operativas (capaces de operar) tanto como
sea posible, reparándolas cuando se necesite. Un componente operativo tiene una probabilidad de
0,2 de descomponerse en un periodo dado. Cuando ocurre, el componente en paralelo opera, si
está operativo, al comenzar el siguiente periodo. Solo se puede reparar un componente a la vez.
Una reparación se inicia al principio del primer periodo disponible y termina al final del siguiente.
Sea 𝑋𝑡 un vector con dos elementos U y V, donde U es el número de componentes operativos al
final del periodo t y V el número de periodos de reparación que transcurren para componentes que
todavía no son operativos. Entonces, V = 0 si U = 2 o si U = 1 y la reparación del componente no
operativo se está realizando. Como la reparación toma dos periodos, V = 1 si U = 0 (pues el
componente no operativo espera iniciar su reparación mientras la otra entra al segundo periodo) o
si U = 1 y el componente no operativo está en su segundo periodo. Así, el espacio de estado
contiene cuatro estados (2,0), (1,0), (0,1) y (1,1). Denote estos estados por 0, 1, 2, 3
respectivamente. (𝑋𝑡) (t = 0,1,…) es una cadena de Markov (suponga que 𝑋0 = 0) con matriz de
transición (de un paso).
Estado 0 1 2 3
P=
0 0,8 0,2 0,0 0,0
1 0,0 0,0 0,2 0,8
2 0,0 1,0 0,0 0,0
3 0,8 0,2 0,0 0,0
a) ¿Cuál es la probabilidad de que la unidad no esté operable después de n periodos (porque
ambas componentes estén descompuestas), para n = 2, 5, 10, 20?
b) ¿Cuáles son las probabilidades de estado estable del estado de esta cadena de Markov?
c) Si cuesta 30.000 dólares por periodo que la unidad no opere (ambas componentes
descompuestas) y cero en otro caso, ¿cuál es el costo promedio esperado (a la larga) por
periodo?
RESPUESTA:
a)
Estados 0 1 2 3
𝑃2
=
0 0,64 0,16 0,04 0,16
1 0,64 0,36 0 0
2 0 0 0,2 0,8
3 0,64 0,16 0,04 0,16
Estados 0 1 2 3
𝑃5
=
0 0,61952 0,19488 0,03712 0,14848
1 0,59392 0,17408 0,0464 0,1856
2 0,64 0,232 0,0256 0,1024
3 0,61952 0,19488 0,03712 0,14848

4. TALLER DE INVESTIGACIÓN DE OPERACIONES II
CADENAS DE MARKOV
Estados 0 1 2 3
𝑃10
=
0 0,61529129 0,19220439 0,03850086 0,15400346
1 0,61601382 0,1929815 0,03820093 0,15280374
2 0,61410509 0,19100467 0,03897805 0,15591219
3 0,61529129 0,19220439 0,03850086 0,15400346
Estados 0 1 2 3
𝑃20
=
0 0,61538449 0,19230756 0,03846159 0,15384635
1 0,61538541 0,19230853 0,03846121 0,15384485
2 0,61538306 0,19230606 0,03846218 0,1538487
3 0,61538449 0,19230756 0,03846159 0,15384635
Las probabilidades de que la unidad no esté operable son:
𝒏(𝟐) = 0,04 𝒏(𝟓) = 0,037 𝒏(𝟏𝟎) = 0,039 𝒏(𝟐𝟎) = 0,038
b) 𝜋0 = 0,8𝜋0 + 0,8𝜋3 (1)
𝜋1 = 0,2𝜋0 + 𝜋2 + 0,2𝜋3 (2)
𝜋2 = 0,2𝜋1 (3)
𝜋3 = 0,8𝜋1 (4)
1 = 𝜋0 + 𝜋1 + 𝜋2 + 𝜋3 (5)
Se despeja 𝜋0 de la ecuación 1:
𝜋0 − 0,8𝜋0 = 0,8𝜋3 → 0,2𝜋0 = 0,8𝜋3 → 𝜋0 =
0,8𝜋3
0,2
→ 𝝅 𝟎 = 𝟒𝝅 𝟑 (6)
Se despeja 𝜋1 de la ecuación 2:
𝜋1 = 0,2(4𝜋3) + 𝜋2 + 0,2𝜋3 → 𝜋1 = 0,8𝜋3 + 𝜋2 + 0,2𝜋3 → 𝝅 𝟏 = 𝝅 𝟑 + 𝝅 𝟐 (7)
Se reemplaza 7 en 4 y se despeja 𝜋2:
𝜋3 = 0,8(𝜋3 + 𝜋2) → 𝜋3 = 0,8𝜋3 + 0,8𝜋2 → 𝜋3 − 0,8𝜋3 = 0,8𝜋2 → 0,2𝜋3 = 0,8𝜋2 → 𝝅 𝟐 =
𝝅 𝟑
𝟒
(8)
Se despeja 𝜋3 de la ecuación 5 y se reemplazan los valores obtenidos:
𝜋3 = 1-𝜋0-𝜋1-𝜋2 → 𝜋3 = 1 − 4𝜋3 − 𝜋3 − 2 (
𝜋3
4
) → 1 = 6,5𝜋3 → 𝝅 𝟑 =
𝟐
𝟏𝟑
= 𝟎, 𝟏𝟓𝟒
Se reemplaza 𝜋3 en 8:
𝜋2 =
2
13
4
→ 𝝅 𝟐 =
𝟏
𝟐𝟔
= 𝟎, 𝟎𝟑𝟖
Se reemplaza 𝜋3 y 𝜋2 en 7:
𝜋1 =
2
13
+
1
26
→ 𝝅 𝟏 =
𝟓
𝟐𝟔
= 𝟎, 𝟏𝟗𝟐
Se reemplaza 𝜋3 en 6:

5. TALLER DE INVESTIGACIÓN DE OPERACIONES II
CADENAS DE MARKOV
𝜋0 = 4 (
2
13
) → 𝝅 𝟎 =
𝟖
𝟏𝟑
= 𝟎, 𝟔𝟏𝟓
Las probabilidades de estado estable del estado de esta cadena de Markov son:
𝝅 𝟎 = 0,615 𝝅 𝟏 = 0,192 𝝅 𝟐 = 0,038 𝝅 𝟑 = 0,154
c) El costo promedio esperado por periodo de que la unidad no opere se representa de la
siguiente manera:
𝑪𝒐𝒔𝒕𝒐 𝒑𝒓𝒐𝒎𝒆𝒅𝒊𝒐 = $𝟑𝟎. 𝟎𝟎𝟎(𝝅 𝟐) = $𝟑𝟎. 𝟎𝟎𝟎(𝟎, 𝟎𝟑𝟖) = $𝟏. 𝟏𝟒𝟎
El costo promedio por periodo de que la unidad no opere equivale a: $1.140
16.8-3. El estado de una cadena de Markov de tiempo continuo está definido como el número de
trabajos que hay en el momento actual en cierto centro de trabajo, donde se permite un máximo de
dos trabajos, los cuales llegan individualmente. Siempre que hay menos de tres trabajos, el tiempo
que transcurre hasta la siguiente llegada tiene una distribución exponencial con media de dos días.
Los trabajos se procesan uno a la vez y dejan el centro de inmediato. Los tiempos de procesado
tienen una distribución exponencial con media de un día.
a) Construya el diagrama de tasas de esta cadena de Markov.
b) Escriba las ecuaciones de estado estable.
c) Resuelva estas ecuaciones para obtener las probabilidades de estado estable.
RESPUESTA:
a)
b) Las ecuaciones son las siguientes:
 𝜋0 →
1
2
𝜋0 = 𝜋1
 𝜋1 →
3
2
𝜋1 =
1
2
𝜋0 + 𝜋2

6. TALLER DE INVESTIGACIÓN DE OPERACIONES II
CADENAS DE MARKOV
 𝜋2 → 𝜋2 =
1
2
𝜋1
 𝜋0 + 𝜋1 + 𝜋2 = 1
c) Despejamos 𝝅 𝟎 de la primera ecuación, obteniendo:
 𝜋0 = 2𝜋1
Luego reemplazamos 𝝅 𝟎 𝒚 𝝅 𝟐 en la ecuación 4 y tenemos:
 2𝜋1 + 𝜋1 +
1
2
𝜋1 = 1

7
2
𝜋1 = 1
 𝜋1 =
1
7
2
 𝝅 𝟏 = 𝟎, 𝟐𝟖𝟓𝟕
Por ultimo reemplazamos este valor en las diferentes ecuaciones
obteniendo:
 𝜋0 = 2𝜋1
 𝜋0 = 2(0,2857)
 𝝅 𝟎 = 𝟎, 𝟓𝟕𝟏𝟒
 𝜋2 =
1
2
𝜋1
 𝜋2 =
1
2
(0,2857)
 𝜋2 = 0,1428
Para finalizar se comprueba que la suma de las probabilidades sea igual a 1:
 𝜋0 + 𝜋1 + 𝜋2 = 1
 0,5714 + 0,2857 + 0,1428 = 0,9999 ≈ 1