El documento describe las cadenas de Markov, que son modelos probabilísticos utilizados para predecir el comportamiento a corto y largo plazo de sistemas. Explica los elementos clave de una cadena de Markov, incluidos los estados, las probabilidades de transición y la propiedad Markoviana. También presenta ejemplos y cómo representar gráficamente las matrices de transición.

1. Cadena de Markov
Objetivo:
Aplicar la teoría de cadena de
Markov para resolver ejercicios
Docente: Msc. Mercedes Guillermina Godoy Barbosa

2. Las cadenas de markov
– Las cadenas de markov son modelos
probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo
plazo de determinados sistemas.
– Ejemplos: reparto del mercado entre marcas;
dinámica de las averías de máquinas para decidir
política de mantenimiento; evolución de una
enfermedad,…

3. Definición de cadena de Markov
Una Cadena de Markov (CM) es:
•Un proceso estocástico
•Con un número finito de estados (M)
•Con probabilidades de transición
estacionarias
•Que tiene la propiedad markoviana

4. Ejemplos de procesos estocásticos:
1.Serie mensual de ventas de un producto
2. Estado de una máquina al final de cada semana
(funciona/averiada)
3. Nº de clientes esperando en una cola cada 30
segundos
4. Marca de detergente que compra un consumidor
cada vez que hace la compra. Se supone que
existen 7 marcas diferentes
5. Nº de unidades en almacén al finalizar la semana

5. Elementos de una cadena de markov
– Un conjunto finito de M estados, exhaustivos y
mutuamente excluyentes (ejemplo: estados de
la enfermedad)
– Ciclo de markov (“paso”) : periodo de tiempo
que sirve de base para examinar las transiciones
entre estados (ejemplo, un mes)
– Probabilidades de transición entre estados, en
un ciclo (matriz P)
– Distribución inicial del sistema entre los M
estados posibles

6. MATRIZ DE TRANSICIÓN:
• Una matriz de transición para una cadena de
Markov de n estado es una matriz de n X n con
todos los registros no negativos y con la
propiedad adicional de que la suma de los
registros de cada columna (o fila) es 1.
Por ejemplo: las siguientes son matrices de
transición.

7. Representación grafica de una matriz de transición:
• Es el arreglo numérico donde se
condensa las probabilidades de
un estado a otro.
• A través de una grafica de matriz
de transición se puede observar
el comportamiento estacionario
representado por una cadena de
Markov tal que los estados
representan la categoría en que
se encuentre clasificado.
• Como se aprecia a continuación:

8. Propiedad Markoviana
• Un proceso estocástico tiene la propiedad markoviana si
las probabilidades de transición en un paso sólo
dependen del estado del sistema en el período anterior
(memoria limitada).

9. Propiedad Markoviana
P(n) es la matriz de transición en n pasos, de orden (M+1)x(M+1)

10. Propiedad Markoviana

12. Tipos de modelos de Markov:
• Procesos de Markov (Modelos semi-markovianos): Las
probabilidades de transición entre estados pueden variar a
medida que transcurren más ciclos
– Ejemplo: para modelizar la esperanza de vida, el riesgo de
muerte aumenta con la edad
• Cadenas de Markov: Las probabilidades de transición se
suponen constantes a lo largo del tiempo
• Propiedad markoviana
• Comportamiento (sube/baja) del precio de las acciones hoy
depende de lo ocurrido ayer
• Elección de marca: Con qué línea aérea volar a Madrid?

13. Matriz de transición del proceso
1 2 3 4 5
1 0.2 0.5 0.3
2 0.2 0.5 0.3
3 0.2 0.5 0.3
4 0.2 0.5 0.3
5 0.2 0.5 0.3
P2
2,3 = Probabilidad de que el sistema pase
del estado 2 al 3 en dos pasos.
P2
2,3 =
0.2*0.3+0.5*0.3+0.3*0.5+0*0.2+0*0.
3 = 0.36

14. Actividad: De la matriz anterior
determinar:
• P2
1,3 P2
1,2 P2
1,4 P2
4,3
• P2
2,4 P2
2,1 P2
3,4 P2
3,3
De la matriz:
1 2
1 0.8 0.2
2 0.3 0.7 Determinar :
P2
1,2 P2
1,1
P2
2,2 P2
2,1

15. Problema 1
La ciudad de Nueva York produce 1000 toneladas de
aire contaminado por día, la ciudad de Jersey 100
toneladas y Newark 50 toneladas. Todos los días, los
vientos arrastran 1/3 de la contaminación de Nueva York
a Newark, 1/3 se disipa y el otro tercio permanece en
Nueva York. Cada día el viento se lleva a Nueva York 1/3
de la contaminación de la ciudad de Jersey, 1/3 se queda
en Jersey y 1/3 se va Newark. Todos los días, 1/3 de la
contaminación de Newark permanece allí y el resto se va
con el viento a la ciudad de Jersey.
¿En un día representativo cual ciudad será la más
contaminada?

16. Problema 2
• Suponga que toda la industria de refresco produce
dos colas: Coca Cola y Pepsi Cola. Cuando una
persona ha comprado Coca Cola hay una
probabilidad de 90% de que siga comprándola la
vez siguiente. Si una persona compró Pepsi, hay
80% de que repita la vez siguiente. Se pide:
• Si en la actualidad una persona es comprador de
Coca Cola. ¿Cuál es la probabilidad de que compre
Coca Cola pasadas tres compras a partir de ahora?
• Suponga que el 60% de toda la gente toma hoy
Coca Cola y el 40% Pepsi. A tres compras a partir
de ahora, ¿Qué fracción de los compradores estará
tomando Coca Cola. Determinar la matriz de
Markov estable.