cadena de markov

1. Asignatura : HERRAMIENTAS PARA LA TOMA DE DECISIONES
Sesión : 04
ESCUELA PROFESIONAL DE INGENIERÍA INDUSTRIAL
FACULTAD DE INGENIERÍA

2. Primera Unidad:
TEORÍA DE DECISIONES, CADENAS DE MARKO
Sesión Contenidos
TEORÍA DE DECISIONES
1 Concepto de decisiones
2 Uso del Teorema de Bayes para la toma de Decisiones.
3 Árboles de decisión
CADENAS DE MARKO
4 Cadena de Markov
5 Cadena de Markov: : Matriz Absorvente
EXAMEN PARCIAL

3. CADENAS DE MARKOV

4. CADENAS DE MARKOV
• Logro:
Al finalizar la sesión, el estudiante utilizará las cadenas de
Markov en la toma de decisiones.
• Importancia:
Las Cadenas de Markov se caracterizan por predecir la
evolución y el comportamiento a corto y largo plazo de
determinados eventos, basándose en sucesos que se
dieron con anterioridad, por lo cual la utilización correcta
de estas herramientas para la toma de decisiones juega
un papel importante en un mundo globalizado, que debe
considerar enfoques estratégicos que generen ventajas
competitivas.

5. Sesión 04:
1. Definición de Cadenas de Markov (CM)
• Procesos estocásticos
• Proceso de Markov
• Matriz de transición
• Elementos de una CM
• Propiedades Markovianas
• Clasificación de estados

7. • Una Cadena de Markov (CM) es:
Un proceso estocástico
Con un número finito de estados (S)
Con probabilidades de transición
estacionarias
Que tiene la propiedad markoviana
1. Definición de Cadenas de Markov (CM)

8. PROCESO ESTOCÁSTICO
Un Proceso estocástico es una colección
infinita de variables aleatorias {Xt : t ϵ T},
parametrizada por un conjunto T llamado
espacio parametral, en donde las variables
aleatorias {Xt} toman valores en un conjunto S
llamado espacio de estados.

9. Proceso Estocástico:
• Es un conjunto o sucesión de variables
aleatorias: {X(t)CG } definidas en un mismo
espacio de probabilidad.
• Normalmente el índice t representa un tiempo y
X(t) el estado del proceso estocástico en el
instante t.
• El proceso puede ser de tiempo discreto o
continuo si G es discreto o continuo.
• Si el proceso es de tiempo discreto, usamos
enteros para representar el índice: {X1, X2, ...}

10. • Es una sucesión de observaciones X1, X2, X3 ….;
que deben cumplir que :
• Los valores de estas observaciones no se
pueden predecir exactamente
• Se pueden usar o asignar probabilidades de
ocurrencia para todas las posibilidades en
cualquier instante de tiempo

11. CADENAS DE MÁRKOV
• En la teoría de la probabilidad, se conoce como
cadena de Márkov o modelo de Márkov a un tipo
especial de proceso estocástico discreto en el que
la probabilidad de que ocurra un evento depende
solamente del evento inmediatamente anterior.
• En efecto las cadenas de este tipo se dicen que
“tienen memoria”; pues “recuerdan” el último
evento condicionando al siguiente. La dependencia
del evento anterior distingue a las cadenas de
Márkov de las series de eventos independientes.

12. 1. Definición de Cadenas de Markov (CM)
Procesos estocásticos - Ejemplos
1. Serie mensual de ventas de un producto
2. Estado de una máquina al final de cada semana
(funciona/averiada)
3. Nº de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada
vez que hace la compra. Se supone que existen 7 marcas
diferentes
5. Nº de unidades en almacén al finalizar la semana

13. CADENA MÁRKOV
DEFINICIÓN FORMAL
•En matemática se define como un proceso
estocástico discreto que cumple con
la propiedad de Márkov, es decir, si se conoce
la historia del sistema hasta su instante
actual, su estado presente resume toda la
información relevante para describir en
probabilidad su estado futuro.

14. CADENA MÁRKOV
DEFINICIÓN FORMAL
•Una cadena de Márkov es una
secuencia X1, X2, X3,... de variables aleatorias.
El dominio de estas variables es llamado
espacio estado; el valor de Xn es el estado del
proceso en el tiempo n. Si la distribución de
probabilidad condicional de Xn+1 en estados
pasados es una función de Xn por sí sola,
entonces:

15. 1. Definición de Cadenas de Markov (CM)
Procesos estocásticos - Trayectoria
0 1 2 3 4 5 …. T
S
0 t1 t2 T
S
Xt1(S)
Xt2(S)
a) Proceso discreto
b) Proceso continuo

16. • Considerar una secuencia Xi,Xj,Xk de un experimento cuyo
vector y matriz inicial son conocidos. Entonces la secuencia
de probabilidad será:
P( Xi,Xj,Xk ) = P( Xi) P( Xi--->Xj) P( Xj--->Xk) P( Xi)
• Podríamos ampliar la regla para cubrir secuencias de
cualquier número de pasos. A los procesos a los cuales
podemos aplicar esta regla se dicen que tienen la
propiedad de Márkov.

17. USO DEL MODELO DE MÁRKOV
• Su principal uso radica en el cálculo de probabilidad de
ocurrencia de un evento teniendo en cuenta los datos del
evento inmediatamente anterior.
• Esto es muy útil para predicciones en base a la probabilidad
para modelos futuros de preferencias o tendencias de
música, política, meteorología, internet, gustos y
preferencias, etc.

19. • Las cadenas de Márkov son unas herramientas que se
utilizan para analizar el comportamiento y el gobierno de
determinados tipos de procesos estocásticos, esto es,
procesos que evolucionan de forma no determinística a lo
largo del tiempo en torno a un conjunto de estados.

20. • Una cadena de Márkov, por lo tanto, representa un sistema
de cambiar su estado a lo largo del tiempo, siendo cada
cambio una transición del sistema. Dichos cambios no están
predeterminados, aunque sí lo está la probabilidad del
próximo estado en función de los estados anteriores,
probabilidad que es constante a lo largo del tiempo (sistema
homogéneo en el tiempo).
• Eventualmente, en una transición, el nuevo estado puede
ser el mismo que el anterior y es posible que exista la
posibilidad de influir en las probabilidades de transición
actuando adecuadamente sobre el sistema (decisión).

21. MATRIZ DE TRANSICIÓN

22. PROPIEDADES DE LA MATRIZ DE TRANSICIÓN
• Debe ser una matriz estocástica esto quiere decir que:
• La suma de las probabilidades de estado debe ser igual a
1
• Debe ser una matriz cuadrada
• Las probabilidades de transición deben estar entre 0 y 1

23. EJEMPLO DE MATRIZ ESTOCÁSTICA
0.60 0.50 0.30
0.15 0.40 0.20 0.30 0.20
0.85 0.60 0.20 0.20 0.50

24. DIAGRAMA DE TRANSICIÓN
• El diagrama de transición de estados de una cadena de Márkov es
grafo dirigido cuyos nodos son los estados y cuyos arcos se etiquetan
con la probabilidad de transición entre los estados que unen. Si la
probabilidad fuese nula no se coloca la flecha.

25. EJEMPLO 1
• Una ciudad sólo tiene bien definidos dos tipos de
climas: Seco (s) y Húmedo (h).
• La probabilidad de que el día de mañana sea un día
seco si el de día de hoy fue seco (pss) es igual a 0.8;
mientras que la probabilidad de que el día de
mañana sea seco si el día de hoy fue húmedo (psh)
es igual a 0.6.
• Determinar:
• La matriz de transición
• Diagrama de transición

26. MATRIZ DE TRANSICIÓN
ESTADO
ACTUAL
SECO HÚMEDO
SECO pss phs
HÚMEDO psh phh
pss phs 0.8 0.2
psh phh 0.6 0.4
T= =
ESTADO SIGUIENTE

27. DIAGRAMA DE TRANSICIÓN
0.8
0.2
0.4
0.6
SECO HÚMEDO

28. •Teniendo en cuenta los datos del problema
anterior, si hoy resulta ser un día seco, cuál
será la probabilidad que sea seco en cinco
días.

29. SOLUCIÓN
DÍA o también SECO HÚMEDO
0 1 0
1 T1 T1
0.8 0.2
2 T2 T2
0.76 0.24
3 T3 T3
0.752 0.248
4 T4 T4
0.7504 0.2496
5 T5 T5
0.75008 0.24992
ESTADOS
DE INICIO (hoy)
PROBABILIDAD DEQUEEL QUINTO DÍA SEA SECO SI HOYFUESECO ES 0,75008

30. • Si pasan varios días
• ¿Cuál será la probabilidad de estado estable para cada
uno de los eventos? no importando que pasó un día antes
• Ahora nos piden que se determine ¿Cuál será la probabilidad
que el día seco o sea húmedo, sin que dependa si el día
anterior fue seco o fue húmedo?
• Existen dos formas de desarrollar este problema:
• Hasta el logro de la estabilidad de probabilidades
• Planteando sistema de ecuaciones

31. ALCANZANDO LA ESTABILIDAD
0.80 0.20
0.60 0.40
DÍA o también SECO HÚMEDO
0 1 0
1 T1 T1
0.8 0.2
2 T2 T2
0.76 0.24
3 T3 T3
0.752 0.248
4 T4 T4
0.7504 0.2496
5 T5 T5
0.75008 0.24992
6 T6 T6
0.750016 0.249984
7 T7 T7
0.7500032 0.2499968
8 T8 T8
0.75000064 0.24999936
9 T9 T9
0.75000013 0.24999987
10 T10 T10
0.75000003 0.24999997
11 T11 T11
0.75000001 0.24999999
12 T12 T12
0.75 0.25
13 T13 T13
0.75 0.25
14 T14 T14
0.75 0.25
15 T15 T15
0.75 0.25
ESTADOS
T0 =
DE INICIO (hoy)
Se puede notar una constancia o
estabilidad en los valores de la
probabilidad, entonces se puede concluir
que la probabilidad que un día cualquiera
en esta ciudad sea seco es de 0,75 y que
sea húmedo es de 0,25; sin depender si el
día anterior es seco o húmedo

32. SEGUNDA FORMA
ps Probabilidad de que un día sea seco
ph Probabilidad de que un día sea húmedo
ps = pss.ps + psh. Ph
p h = phs.ps + phh. ph
ps + ph = 1
0.8ps + 0.6ph = ps (1)
0.2 ps + 0.4 ph = ph (2)
ps + ph = 1 ps + ph = 1 (3)
RESOLVIENDO
ps = 0.75
ph = 0.25
-0.2ps + 0.6ph = ps
0.2 ps - 0.6 ph = ph
0
0

33. EJEMPLO 2
• Un ejemplo similar al anterior, para ver la diferencia de
trabajar con tres estados, o sea una matriz de transición de 3
x 3.
• Los tres estados referidos también al clima: día soleado (s);
día nublado (n) y día Lluvioso (l)
• En la siguiente tabla se muestran las probabilidades, por
ejemplo:
• La probabilidad de que el día siguiente sea soleado si el día
anterior fue soleado (pss) es igual a 0,5; la probabilidad que
el día siguiente sea nublado siendo el anterior soleado (pns)
es igual a 0,3 y la probabilidad que el día siguiente sea
lluvioso si el día anterior fue soleado (pls) es igual a 0,2.
Observe que la suma es 1.

34. Ejemplo 2: MATRIZ DE TRANSICIÓN
ESTADO
ACTUAL
SOLEADO NUBLADO LLUVIOSO
SOLEADO pss pns pls
NUBLADO psn pnn pln
LLUVIOSO psl pnl pll
ESTADO
ACTUAL
SOLEADO NUBLADO LLUVIOSO
SOLEADO 0.50 0.30 0.20
NUBLADO 0.20 0.50 0.30
LLUVIOSO 0.15 0.45 0.40
ESTADO SIGUIENTE
ESTADO SIGUIENTE

35. EJEMPLO 2 : GRÁFICO DE TRANSICIÓN
S
L
N
0,5
0
0,4
0
0,5
0
0,3
0
0,2
0
0,4
5
0,2
0
0,1
5 0,3
0

36. Si el día de hoy es nublado T0 = [ 0 1 0]
S N L
[ 0 1 0] x 0.50 0.30 0.20
0.20 0.50 0.30
0.15 0.45 0.40
T0 0 1 0
T1 0.2 0.5 0.3
T2 0.245 0.445 0.31
T3 0.258 0.4355 0.3065
T4 0.262075 0.433075 0.30485
T5 0.26338 0.4323425 0.3042775
T6 0.26380013 0.43211013 0.30408975
T7 0.26393555 0.43203549 0.30402896
T8 0.26397922 0.43201144 0.30400934
T9 0.2639933 0.43200369 0.30400301
T10 0.26399784 0.43200119 0.30400097

37. Podemos resolver formando ecuaciones:
0,50ps + 0,20pn + 0,15pl = ps
0,30ps + 0,50pn + 0,45pl = pn
0,20ps + 0,30pn + 0,40pl = pl
ps + pn + pl = 1
Resolviendo el sistema de ecuaciones, se obtiene:
ps 0,264
pn 0,432
pl 0,304

38. EJEMPLO 3
• En el Perú existen 3 operadores principales de telefonía móvil como
lo son Claro, Entel y Movistar (estados).
• Los porcentajes actuales que tiene cada operador en el mercado
actual son para Claro 0.4 para Entel 0.25 y para movistar 0.35.
(estado inicial)
• Se tiene la siguiente información un usuario actualmente de Claro
tiene una probabilidad de permanecer en Claro de 0.60, de pasar a
Entel 0.2 y de pasarse a Movistar de 0.2; si en la actualidad el usuario
es cliente de Entel tiene una probabilidad de mantenerse en Entel del
0.5 de que esta persona se cambie a Claro 0.3 y que se pase a
Movistar de 0.2; si el usuario es cliente en la actualidad de Movistar
la probabilidad que permanezca en Movistar es de 0.4 de que se
cambie a Claro de 0.3 y a Entel de 0.3.
Partiendo de esta información podemos elaborar la matriz de
transición.

39. EJEMPLO 3
a) Partiendo de esta información podemos elaborar la matriz
de transición.
Si este estudio de mercado se realiza cada dos meses
(bimestre)
b) Determinar las cuotas de mercado en el cuarto bimestre
c) ¿Cuál es la probabilidad de que un usuario de telefonía
móvil se decida por claro en el quinto bimestre?
d) En el quinto bimestre ¿Qué operador tiene dominio o
mayor cuota en el mercado y cuánto es esa cuota?
e) En un mercado estable cuál será el comportamiento en el
mercado comente quien será el dominante o beneficiado
y qué operador el más perjudicado

40. EJEMPLO 4
• Suponga que en el mercado se consiguen 3 tipos de bebidas gaseosas
la coca cola, Pepsi cola y big cola cuando una persona a comprado
coca cola existe una probabilidad de que la siga consumiendo de el
75%, un 15% de que compre Pepsi cola y un 10% de que compre big
cola; cuando el comprador actualmente consume Pepsi existe una
probabilidad de que la siga comprando de 60%, un 25% que compre
coca cola y un 15% big cola; si en la actualidad consuma big cola la
probabilidad de que la siga consumiendo es del 50%, un 30% que
compre coca cola y 20% pepsi cola.
• En la actualidad cada una de estas tiene una participación en el
mercado de 60% para la Coca cola; 30% para la Pepsi cola y 10 % para
la Big cola.
• ¿Cuál será probabilidad de cada marca en el 5° periodo?

41. …EJEMPLO 4
• En la actualidad cada marca cocacola, Pepsi y big cola tienen
los siguientes porcentajes en participación en el mercado
respectivamente (60% 30% 10%)
• Elaborar la matriz de transición
• Hallar la probabilidad que tiene cada marca en el
periodo 5
• Respuesta
• Matriz de transición

42. EJEMPLO 5
• Se ha realizado un estudio de mercado con respecto a la
fidelidad y preferencia de las tres principales tiendas de
autoservicio en Piura: METRO (m), TOTTUS (t) Y VEA (v).
METRO (m) TOTTUS (t) VEA (v)
METRO (m) 0,45 0,20 0,35
TOTTUS (t) 0,20 0,50 0,30
VEA (v) 0,10 0,20 0,70

43. • Se pide:
• La matriz de transición
• El diagrama de transición
• El estado estable: ¿Cuál será la tendencia de comprar en estos
centros en forma probabilística?
• Responder el ejercicio anterior si el mismo estudio de mercado
indica que cada una de estas tiendas tienen un sector de
mercado definido en 22 % metro, 35% Tottus y 43 % Vea

44. EJEMPLO 6
• Un estudio de mercado trimestral realizado a una
muestra de 25000 conductores de autos, a quienes se
les pregunto por la marca de combustible que
utilizaban para sus unidades, dio el siguiente resultado:
8000 manifestaron utilizar PECSA; 12000 utilizaban
PRIMAX y el resto OTRA marca.
• Del total de los que utilizan PECSA, 4160 aseguraron
que seguirán utilizando esta misma marca; sin embargo
2000 que utilizarían en un futuro PRIMAX y el resto
OTRA marca distinta.
• En el caso de los que utilizan PRIMAX; 3840
manifestaron que utilizarían PECSA, 2160 utilizarían
OTRA marca y el resto seguirían utilizando PRIMAX.
• Por último el estudio indicó que solo 1400 de los que
usan OTRA marca seguirán utilizando esta otra marca;
1500 utilizarían PRIMAX y el resto PECSA.

45. Con esta información Determinar:
a) La matriz de transición correspondiente
b) La cuota de mercado (en porcentaje) para la
marca PRIMAX en el quinto trimestre
c) La cantidad estimada de conductores para cada
marca de combustible en el quinto trimestre (se
les pide cantidad de conductores, no en forma
porcentual)
d) ¿Cuál es el porcentaje de tendencia de cada
marca (cuando el mercado sea estable)?