Este documento presenta información sobre modelos de toma de decisiones con criterios múltiples y cadenas de Markov. Explica que las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución de sistemas, describiendo conceptos como estados, matriz de transición, distribución actual y estado estable. También incluye un ejemplo de aplicación de cadenas de Markov para predecir las preferencias de clientes de una tienda en semanas futuras basado en su comportamiento pasado.

1. UNIVERSIDAD NACIONAL JOSE FAUSTINO SANCHEZ CARRION
FACULTAD DE INGENIERÍA INDUSTRIAL,
SISTEMAS E INFORMÁTICA
ESCUELA ACADEMICO PROFESIONAL DE
INGENIERIA INFORMATICA
CURSO
INVESTIGACION DE OPERACIONES II
TEMA
MODELO DE MARKOV
INTEGRANTES
Alvino Loza, Alvino
Brito Salazar, Diana
Carbajal Ramos, Sergio
Gómez Molina, Diego
Jaimes Landa, Luz
Ramirez Jara, Andrea
Zapata Bazalar, Samuel
DOCENTE
ALCIBIADES SOSA PALOMINO
HUACHO – LIMA
PERU

2. | 2
TOMA DE DECISIONES CON CRITERIOS MULTIPLES
Los métodos y modelos para la toma de decisiones con criterios
múltiples proveen herramientas de utilidad a la hora de analizar
problemas complejos.Los procesosde toma de decisioneshan sido
analizados y modelados matemáticamente para dotar a las
personas encargadas de tomar decisiones,de herramientas que les
permitan contar con una mejor visualización de los factores que
intervienen en los procesos, así como de las preferencias
existentes. Los procesos de decisión relacionados al desarrollo
sostenible involucran la interrelación de tres sistemas con objetivos
muchas veces contrapuestos: el sistema económico, el sistema
social y el sistema medioambiental. La interrelación de estos
sistemas produce conflicto de intereses que hace de cualquier
proceso de decisión, una tarea compleja que requiere de métodos
sistemáticos.
 Proceso Analítico de Jerarquías (PAJ). : Permite analizar
tanto criterios cuantitativos como cualitativos.
 Programación de Metas (PM): Analiza criterios cuantitativos.

3. | 3
Análisis de Markov
El análisis de Markov, llamado así por los estudios realizados por el
ruso Andréi Andréyevich Márkov entre 1906 y 1907, sobre la
secuencia de los experimentos conectados en cadena y la
necesidad de descubrir matemáticamente los fenómenos físicos. La
teoría de Markov se desarrolló en las décadas de 1930 y 1940 por
A.N.Kolmagoron, W.Feller, W.Doeblin, P.Levy, J.L.Doob y otros.
El análisis de Markov es una forma de analizar el movimiento actual
de alguna variable, a fin de pronosticar el movimiento futuro de la
misma. Este método ha comenzado a usarse en los últimos años
como instrumento de investigaciones de mercadotecnia, para
examinar y pronosticar el comportamiento de los clientes desde el
punto de vista de su lealtad a una marca y de sus formas de cambio
a otras marcas, la aplicación de esta técnica, ya no solo se limita a
la mercadotecniasino que su campo de acción se ha podido aplicar
en diversos campos.
ANDREY MARKOV
Las cadenas de Markov fueron introducidas por el matemático ruso
Andrey Markov (1856-1922) alrededor de 1905. Su intención era
crear un modelo probabilístico para analizar la frecuencia con la que
aparecen las vocales en poemas y textos literarios. El éxito del
modelo propuesto por Markov radica en que es lo suficientemente
complejo como para describir ciertas características no triviales de
algunos sistemas, pero al mismo tiempo es lo suficientemente
sencillo para ser analizado matemáticamente.
Su trabajo teórico en el campo de los procesos en los que están
involucrados componentes aleatorios (procesos estocásticos)
darían fruto en un instrumento matemático que actualmente se
conoce como cadena de Márkov: secuencias de valores de una
variable aleatoria en las que el valor de la variable en el futuro
depende del valor de la variable en el presente, pero es
independiente de la historia de dicha variable. Las cadenas de
Márkov, hoy día, se consideran una herramienta esencial en

4. | 4
disciplinas como la economía, la ingeniería, la investigación de
operaciones y muchas otras.
CADENA DE MARKOV
Las cadenas de markov son modelos probabilísticos que se usan
para predecir la evolución y el comportamiento a corto y a largo
plazo de determinados sistemas.
En principio fue dirigida a resolver problemas industriales, sin
embargo posteriormente se ha extendido a muchos otros campos
como la economía, agricultura, recursos ambientales, recursos
pesqueros, etc.
Resulta de gran interés, sobre todo, en problemas complejos de
gran tamaño.
Las cadenas de Márkov son una herramienta para analizar el
comportamiento y el gobierno de determinados tipos de procesos
estocásticos, esto es, procesos que evolucionan de forma no
determinística a lo largo del tiempo en torno a un conjunto de
estados.
Una cadena de Márkov, por tanto, representa un sistema que varía
un estado a lo largo del tiempo, siendo cada cambio una transición
del sistema. Dichos cambios no están predeterminados, aunque sí
lo está la probabilidad del próximo estado en función de los estados

5. | 5
anteriores, probabilidad que es constante a lo largo del tiempo
(sistema homogéneo en el tiempo). Eventualmente, es una
transición, el nuevo estado puede ser el mismo que el anterior y es
posible que exista la posibilidad de influir en las probabilidades de
transición actuando adecuadamente sobre el sistema (decisión).
Conceptos básicos
Para el estudio de las cadenas de Márkov, debentenerse en cuenta
algunos conceptos claves como los siguientes:
1. Estados
El estado de un sistema en un instante t es una variable cuyos
valores solo puedenpertenecer al conjunto de estaos en el sistema.
El sistema modelizado por la cadena, por lo tanto, es una variable
que cambia con el valor del tiempo, cambio al que llamamos
transición.
2. Matriz de transición
Los elementos de matriz representan la probabilidad de que el
estado próximo sea el correspondiente a la columna si el estado
actual es el correspondiente a la fila.
Posee 3 propiedades básicas:
La suma de las probabilidades de los estados debe ser igual a 1.
La matriz de transición debe ser cuadrada.
Las probabilidades de transición deben estar entre 0 y 1.
Distribución actual (Vector Po): Es la manera en la que se
distribuyen las probabilidades de los estados en un periodo inicial,
(periodo 0). Esta información te permitirá averiguar cuál será la
distribución en periodos posteriores.
Estado estable: Se puede decir que el estado estable es la
distribución de probabilidades que en cierto punto quedará fija para
el vector P y no presentará cambios en periodos posteriores.Por
consiguiente un estado es recurrente sí y solo si no es transitorio.

6. | 6
ESTADO ABSORBENTES: Un estado tal que si el proceso entra
en él permanecerá indefinidamente en este estado (ya que las
probabilidades de pasara cualquiera de los otros son cero), se dice
estado absorbente.
De una cadena de Markov que consta de estados transitorios y
absorbentes se dice que es una cadena absorbente de Markov.
Si una cadena de Markov contiene algún estado absorbente, la
línea de la matriz de transición correspondiente a las probabilidades
de transición de dicho estado constará de un 1 en la diagonal
principal y ceros en los demás elementos. Será por lo tanto una
matriz no regular.
Para poderestudiar las cadenas de Markov absorbentes es preciso
reordenar la matriz de transición de forma que las filas
correspondientes a los estados absorbentes aparezcan en primer
lugar. Así ordenada se dirá que la matriz de transición está en la
forma canónica.
Donde:
I: Matriz Identidad
0:Matriz Nula
N: Matriz No Absorbente
A: Matriz Absorbente
El valor esperado se calcula como:
V. Esp=(I-N)^-1
La probabilidad de caer en los estados absorbentes se calcula
como:
P=A*(I-N)^-1

7. | 7
ELEMENTOS DE UNA CADENA DE MARKOV
 Un conjunto finito de M estados, exhaustivos y mutuamente
excluyentes (ejemplo: estados de la enfermedad)
 Ciclo de markov (“paso”) : periodo de tiempo que sirve de
base para examinar las transiciones entre estados (ejemplo,
un mes)
 Probabilidades de transición entre estados, en un ciclo (matriz
P)
 Distribución inicial del sistema entre los M estados posibles
TIPO DE CADENAS DE MARKOV
Dependiendo del número de estados del sistema pueden ser:
FINITAS:
Es una cadena de Markov para la que existe sólo un número finito k
de estados posibles s1,...,sk y en cualquier instante de tiempo la
cadena está en uno de estos k estados.
Consisten en sucesiones finitas de pruebas cada una de las cuales
tiene un número finito de sucesos con probabilidades dadas.
Procesosde este tipo recibenel nombre de Procesos estocásticos.
INFINITAS:
La ocurrencia de los eventos se considera indeterminada, pero
tienden a una situación de estabilización.
COMPONENTES
 Estado: Condiciones iniciales y finales del proceso de
Markov.
 Ensayo: Ocurrencias repetidas del evento que se estudia.

8. | 8





 1
.
iS
PSS
 Probabilidadde Transición (pij ): Probabilidad de pasar del
estado actual al siguiente.
 Matriz de transición (P): Es una matriz cuadrada cuyos
elementos son pij
MODELO MATEMATICO: CADENA INFINITA
S1(t) + S2(t) +… + Sn(t) = 1 “ n estados “.
pi1 + pi2 + … + pin = 1
La transición de un periodo al siguiente se expresa como:
S (t + 1) = S (t) P
Para el primer periodo : S (1) = S (0) P
Para el segundo periodo : S (2) = S (1) P = S (0) P2
Para un periodo largo : S = SP
MATRIZ ESTACIONARIA

9. | 9
APLICACIÓN DEL METODO “DE MARKOV” EN UN
CASO DE LA VIDA REAL:
Caso 1:
La Tienda de Don “José” estima lo siguiente:
40% de sus clientes que realizaron la compra de Gaseosas Negras
en una semana, comprarán Gaseosas de otro color la próxima
semana.
20% de sus clientes que realizaron la compra de Gaseosas de
Color en una semana comprarán Gaseosas Negras la próxima
semana.
Se Tiene inicialmente 𝑆_0= [0.4 0.6] Esto significaque, en la
semana el 40% de los clientes gaseoseroscompraronGaseosas
Negras y el 60% compraron de otro Color.
El administrador deseasaber cuál será la elecciónde clientes en las
próximas semanas.

10. | 10
Solución:
𝑷 = [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
𝑺 𝟎= [0.4 0.6]
𝑺( 𝒕 + 𝟏) = 𝑺(𝒕)𝑷
𝑺 𝟏 = [𝟎. 𝟒 𝟎. 𝟔] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
] = [𝟎. 𝟑𝟔 𝟎. 𝟔𝟒]
𝑺 𝟐 = [𝟎. 𝟑𝟔 𝟎. 𝟔𝟒] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
] = [𝟎. 𝟑𝟒𝟒 𝟎. 𝟔𝟓𝟔]
𝑺 𝟑 = [𝟎. 𝟑𝟒𝟒 𝟎. 𝟔𝟓𝟔] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟕𝟔 𝟎. 𝟔𝟔𝟐𝟒]
𝑺 𝟒 = [𝟎. 𝟑𝟑𝟕𝟔 𝟎. 𝟔𝟔𝟐𝟒] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟓𝟎𝟒 𝟎. 𝟔𝟔𝟒𝟗𝟔]

11. | 11
𝑺 𝟓 = [𝟎. 𝟑𝟑𝟓𝟎𝟒 𝟎. 𝟔𝟔𝟒𝟗𝟔] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟒𝟎𝟏𝟔 𝟎. 𝟔𝟔𝟓𝟗𝟖𝟒]
𝑺 𝟔 = [𝟎. 𝟑𝟑𝟒𝟎𝟏𝟔 𝟎. 𝟔𝟔𝟓𝟗𝟖𝟒] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟑𝟔𝟎𝟔𝟒 𝟎. 𝟔𝟔𝟔𝟑𝟗𝟑𝟔]
𝑺 𝟕 = [𝟎. 𝟑𝟑𝟑𝟔𝟎𝟔𝟒 𝟎. 𝟔𝟔𝟔𝟑𝟗𝟑𝟔] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟑𝟒𝟒𝟐𝟓𝟔 𝟎. 𝟔𝟔𝟔𝟓𝟓𝟕𝟒𝟒]
𝑺 𝟖 = [𝟎. 𝟑𝟑𝟑𝟒𝟒𝟐𝟓𝟔 𝟎. 𝟔𝟔𝟔𝟓𝟓𝟕𝟒𝟒] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟑𝟑𝟕𝟕𝟎𝟐𝟒 𝟎. 𝟔𝟔𝟔𝟔𝟐𝟐𝟗𝟕𝟔 ]
𝑺 𝟗 = [𝟎. 𝟑𝟑𝟑𝟑𝟕𝟕𝟎𝟐𝟒 𝟎. 𝟔𝟔𝟔𝟔𝟐𝟐𝟗𝟕𝟔] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟑𝟑𝟓𝟎𝟖𝟎𝟗𝟔 𝟎. 𝟔𝟔𝟔𝟔𝟒𝟗𝟏𝟗𝟎𝟒]
𝑺 𝟏𝟎 = [𝟎. 𝟑𝟑𝟑𝟑𝟓𝟎𝟖𝟎𝟗𝟔 𝟎. 𝟔𝟔𝟔𝟔𝟒𝟗𝟏𝟗𝟎𝟒] [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟑𝟑𝟑𝟑𝟒𝟎𝟑𝟐𝟑𝟖 𝟎. 𝟔𝟔𝟔𝟔𝟓𝟗𝟔𝟕𝟔𝟐]

12. | 12
De los anteriores cálculos podemos observarse que después de t = 3 el
mercado alcanza un equilibrio, o un estado estable, en el sentido que el
mercado no cambia notablemente con eltiempo.
COMPROBANDO:
[𝑺 𝟏 𝑺 𝟐] = [𝑺 𝟏 𝑺 𝟐] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
[𝑺 𝟏 𝑺 𝟐] = [𝑺 𝟏 𝑺 𝟐] ∗ [
𝟎. 𝟔 𝟎. 𝟒
𝟎. 𝟐 𝟎. 𝟖
]
= [𝟎. 𝟔𝑺 𝟏 + 𝟎. 𝟐𝑺 𝟐 𝟎. 𝟒𝑺 𝟏 + 𝟎. 𝟖𝑺 𝟐]
𝑺 𝟏 = 𝟎. 𝟔𝑺 𝟏 + 𝟎. 𝟐𝑺 𝟐
𝑺 𝟐 = 𝟎. 𝟒𝑺 𝟏 + 𝟎. 𝟖𝑺 𝟐
𝑺 𝟏 + 𝑺 𝟐 = 𝟏
Resolviendo tenemos:Resolver en mathcad y colocar los
resultados
𝑺 𝟏=( )valor porcentual de clientes que compraran “gaseosas negra”
𝑺 𝟐= ( )valor porcentual de clientes que compraran “gaseosas de otro
color ”.

13. | 13
Por lo tanto queda demostrado que los clientes Gaseores
consumirán gaseosas de otro color la primara semana.
Graficando el árbol:
Probabilidad de consumir “gaseosa negra” o “gaseosa de color” en
cada etapa
Resumen de resultados:
G.N
0.4
0.2 0.64 x 0.2 0.128
0.64 x 0.8 0.512
G.N
G.C
G.N
G.C
P
0.36
0.64
G.C
0.8
0.36 x 0.4 0.144 Gaseosa negra = 0.344
Gaseosa de color
= 0.656
0.36 x 0.6 0.2160.6
Método recursivo
Método estado
estacionario
Método de
árbol
Gaseosa
negra
0.344
Gaseosa de
otro color
0.656

14. | 14
Conclusión:
El producto que más consumirán los gaseoseros en las próximas
semanas serán las gaseosas de otro color ya que es la más
vendida según nuestra muestra
CASO 2:
La señora Rosmery Tafur prepara yogurt artesanal para su venta y
posee dos categorías para la elaboración: la Fermentación y
coagulación para lo cual se a de emplear el ensayo de Markov
donde:
Rosmery desea saber cuantos litros de yogurt venderá este mes y
cuantos se perderán, si inicia con 40 litros en fermentación y 100
litros coagulados.
Los Estados Absorbentes:
Estado 1: Perdida
Estado 2: Vendidos
Los Estados del Proceso:
Estado 3: Fermentación
Estado 4: Coagulación
Estados
Absorbentes
Estados
del proceso
P V F C
p
V
F
C
P =

15. | 15
Hallar la Matriz Fundamental:
𝐹 = [ 𝐼 − 𝑇]−1
𝐹 = [
0.85 −0.60
0 0.82
]
−1
= ⋯
𝐴 → 𝐴. 𝐴−1
= 𝐼
[
0.85 −0.60
0 0.82
] ∗ [
𝑥 𝑦
𝑧 𝑤
] = [
1 0
0 1
]
0.85𝑥 − 0.60𝑧 = 1 → 𝑥 = 1.18
Estados
Absorbentes
Estados
del proceso
P V F C
P
V
F
C
P =
I
Tk

16. | 16
0.85𝑦 − 0.60𝑤 = 0 → 𝑦 = 0.86
0x + 0.82𝑧 = 0 → 𝑧 = 0
0y + 0.82𝑤 = 1 → 𝑤 = 1.22
Entonces:
𝐹 = [
0.85 −0.60
0 0.82
]
−1
= [
1.18 0.86
0 1.22
]
𝐹. 𝐾 = [
1.18 0.86
0 1.22
] [
0.15 0
0.12 0.80
]
= [
0.28 0.69
0.15 0.98
]
Conclusión del Problema:
Tenemos:
F C
P V
FP CP FV CV
P V
P V

17. | 17
Al final concluimos que los litros que se venden son 126 y se
pierden 26 litros de yogurt.
Para la señora es una perdida inaceptable entonces se le
recomiendamejorar el producto e implementar un mejor sistema de
ventas
CONCLUSIÓN
Para concluir podemos decir que las cadenas de Markov son una
herramienta para analizar el comportamiento y el gobierno de
determinados tipos de procesos estocásticos,esto es, procesos que
evolucionan de forma no determinística a lo largo del tiempo en
torno a un conjunto de estados.
Este método es muy importante, ya que ha comenzado a usarse en
los últimos años como instrumento de investigaciones de
mercadotecnia, para examinar y pronosticar el comportamiento de
los clientes desde el punto de vista de su lealtad a una marca y de
sus formas de cambio a otras marcas, la aplicación de esta técnica,
ya no solo se limita a la mercadotecnia sino que su campo de
acción se ha podido aplicar en diversos campos.
Esperemos que este documentacion sea de gran utilidad y que los
conceptos contenidos queden explicados de manera clara.
CONCLUSION ESPECÍFICA
 El producto que más consumirán los gaseoseros en las
próximas semanas serán las gaseosas de otro color ya que
es la más vendida según nuestra muestra

18. | 18
 Al final concluimos que los litros que se venden son 126 y se
pierden 26 litros de yogurt.
Para la señora es una perdida inaceptable entonces se le
recomienda mejorar el producto e implementar un mejor
sistema de ventas
BIBLIOGRAFÍA
 Pérez, J. (2011, 3 de Junio). Andrei Markov. Recuperado
dehttp://investigacindeoperaciones.html
 Morales, L. (2011, 2 de Junio). Cadenas de Markov.
Recuperado dehttp://ingindustrialio2.-
:blogspot.mx/2011/06/cadenas-de-markov.html