Trabajo final

PROCESOS DE MARKOV

Procesos de Markov

Son útiles para estudiar la evolución de sistemas a lo largo de ensayos repetidos, que a menudo,
son períodos sucesivos donde el estado del sistema, en cualquier período particular, no puede
determinarse con certeza son llamados también markovianos.
Es útil para describir la probabilidad de que una máquina siga funcionando o se estropeara en el
siguiente periodo y también de que un consumidor que compra la marca A en un periodo compre
la marca B en el siguiente período.

ANALISIS DE PARTICIPACIÓN EN EL MERCADO
Suponga que estamos interesados en analizar la participación en el mercado y lealtad del cliente
de los dos únicos supermercados en un poblado pequeño. Nos enfocamos en la secuencia de los
viajes de compras de un cliente y suponemos que hace un viaje de compras cada semana, a uno
u otro almacén, pero no a ambos.

ENSAYOS DE PROCESOS:
Eventos que desencadenan las transiciones del sistema de un estado a otro, es decir se refiere a
los periodos semanales o viajes de compras.

ESTADO DEL SISTEMA:
Condición del sistema de cualquier ensayo o periodo particular, es decir tienda particular
seleccionada en una semana.

PROBABILIDADES DE TRANSICION DE UN ESTADO A OTRO:
Primero para determinar las probabilidades de los diversos estados que ocurren en ensayos
sucesivos, necesitamos información sobre la probabilidad de que un cliente permanezca con la
misma tienda o cambie a la tienda competidora conforme continúa el proceso de una semana a
otra y segundo debido a que las probabilidades indican que un cliente puede moverse o hacer una
transición de un estado en un periodo dado, a otro estado en el siguiente período, estas
probabilidades se llaman probabilidades de transición.

MATRIZ DE TRANSICION

Se utilizan para describir la manera en que el sistema cambia de un período al siguiente. Se
representan por medio de matrices de transición.
El análisis en los casos que vamos a estudiar se restringe a situaciones consistentes en una
cantidad finita de estados en los que permanecen constantes las probabilidades de transición a lo
largo del tiempo y la probabilidad de estar en un estado particular en cualquier período,
dependiendo únicamente del estado en el período inmediatamente anterior.

Cadenas De Markov

Una cadena de Markov, que recibe su nombre del matemático ruso Andrei
Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este
tipo tienen memoria. “Recuerdan” el último evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes,
como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades
de personal y para analizar el reemplazo de equipo.

En matemáticas, se define como un proceso estocástico discreto que cumple
con la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta
su instante actual, su estado presente resume toda la información relevante
para describir en probabilidad su estado futuro.

Una cadena de Markov es una secuencia X1, X2, X3, … de variables
aleatorias. El rango de estas variables, es llamado espacio estado, el valor de
Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad
condicional de Xn+1 en estados pasados es una función de Xn por sí sola,
entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la
Propiedad de Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de
que ocurra un evento depende del evento inmediato anterior. En efecto, las
cadenas de este tipo tienen memoria. “Recuerdan” el último evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades
de personal y para analizar el reemplazo de equipo.

El análisis de Markov, llamado así en honor de un matemático ruso que
desarrollo el método en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado. Algo
más importante aún, es que permite encontrar el promedio a la larga o las

probabilidades de estado estable para cada estado. Con esta información se
puede predecir el comportamiento del sistema a través del tiempo.

La tarea más difícil es reconocer cuándo puede aplicarse. La característica
más importante que hay que buscar en la memoria de un evento a otro.

Formulación de las cadenas de Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de
que ocurra un evento depende del evento inmediato anterior. En efecto, las
cadenas de este tipo tienen memoria. “ Recuerdan” el último evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado.

En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov.
El generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2,
. . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las
probabilidades de ocurrencia para cada uno de estos eventos depende del
estado del generador. Este estado se describe por el último evento generado.
En la figura 4.1.1, el último evento generado fue Ej , de manera que el
generador se encuentra en el estado Mj .

La probabilidad de que Ek sea el siguiente evento generado es una
probabilidad condicional : P ( Ek / Mj ). Esto se llama probabilidad de transición
del estado Mj al estado Ek. Para describir completamente una cadena de
Markov es necesario saber el estado actual y todas las probabilidades de
transición.

Probabilidades de transición.

Una forma de describir una cadena de Markov es con un diagrama de estados,
como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de
Markov con cuatro estados posibles : M1, M2 , M3 y M4 . La probabilidad
condicional o de transición de moverse de un estado a otro se indica en el
diagrama

Otro método para exhibir las probabilidades de transición es usar una matriz de
transición. . La matriz de transición para el ejemplo del diagrama de estados se
muestra en la tabla 4.1.1 .

Otro método para exhibir las probabilidades de transición es usar una matriz de
transición. .

Para n = 0, 1, 2, ….

El superíndice n no se escribe cuando n = 1.

Procesos estocásticos.

Un proceso estocástico se define sencillamente como una colección indexada
de variables aleatorias { X1 }, donde el subíndice t toma valores de un conjunto
T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y
X, representa una característica de interés medible en el tiempo t. Por ejemplo,
el proceso estocástico, X1 , X2 , X3, .., Puede representar la colección de
niveles de inventario semanales (o mensuales) de un producto dado, o puede
representar la colección de demandas semanales (o mensuales) de este
producto.

Un estudio del comportamiento de un sistema de operación durante algún
periodo suele llevar al análisis de un proceso estocástico con la siguiente
estructura. En puntos específicos del tiempo t , el sistema se encuentra
exactamente en una de un número finito de estados mutuamente excluyentes y
exhaustivos, etiquetados 0, 1, . . , S. Los periodos en el tiempo pueden
encontrarse a intervalos iguales o su esparcimiento puede depender del
comportamiento general del sistema en el que se encuentra sumergido el
proceso estocástico. Aunque los estados pueden constituir una caracterización
tanto cualitativa como cuantitativa del sistema, no hay pérdida de generalidad
con las etiquetas numéricas 0, 1, . . , M , que se usarán en adelante para
denotar los estados posibles del sistema. Así la representación matemática del
sistema físico es la de un proceso estocástico {Xi}, en donde las variables
aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria
puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos
enteros son una caracterización de los M + 1 estados del proceso.

Propiedad Markoviana de 1o. orden .

Se dice que un proceso estocástico tiene la propiedad markoviana si

P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda

sucesión i, j , K0 , K1 , . . , Ki-1 .

Se puede demostrar que esta propiedad markoviana es equivalente a
establecer una probabilidad condicional de cualquier “evento” futuro dados
cualquier “evento “ pasado y el estado actual Xi = i , es independiente del
evento pasado y sólo depende del estado actual del proceso. Las
probabilidades condicionales PXt+1 = j se llaman probabilidades de transición.
Si para cada i y j,

P Xt+1 = j = pX1 = j , para toda t = 0, 1, ….

Entonces se dice que las probabilidades de transición (de un paso) son
estacionarias y por lo general se denotan por pij . Así, tener probabilidades de
transición estacionarias implica que las probabilidades de transición no
cambian con el tiempo. La existencia de probabilidades de transición (de un
paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,…),

P Xt+n = j = pXn = j ,

Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se
denotan por y se llaman probabilidades de transición de n pasos. Así, es
simplemente la probabilidad condicional de que la variable aleatoria X,
comenzando en el estado i, se encuentre en el estado j después de n pasos (
unidades de tiempo ).

Como las son probabilidades condicionales, deben satisfacer las propiedades:

Probabilidad de transición de un solo paso.

Ejemplo :

Una tienda de cámaras tiene en almacén un modelo especial de cámara que
se puede ordenar cada semana. Sean D1, D2, … las demandas de esta
cámara durante la primera, segunda, … , semana, respectivamente. Se supone
que las Di son variables aleatorias independientes e idénticamente distribuidas
que tienen una distribución de probabilidad conocida. Sea X0 el número de
cámaras que se tiene en el momento de iniciar el proceso, X1 el número de
cámaras que se tienen al final de la semana uno, X2 el número de cámaras al
final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la
tienda hace un pedido que le entregan el lunes en el momento de abrir la
tienda. La tienda hace un pedido que le entregan el lunes en el momento de
abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el
número de cámaras en inventario al final de la semana es menor que s =1 (no
hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o más cámaras en el almacén, no se hace el
pedido). Se supone que las ventas se pierden cuando la demanda excede el
inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma
que se acaba de describir. Los estados posibles del proceso son los enteros 0,
1, 2, 3 que representan el número posible de cámaras en inventario al final de
la semana.

Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final
de la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se
verá ahora cómo obtener las probabilidades de transición (de un paso), es
decir, los elementos de la matriz de transición ( de un paso).

Suponiendo que cada Dt tiene una distribución Poisson con parámetro .

Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la
demanda durante la semana fue de tres o más cámaras. Así, , la probabilidad
de que una variable aleatoria Poisson con parámetro tome el valor de 3 o más;
y se puede obtener de una manera parecida. Si , entonces . Para obtener , la
demanda durante la semana debe ser 1 o más. Por esto, . Para encontrar ,
observe que si . En consecuencia, si , entonces la demanda durante la semana
tiene que ser exactamente 1. por ende, . Los elementos restantes se obtienen
en forma similar, lo que lleva a la siguiente a la siguiente matriz de transición (
de un paso):

Probabilidad de transición estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un método para
calcular estas probabilidades de transición de n pasos :

Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n
pasos, el proceso estará en algún estado k después de exactamente m ( menor
que n) pasos. Así,

Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despues de m pasos y después al estado j en n- m
pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n
pasos se pueden obtener a partir de las probabilidades de transición de un
paso de manera recursiva. Para n=2, estas expresiones se vuelven :

Note que las son los elementos de la matriz P(2) , pero también debe de
observarse que estos elementos, se obtienen multiplicando la matriz de
transición de un paso por sí misma; esto es , P(2) = P * P = P2 .

En términos más generales, se concluye que la matriz de probabilidades de
transición de n pasos se puede obtener de la expresión : P(n) = P * P …. P =
Pn = PPn−1 = Pn-1 P.

Entonces, la matriz de probabilidades de transición de n pasos se puede
obtener calculando la n-ésima potencia de la matriz de transición de un paso.
Para valores no muy grandes de n, la matriz de transición de n pasos se puede
calcular en la forma que se acaba de describir, pero cuando n es grande, tales
cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar
inexactitudes.

Ejemplo :

la semana.

Así, dado que tiene una cámara al final de una semana, la probabilidad de que
no haya cámaras en inventario dos semanas después es 0.283; es decir, De
igual manera, dado que se tienen dos cámaras al final de una semana, la
probabilidad de que haya tres cámaras en el almacén dos semanas después
es 0.097; esto es,

La matriz de transición de cuatro pasos también se puede obtener de la
siguiente manera :

P(4) = P4 = P(2) * P(2)

Así, dado que queda una cámara al final de una semana, 0.282 es la
probabilidad de que no haya cámaras en inventario 4 semanas más tarde; es
decir, De igual manera, dado que quedan dos cámaras en el almacén final de
una semana, se tiene una probabilidad de 0.171 de que haya tres cámaras en
el almacén 4 semanas después; esto es,

Probabilidades de transición estacionaria de estados estables.

Teorema

Sea P la matriz de transición de una cadena de M estados . Existe entonces un
vector tal que

Se establece que para cualquier estado inicial i , .

El vector a menudo se llama distribución de estado estable, o también
distribución de equilibrio para la cadena de Markov. Para encontrar la
distribución de probabilidades de estacionario para una cadena dada cuya
matriz de transición es P, según el teorema, para n grande y para toda i , (1)

Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir

(2)

Ejemplo :

Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90 % de que su
siguiente compra se de cola 1. Si una persona compró cola 2, hay un 80 % de
probabilidades que su próxima compra sea de cola 2.

Entonces :

Al reemplazar la segunda ecuación por la condición ,

Obtenemos el sistema

Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad
2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una
persona compre cola 2.

Tiempos de primer paso.

Con frecuencia es conveniente poder hacer afirmaciones en términos de
probabilidades sobre el número de transiciones que hace el proceso al ir de un
estado i a un estado j por primera vez . este lapso se llama tiempos de primer
paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es
justo el número de transiciones hasta que el proceso regresa al estado inicial i.
En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el
estado i.

Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente :


la semana.

Donde Xt es el número de cámaras en inventario al final de la semana t y se
comienza con , Suponga que ocurrió lo siguiente:

En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2
semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.

En general, los tiempos de primer paso son variables aleatorias y, por lo tanto,
tienen una distribución de probabilidad asociada a ellos. Estas distribuciones
de probabilidad dependen de las probabilidades de transición del proceso. En
particular, denota la probabilidad de que el tiempo de primer paso del estado i
al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las
siguientes relaciones recursivas:

Entonces se puede calcular la probabilidad de un tiempo de primer paso del
estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de
transición de un paso. En el ejemplo, la distribución de probabilidad de los
tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:

Para i y j fijos, las son números no negativos tales que

Esta suma puede ser menor que 1, lo que significa que un proceso que el
iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la
suma es igual a 1, las pueden considerarse como una distribución de
probabilidad para la variable aleatoria, el tiempo de primer paso.

Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea ,
que se define como:

entonces satisface, de manera única, la ecuación:

Cuando i=j, se llama tiempo esperado de recurrencia.

Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para
calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén,
suponiendo que el proceso inicia cuando se tienen tres cámaras; es decir, se
puede obtener el tiempo esperado de primer paso . Como todos los estados
son recurrentes, el sistema de ecuaciones conduce a las expresiones

La solución simultánea de este sistema es

De manera que el tiempo esperado hasta que la tienda se queda sin cámaras
es de 3.50 semanas.

Caso de Aplicación.

Aplicación a la administración: Planeación de Personal.

El análisis de transición puede ser útil al planear satisfacer las necesidades de
personal. Muchas firmas emplean trabajadores de diferentes niveles de
clasificación dentro de la misma categoría de trabajo. Esto es común para
personal de confianza, oficinistas, obreros calificados, no calificados y personal
profesional. La firma debe tener el número de empleados en cada nivel de
clasificación para proporcionar la oportunidad de promoción adecuada, cumplir
con las habilidades necesarias para el trabajo y controlar la nómina. Una
planeación de personal a largo plazo apropiada requiere que se considere el
movimiento de personas tanto hacia arriba en el escalafón de clasificación
como hacia afuera de la organización. El análisis de Markov puede ayudar en
este esfuerzo de planeación.

El movimiento de personal a otras clasificaciones puede considerarse como
una cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es
la más baja. Además, los descensos se consideran raros y se omiten. El
estado “salen” es absorbente, el cual incluye renuncias, ceses, despidos y
muertes. Por supuesto, todos los empleados finalmente alcanzan este estado.

Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan
promociones. Como transiciones de probabilidad, están controladas por la
firma, puede establecerse el nivel que la firma determine que es necesario para
cumplir sus objetivos. Como ejemplo, supóngase que la firma tiene en este
momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del

grado 1 y que desea mantener este nivel de empleados durante el próximo
año. Por experiencia, se espera que salgan el 30 % de los empleados de grado
1 al año, el 20 % de los empleados de grado 2 y el 10 % de aquellos que están
en el grado 3. Si la política es contratar sólo en los niveles de clasificación más
bajos, cuántos se deben contratar y cuántos se deben promover el siguiente
año para mantener estables los niveles ?.

Este problema puede resolverse sin el análisis de Markov, pero el modelo es
útil para ayudar a conceptualizar el problema. Como se trata sólo de un ciclo,
se usa el análisis de transición. El análisis comienza con el graado más alto.
No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de
reemplazarse por promociones del grado 2. En el nivel de clasificación, el 20 %
sale y se deben promover 3, con una pérdida de 21. Esto se debe compensar
por promoción del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben
promoverse, lo cual una pérdida total de 111. Por tanto, el siguiente año se
deben contratar 111 empleados del nivel 1.

Trabajo final

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Trabajo final

Similar a Trabajo final (20)

Último

Último (20)

Trabajo final