Aquí se describe brevemente con 2 ejemplos lo que son los procesos y cadenas de Markov, una aplicación de Procesos Estocásticos. Las explicaciones fueron tomadas del libro de Proceso Estocásticos de Luis Rincón y los ejemplos del libro de Álgebra Lineal de Bernard Kolman.

1. Procesos y Cadenas
de Markov
Modelos de Investigación de
Operaciones
Expositor: Luis Coba

2. Ejemplo
Suponga que un jugador A apuesta sucesivamente contra un jugador B.
Inicialmente el jugador A tiene k dólares, y B tiene N − k dólares, es decir, el capital
conjunto entre los dos jugadores es de N dólares. En cada apuesta el jugador A
tiene la probabilidad p de ganar, y probabilidad q = 1−p de perder.
Sea Xn la fortuna del jugador A al tiempo n.
{Xn: n = 0, 1, . . ,11} es una caminata aleatoria que inicia en el estado k.
El jugador A ha perdido el juego, cuando llega al estado 0.
El jugador A ha ganado el juego, cuando llega al estado N.

3. El proceso Xn esta constituido por variables aleatorias independientes.
Ejemplo: lanzar un dado o una moneda repetidas veces.
Conclusión:
El resultado u observación del proceso en un momento cualquiera es,
independiente de cualquier otra observación pasada o futura del proceso.
El proceso de Markov, está caracterizado por movimientos o transiciones
aleatorias.
Este modelo representa una sucesión de ensayos independientes de un
mismo experimento aleatorio.

4. Cadena de Markov
Una “CADENA“ es un proceso en el que una variable aleatoria “Xn” va cambiando
con el paso del tiempo.
Definición: Suponiendo conocido el estado presente del sistema, los estados
anteriores no tienen influencia en los estados futuros del sistema.
Para cualesquiera estados x0, x1, . . . , xn−1 (pasado), xn (presente), xn+1 (futuro), se
cumple la igualdad
P(Xn+1=xn+1|X0=x0,…,Xn=xn)=P(Xn+1=xn+1|Xn=xn)

5. La probabilidad del evento futuro (Xn = xn) sólo depende el evento (Xn-
1 = xn-1), mientras que la información correspondiente al evento pasado
(X0 = x0,. . . ,Xn−2 = xn−2) es irrelevante.
La probabilidad de que Xn=xn solo depende del estado
inmediatamente anterior Xn-1

6. Matriz de transición
Ejemplo 1.
Supongamos que el clima es lluvioso o despejado. Como resultado de un amplio
registro, se determina que:
La probabilidad de que se dé un día lluvioso después de un día despejado es 1/3, y la
probabilidad de que se tenga un día lluvioso después de otro día lluvioso es 1/2.
D: estado de un día despejado
R: estado de un día lluvioso
T matriz de transición de esta
cadena de Markov

7. Matriz de transición
Ejemplo 2.
Una empresa investigadora de mercados analiza un gran grupo de consumidores de
café. Se han determinado que:
50% de las personas que actualmente utilizan la marca A, la comprarán de nuevo la
próxima semana, 25% cambiara a la marca B, y 25% preferirá alguna otra.
De las personas que ahora consumen la marca B, 30% la comprará otra vez la próxima
semana, 60% optará por la marca A y 10% cambiará a otra.
De los consumidores que actualmente compran otra marca, 30% adquirirá de nuevo otra
marca la próxima semana, 40% escogerá la marca A y 30% cambiará a la marca B.

8. Teorema
Si T es la matriz de transición de un proceso de Markov, el vector x(k+1)
, en el (k+1)-esimo
periodo de observación, puede determinarse a partir del vector de estado x(k)
x(k+1)
= Tx(k)
Esto significa que para obtener el vector de estado en el periodo (k+1) se
multiplica la matriz de transición por el vector de estado en el periodo k.
x(1)
= Tx(0)
x(2)
= Tx(1)
= T(Tx(0)
) = T2
x(0)
x(3)
= Tx(2)
= T(T2
x(0)
) = T3
x(0)

9. Ahora utilizaremos la matriz de transición del proceso de Markov para
determinar la probabilidad de que el sistema se encuentre en cualquiera de
los n estados en el futuro.
Ejemplo 1.
Suponga que comenzamos nuestra observación(día 0) en un día despejado, de
modo que el vector de estado inicial es:
Entonces el vector del día 1 es:
La probabilidad de que no llueva el día 1 es 0.67 y la probabilidad de que llueva
es 0.33

10. De manera similar,
A partir del cuarto día, el vector de estado del sistema es siempre el mismo
Esto significa que, a partir del cuarto día, no llueve en 60% del tiempo y llueve
40% del tiempo

11. Ejemplo 2.
Supongamos que al iniciar el estudio vemos que la marca A tiene un 20% del
mercado, la marca B tiene 20% y las otras marcas tienen el 60% restante.
Entonces, el vector dedo inicial x(0)
es:
El vector de estado después de la primera semana es:

12. En consecuencia cuando n crece, los vectores de estado tienden al vector fijo
Esto significa que, a largo plazo, la marca A tendrá el control de cerca de 51% del
mercado, la marca B dominará más o menos 27 % del mismo y las otras marcas
tendrán la predilección del 22%.
De manera análoga,

13. Resumen
Consideremos que un sistema está, en cualquier momento en uno y sólo un estado
entre una cantidad finita de ellos.
Por ejemplo, el clima en cierta área puede ser lluvioso o despejado; una persona
puede fumar o no fumar; vamos o no vamos a la escuela; vivimos en un área
urbana, suburbana o rural; contamos con un nivel de ingresos bajo , medio o alto;
compramos un auto Chevrolet, Ford o de alguna otra marca.
Al pasar el tiempo el sistema puede pasar de un estado a otro supondremos que el
estado del sistema es observado a periodos fijos(digamos cada día, cada hora, etc.)
En muchas aplicaciones conocemos el estado actual del sistema y queremos
predecir el que tendrá en el siguiente periodo de observación o en cualquier otro.
Con frecuencia podemos predecir, a partir de datos históricos, la probabilidad de
que el sistema este en cierto estado particular en determinado periodo de
observación.

14. Bibliografía
 Algebra Lineal, autor Bernard Kolman
 Introducción a los PROCESOS ESTOCÁSTICOS, autor Luis Rincón
 http://es.slideshare.net/oskr2588/cadenas-de-markov-blog