El documento introduce las cadenas de Markov, que son un tipo de proceso estocástico donde la probabilidad del próximo estado depende únicamente del estado actual. Fueron desarrolladas por Andrey Markov a principios del siglo XX y se aplican en diversas áreas. Una cadena de Markov se caracteriza por su propiedad de Markov, donde el futuro depende solo del presente y no del pasado.

1. CADENAS DE MARKOV
(INTRODUCCION)

2. TEMAS
Variables aleatorias
Proceso Estocástico
Temas
Cadena de Markov
Algunas veces se está interesado en analizar
cómo cambia una variable aleatoria con el
tiempo. Este estudio incluye procesos
estocásticos.
Un tipo de proceso estocástico en particular es
conocido como Cadena de Markov que se han
aplicado en áreas como:
•Educación
•Comercio
•Finanzas
•Servicios de salud
•Contabilidad
•Producción

3. Las cadenas de Markov fueron introducidas por
el matemático ruso Andrey Markov (1856-1922)
alrededor de 1905. Su intención era crear un
modelo probabilístico para analizar la
frecuencia con la que aparecen las vocales en
poemas y textos literarios. El éxito del modelo
propuesto por Markov radica en que es lo
suficientemente complejo como para describir
ciertas características no triviales de algunos
sistemas, pero al mismo tiempo es lo
suficientemente sencillo para ser analizado
matemáticamente.
ANDREY MARKOV

4. TEMAS
Variables aleatorias
Proceso Estocástico
Temas
Cadena de Markov
• Es un proceso que evoluciona en el tiempo de una manera
probabilística.
• Un proceso estocástico es una colección indexada de variables
aleatorias parametrizadas por el tiempo
{Xt}={X0, X1, X2, …}
Donde Xt representa una característica de interés medible
en el tiempo t. Por ejemplo puede representar los niveles
de inventario al final de la semana t.
• Es una descripción de la relación entre las variables aleatorias
X0, X1, X2, …
• Es un proceso que evoluciona en el tiempo de una
manera probabilística.
• Un proceso estocástico es una colección indexada
de variables aleatorias parametrizadas por el
tiempo

5. TEMAS
Variables aleatorias
Proceso Estocástico
Cadena de Markov
En la teoría de la probabilidad, se conoce como cadena
de Markov a un tipo especial de proceso estocástico en
el que la probabilidad de que ocurra un evento
depende del evento inmediatamente anterior.
En efecto, las cadenas de este tipo tienen memoria,
recuerdan el último evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia
del evento anterior distingue a las cadenas de Markov
de las series de eventos independientes, como tirar una
moneda al aire o un dado. Estos modelos muestran una
estructura de dependencia simple, pero muy útil en
muchas aplicaciones.
Propiedad de Markov: Conocido el estado del proceso
en un momento dado, su comportamiento futuro no
depende del pasado. Dicho de otro modo, “dado el
presente, el futuro es independiente del pasado”

6. Un proceso estocástico para t = 0, 1, 2, 3… y los
estados a,b,c…
P( Xt+1=j | Xt=i , Xt-1=h , … , X1=b , X0=a )
Es una cadena de Markov, si se depende solamente de:
P( Xt+1=j | Xt=i )

7. La distribución de probabilidad del estado en el tiempo t +1 depende
del estado en el tiempo t y no depende de los estados por los que
pasa la cadena en el camino.
Luego: P( Xt+1= j | Xt= i )= pij
Donde pij es la probabilidad de que dado que el sistema está en el
estado i en el tiempo t, estará en un estado j en el tiempo t+1. Si el
sistema se mueve del estado i durante un período al estado j durante
el siguiente período, se dice que ocurrió una transición de i a j. Las pij
se denominan probabilidades de transición para la cadena de
Markov.

8. En la mayoría de las aplicaciones, las
probabilidades de transición se muestran como
una matriz de probabilidad de transición P de
orden s x s. La matriz de probabilidad de
transición P se puede escribir como:

9. Diagrama de transición
• Es un grafo dirigido cuyos nodos son los
estados y cuyos arcos se etiquetan con la
probabilidad de las transiciones existentes.
• Es un arreglo donde se condensan las
probabilidades de pasar de un estado a otro.
i j
pij
TEMAS

10. TEMAS
Ejemplo
Ejemplo: La línea telefónica
Sea una línea telefónica de estados:
desocupada (D) y ocupada (O).
Si en el instante t está ocupada, en el
instante t+1 estará ocupada con
probabilidad 0.7 y desocupada con
probabilidad 0.3. Si en el instante t está
desocupada, en el instante t+1 estará
ocupada con probabilidad 0.1 y
desocupada con probabilidad 0.9.

11. SOLUCION
D O
0.1
0.3
0.9 0.7

12. Matriz de transiciones:
Representación gráfica:
1 2
0.6
0.50.4
0.5
1s
3 4
0.7
0.40.3
5
0.2
0.5
0.1
0.8
2s

13. Dados dos estados i y j, una trayectoria
de i a j es una sucesión de transiciones
que comienza en i y termina en j, tal
que cada transición en la secuencia
tiene una probabilidad positiva de
ocurrir.

14. Un estado j es alcanzable desde el estado
i si hay una trayectoria que conduzca de i
a j. (El estado 5 es alcanzable desde el
estado 3 a través de la trayectoria 3-4-5,
pero el estado 5 no es alcanzable desde
el estado 1 no hay trayectoria que vaya
de 1 a 5)

15. Se dice que dos estados i y j se
comunican si j es alcanzable desde i, e i
es alcanzable desde j. (Los estados 1 y 2
se comunican: podemos pasar de 1 a 2 y
de 2 a 1)

16. Un conjunto de estados S en una cadena
de Markov es un conjunto cerrado si una
vez dentro de uno de los estados de éste
permanece en el conjunto por tiempo
indefinido. (Tanto S1 = {1, 2} como S2 = {3,
4, 5} son conjuntos cerrados. Observe
que una vez que entramos a un conjunto
cerrado no podemos dejarlo nunca)

17. CLASIFICACION
Cadena irreductible:
2
1
3
4
Se dice que una cadena de Markov es irreductible si todo estado puede
alcanzarse desde cualquier otro estado después de una cantidad finita de
transiciones. En este caso se comunican todos los estados de la cadena.
Todos los estados de una cadena irreductible deben formar un conjunto
cerrado.

18. CLASIFICACION
Estado absorbente:
Un estado i es estado absorbente si pii = 1. Siempre que se
entre a un estado de absorbente, nunca se saldrá de él. Por
supuesto, un estado absorbente es un conjunto cerrado que
sólo contiene un estado. (El estado 3 es un estado
absorbente)
1
2
3

19. CLASIFICACION
Estado transitorio:
Un estado i es un estado transitorio si hay un estado j alcanzable desde i,
pero el estado i no es alcanzable desde el estado j. En otras palabras, un
estado i es transitorio si hay manera de dejar el estado i de tal modo que
nunca se regrese a él. (El estado 2 es un estado transitorio)
1
2
3

20. CLASIFICACION
Estado recurrente:
Si un estado no es transitorio, se llama estado recurrente.
Todos los estados de una cadena irreductible deben ser
recurrentes. (Los estados 1 y 2 son estados recurrentes; el
estado 3 es transitorio)
1 2
3