Este documento presenta conceptos básicos sobre cadenas de Markov, incluyendo su definición, propiedad de Markov, probabilidades y matrices de transición, diagramas de transición de estados, clasificación de estados como recurrentes, transitorios y absorbentes, y tipos de cadenas como periódicas, aperiódicas, recurrentes y ergódicas. Se proveen varios ejemplos ilustrativos como una línea telefónica, buffer de E/S y lanzamiento de un dado.

1. Tema 4: Cadenas de Markov

2. Concepto de cadena de Markov

10. Ejemplo: línea telefónica 0 1 0,9 0,1 0,3 0,7

12. Ejemplo: buffer de E/S 0 1 2 3  (1–  )  (1–  )  (1–  ) 1–  –  +  1–  –  +  1–  –  +     … 1 –  (1–  ) … M … 1–   (1–  ) 

14. Ejemplo: Lanzamiento de un dado 0 1 2 3 2/3 … 1 4 5 … 2/3 2/3 2/3 2/3 2/3 1/3 1/3 1/3 1/3  100 99 98 97 1 2/3 2/3 1/3 1/3 2/3 1/3 1/3 1/3 … … …

17. Clasificación de estados

24. Cadenas recurrentes y transitorias 0 1 p 2 1–p 3 … … p p p 1–p 1–p 1–p 1–p p n+1 1–p p p 1–p 1–p n … … … …

54. Cadenas absorbentes

63. Distribución estacionaria

74. Ejemplos Por tanto la solución verdadera será de la forma: Normalizamos y obtenemos la solución verdadera:

77. Ejemplos Usando la suma de los M–1 primeros términos de una sucesión geométrica y la ecuación normalizadora, llegamos a la solución: