Este documento introduce conceptos básicos sobre cadenas de Markov, incluyendo espacio muestral, probabilidad, variables aleatorias y procesos estocásticos. Explica que una cadena de Markov es un proceso estocástico que cumple con la propiedad de perdida de memoria, donde los estados futuros dependen solo del presente. También describe las probabilidades de transición, la clasificación de estados, y conceptos como estados absorbentes y probabilidades de estado estable.

1. CADENAS DE MARKOV
Piero Cuneo M.

2. CONCEPTOSBÁSICOS
• Espacio muestral: es el conjunto de posibles valores
• resultados de un experimento
• Probabilidad: es la posibilidad de ocurrencia de un evento
• Evento: subconjunto del espacio muestral
• Función de distribución: función que asigna a cada evento
• una probabilidad
• Variable aleatoria: una función que asigna valores reales a los resultados de un
experimento.

3. • Es un proceso que se desarrolla de manera aleatoria en el tiempo.
¿QUÉ ES UN PROCESO ESTOCÁSTICO?
Mutaciones de un virus

4. • Es un proceso que se desarrolla de manera aleatoria en el tiempo.
¿QUÉ ES UN PROCESO ESTOCÁSTICO?
• Los ingresos por ventas de una compañía
• El desarrollo del tráfico en una ciudad
• Cantidad de productos en inventario
• Índice de homicidios de una región
• La demanda de la energía eléctrica.
• Estabilidad política de una región
• Asistentes a la universidad el día de parcial
Otros ejemplos

5. DEFINICIÓN FORMAL
• Proceso estocástico: es una familia de variables aleatorias
{ 𝑋(𝑡 ) , 𝑡 ∈ 𝑇 } en donde t toma valores del conjunto T.

6. DESCRIPCIÓN DE UN PROCESO ESTOCÁSTICO
{ 𝑋(𝑡), 𝑡∈ 𝑇 }
• Para describir un proceso estocástico basta conocer la distribución de probabilidad
conjunta de dichas variables.
• Para cada t el sistema se encuentra en uno de un número finito de
• estados mutuamente excluyentes; 0, 1, 2, … , M
• Si T es finito se trata de un proceso discreto
• Si T es un subconjunto de los reales se trata de un proceso continuo

7. • Una cadena de Markov es un proceso estocástico que cumple con la propiedad de
perdida de memoria.
• Los estados futuros del proceso dependen únicamente del presente, por lo mismo
son independientes del pasado.
• Las cadenas de Markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
Cadenas de Markov

8. • Definición formal de un proceso markoviano:
• Considere el proceso ( 𝑋 𝑛+1, 𝑋 𝑛, 𝑋 𝑛−1,…, 𝑋1, 𝑋0)
• Si 𝑋 𝑛 = 𝑖→ el proceso se encuentra en el estado i en el tiempo
• o etapa n.
• Un proceso cumple con la propiedad markoviana si:
•
Cadenas de Markov
𝑃(𝑋 𝑛+1 = 𝑗/𝑋 𝑛 = 𝑖, 𝑋 𝑛−1 = 𝐾 𝑛−1,…, 𝑋1 = 𝐾1, 𝑋0 =𝐾0)
= 𝑃(𝑋 𝑛+1 = 𝑗/𝑋 𝑛 =𝑖)
Presente Pasado

9. Probabilidad de transición
• La probabilidad 𝑃(𝑋 𝑛+1 = 𝑗/𝑋 𝑛 = 𝑖)se denomina probabilidad de transición.
Probabilidades estacionarias
• Se cumple: 0≤ 𝑃𝑖𝑗
𝑛 ≤1 𝑝𝑎𝑟𝑎 𝑡 𝑜 𝑑𝑜𝑖, 𝑗, 𝑛 =0,1,2,…
Cadenas de Markov

10. • Matriz de transición de una etapa: matriz cuadrada formada por las
probabilidades de transición.
Resume todas las probabilidades de transición para los M estados
posibles del sistema.
Cadenas de Markov

11. • Representación gráfica de un proceso de Markov
• Un proceso de Markov puede representarse gráficamente si se conocen los M
estados posibles del sistema y las probabilidades de transición asociadas a
ellos.
Cadenas de Markov
0 1
𝛼
𝛽
1−𝛽
𝛼
1−𝛽
0𝑃 =
1
0 1
1−𝛼
𝛽
1−𝛼

12. PROBABILIDADES DE TRANSICIÓN A LA “n-ésima “ ETAPA

13. PROBABILIDADES DE TRANSICIÓN A LA “n-ésima “ ETAPA

14. • Diremos que un estado j es alcanzable desde el estado i, si existe una sucesión de arcos
(camino) que van desde i hasta j.
• Un estado j es absorbente si Pjj=1.Siempre que se ingresa a un estado absorbente nunca se
saldrá de el , es un conjunto cerrado que contiene un solo estado .
• Un estado i es un estado transitorio si existe un estado j que es alcanzable desde i , pero i no
es alcanzable desde j
• Si un estado no es transitorio , es un estado recurrente, se repite
• Un estado recurrente i es periódico si su trayectoria es k >1 y la trayectoria de regreso del
estado i al estado i es múltiplo de k .
• Un estado recurrente no es periódico, es aperiódico.
• Si todos loes estados de una cadena son recurrentes , aperiódicos y se comunican entre si ,
se dice que la cadena es ergodica.
CLASIFICACIÓN DE ESTADO DE UNA CADENA DE MARKOV

15. • Periodicidad:
• En la siguiente CM todos los estados son periódicos de periodo k=2:
• Cadenas ergodicas:
• Es posible avanzar desde un estado i hasta cualquier estado j , no es necesario que se logre
en un solo paso , pero debe ser posible para que cualquier resultado sea logrado. Deben de
ser recurrentes, aperiódicos y comunicados entre si.
CLASIFICACIÓN DE ESTADO DE UNA CADENA DE MARKOV

16. • Estado Estable:
• Se describe el comportamiento a largo plazo de las CM , refleja una probabilidad constante
luego de un largo periodo.
PROBABILIDADES DE ESTADO ESTABLE

17. • Concepto:
• Sea X una CM cuyos estados son todos transitorios o absorbentes. En tal caso diremos que
X es absorbente
CADENAS ABSORBENTES







I
RQ
P
0
'
• I: Matriz Identidad
• Q: M. de estados transitorios.
• R: Transiciones de estados transitorios a
estados absorbentes.
• 0: Matriz de ceros

18. • Concepto:
• El número medio de etapas que se estará en el estado transitorio j antes de la absorción,
suponiendo que empezamos en el estado transitorio i, viene dado por el elemento (i,j) de:
(I–Q’)–1
Proposición: La probabilidad de ser absorbido por un estado absorbente j, suponiendo que
empezamos en el estado transitorio i, viene dada por el elemento (i,j) de la matriz
(I–Q’)–1 R, que se denomina matriz fundamental de la CM
CADENAS ABSORBENTES







I
RQ
P
0
'• I: Matriz Identidad
• Q: M. de estados transitorios.
• R: Transiciones de estados transitorios a
estados absorbentes.
• 0: Matriz de ceros