Las cadenas de Markov describen procesos estocásticos donde la probabilidad de transición entre estados depende únicamente del estado actual y no de los estados anteriores. Se definen conceptos como probabilidad de transición, estado estacionario, tiempos de primera pasada y probabilidades de estado estable. Las ecuaciones de Chapman-Kolmogorov permiten calcular la probabilidad de transición en múltiples pasos.

1. Cadenas de MarkovCadenas de Markov
Proceso estocásticoProceso estocástico
Cadena de MarkovCadena de Markov
EstadoEstado
TransiciónTransición

2.  Probabilidad de transiciónProbabilidad de transición
Es la probabilidad que ocurra la transiciónEs la probabilidad que ocurra la transición
del estado i al estado j, dado que se está endel estado i al estado j, dado que se está en
el estado i.el estado i.
P{ XP{ X t + 1t + 1 = j / X= j / X tt = i }= i }

3.  Probabilidades estacionarias de un pasoProbabilidades estacionarias de un paso
Si para cada i y j se cumple:Si para cada i y j se cumple:
P{ XP{ X t + 1t + 1 = j / X= j / X tt = i } = P{ X= i } = P{ X 11 = j / X= j / X 00 = i }= i }
entonces, se dice que las probabilidades deentonces, se dice que las probabilidades de
un paso son estacionariasun paso son estacionarias
Notación: PNotación: Pijij

4.  Probabilidad de transición en n pasosProbabilidad de transición en n pasos
P{ XP{ X t + nt + n = j / X= j / X tt = i } = P{ X= i } = P{ X nn = j / X= j / X 00 = i }= i }
Notación: PNotación: Pijij
(n)(n)

5.  Propiedades de PPropiedades de Pijij
(n)(n)
1. Pij
(n)
≥ 0 para todo i, j y n = 0, 1, 2, …
2. Σ Pij
(n)
= 1 para todo i, j de 0 a M, y
n = 0, 1, 2, …

6.  Notación matricial, PNotación matricial, P (n)(n)
00 11 22 MM
00 P00
(n)
P01
(n)
P02
(n)
P0M
(n)
11 P10
(n)
22 P20
(n)
MM PM0
(n)
PMM
(n)

7. Ecuaciones de Chapman -Ecuaciones de Chapman -
KolmogorovKolmogorov
Permite calcular la probabilidad de transición
en n pasos
 Pij
(n)
= Σ Pik
(m)
Pkj
(n-m)
para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria
desde k=0, hasta k=M

8. La matriz de probabilidades de transición deLa matriz de probabilidades de transición de
n pasos se pueden obtener a partir de lan pasos se pueden obtener a partir de la
matriz de probabilidades de transición de unmatriz de probabilidades de transición de un
pasopaso
 P(n)
= P * P * P * …. * P = P(n-1)
* P

9. Clasificación de estadosClasificación de estados
 Definiciones:Definiciones:
AccesiblesAccesibles
ComunicadosComunicados
 SiSi dos estados se comunicandos estados se comunican, pertenecen a la, pertenecen a la
misma clasemisma clase
 Si todos los estados pertenecen a la misma clase,Si todos los estados pertenecen a la misma clase,
entoncesentonces la cadena es irreduciblela cadena es irreducible

10.  ffiiii = probabilidad de que el proceso regrese= probabilidad de que el proceso regrese
al estado i, dado que comienza en el estadoal estado i, dado que comienza en el estado
i.i.
 Estado recurrenteEstado recurrente: f: fiiii = 1= 1
 Estado transitorioEstado transitorio: f: fiiii < 1< 1
 Estado absorbenteEstado absorbente: p: piiii = 1= 1

11. Tiempos de primera pasadaTiempos de primera pasada
 El número de transiciones que hace elEl número de transiciones que hace el
proceso al ir de un estado i a un estado jproceso al ir de un estado i a un estado j
por primera vez, es elpor primera vez, es el tiempo de primeratiempo de primera
pasadapasada
 Cuando j = i, se habla deCuando j = i, se habla de tiempo detiempo de
recurrencia para el estado irecurrencia para el estado i

12.  µµijij = tiempo esperado de primera pasada= tiempo esperado de primera pasada
 µµijij = infinito,= infinito, sisi ΣΣ ffiiii
(n)(n)
< 1< 1
 µµijij == ΣΣ n * fn * fiiii
(n)(n)
,, sisi ΣΣ ffiiii
(n)(n)
= 1= 1

13. CuandoCuando ΣΣ ffiiii
(n)(n)
= 1,= 1, se satisface la ecuación:se satisface la ecuación:
 µµijij = 1 += 1 + Σ {Σ { ppikik ** µµkjkj }}
donde la sumatoria varía para todo kdonde la sumatoria varía para todo k
distinto de jdistinto de j
 Cuando i = j,Cuando i = j, µµijij se llamase llama tiempo esperadotiempo esperado
de recurrenciade recurrencia

14. Probabilidades de Estado EstableProbabilidades de Estado Estable
 Es la probabilidad de que le sistema seEs la probabilidad de que le sistema se
encuentra en el estado j, independiente delencuentra en el estado j, independiente del
estado inicialestado inicial
 ππjj = lim p= lim pijij
(n)(n)
, con n tendiendo al infinito, con n tendiendo al infinito
 ππii = 1 /= 1 / µµiiii

15.  Ecuaciones de estado estableEcuaciones de estado estable
1.1. ππjj == Σ πΣ πj *j * ppijij para j = 0, 1, …, M y lapara j = 0, 1, …, M y la
sumatoria variando de i = 0, 1, …, Msumatoria variando de i = 0, 1, …, M
2.2. Σ πΣ πjj = 1= 1

16. Estados AbsorbentesEstados Absorbentes
 Si k es un estado absorbente, y el procesoSi k es un estado absorbente, y el proceso
comienza en el estado i, la probabilidad decomienza en el estado i, la probabilidad de
llegar en algún momento a k se llamallegar en algún momento a k se llama
probabilidad de absorciónprobabilidad de absorción
 Notación: fNotación: fikik

17.  Ecuaciones:Ecuaciones:
ffikik == ΣΣ ppijij ** ffjkjk para todo i = 0, 1, …, M; ypara todo i = 0, 1, …, M; y
la sumatoria variando de j = 0 hasta Mla sumatoria variando de j = 0 hasta M
La ecuación anterior está sujeto a:La ecuación anterior está sujeto a:
 ffkkkk = 1= 1
 ffikik = 0,= 0, si el estado i es recurrente, ysi el estado i es recurrente, y
además i es distinto de kademás i es distinto de k