Teoria sobre las cadenas de markov.

1. UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA
“ANTONIO JOSE DE SUCRE”
VICERECTORADO BARQUISIMETO
INVESTIGACION Y POSTGRADO
PROCESOS ESTOCASTICOS
MAESTRIA INGENIERIA ELECTRONICA OPCIÓN TELECOMUNICACIONES
González, Yoratzi
Perozo, Jesús
Docente: Ing. MariennyArrieche
Barquisimeto, 5 de Diciembre de 2012

2. Cadenas de Markov
Las cadenas de Markov son un tipo especial de procesos estocásticos que poseen la
siguiente propiedad:
Propiedad de Markov: Conocido el estado del proceso en un momento dado (Xn) , su
comportamiento futuro (Xn+1) no depende del pasado (Xn-1), es decir dado el presente
(Xn = a), el futuro (Xn+1 = c) es independiente del pasado (Xn-1= b)
Matemáticamente tenemos:
Es decir, el resultado en cada etapa sólo depende del resultado de la etapa anterior y
no de cualquiera de los resultados previos por lo cual decimos que estas cadenas tienen
memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos
futuros.
Estas cadenas poseen los siguientes elementos:
1. Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo:
estados de la enfermedad: enfermo, curado)
2. Ciclo de Markov (paso): periodo de tiempo que sirve de base para examinar las
transiciones entre estados. (horas, un día, 2 meses)
3. Probabilidades de transición entre estados en un ciclo (matriz P)
4. Distribución inicial del sistema entre los M estados posibles.
Ya que son procesos estocásticos y dependen del tiempo y del espacio muestral donde se
desarrolla tenemos:
Cadenas de Markov de Tiempo Discreto (CMTD): es un proceso estocástico en tiempo
discreto con espacio de estados discreto.
Cadenas de Markov de Tiempo Continuo (CMTD): un proceso estocástico en tiempo
continúo con espacio de estados discreto

3. CMTD
Un proceso estocástico {Xn, n = 0, 1, 2,…} es una Cadena de Markov en Tiempo Discreto
(CMTD) si para cada n y xj, j=0,…,n+1, se verifica:
La probabilidad de transición en un paso del estado i al estado j en el instante n+1 como:
La CMTD se denomina homogénea si pij(n) no depende de n, es decir:
En tales casos se denotapij en lugar de pij(n).
La matriz formada por las probabilidades de transición en un paso se denomina
matriz de transición o matriz de probabilidades de transición y toma la forma:
P es una matriz cuadrada no negativa cuyas filas suman la unidad, es decir, 0 ≤ pij ≤
1 y Σjpij = 1 para cada i �S. Por lo tanto, P es una matriz estocástica.
Gráficamente, una CMTD con espacio de estados finito se puede representar
mediante un diagrama de transición, es decir, mediante un grafo dirigido finito donde cada
nodo representa un estado de la cadena, los arcos representan lasposibles transiciones entre
estados y sobre los arcos se indican las probabilidades de transición entre los estados
representados por los nodos unidos por cada arco
.

4. CMTC
Para las cadenas de Markov con parámetro de tiempo discreto la matriz de
transición en n etapas puede ser expresada en términos de la matriz de transición en una
etapa P. En el caso continuo el papel homólogo a la matriz de transición P lo juega,
considerando unidades infinitesimales de tiempo entre transiciones, dt, una matriz Q
llamada de tasas de transición, to, generador infinitesimal de la cadena.
El proceso estocástico {Xt}t> =0, con conjunto de estados numerable SCZ+ es una
Cadenade Markov con parámetro de tiempo continuo si para todo s,t>= 0, y para todo i, j,
tales que XkE Z+ secumple que:
El proceso estocástico {Xt}t> =0 es una Cadena de Markov homogénea. Si:
Toda Cadena de Markov con parámetro continuo cada vez que entra en un estadoi E S
verifica:
1. Ti ~ exp(Vi), esto es, la distribución del tiempo que permanece antes de transitar aotro
estado es exponencial.
2. Cuando abandona el estado i, si pij = P (transitar a j/ el proceso está en i), entonces
verifica que:

5. Ecuaciones de Chapman-Kolmogorov
Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes
conjuntos de coordenadas en un proceso estocástico.
En tiempo discreto tenemos:
Si denotamos con P(n) la matriz de transición en n pasos, lo que nos están diciendo las
ecuaciones de Chapman-Kolmogorov es que
Por lo tanto
….
Una vez conocidas las probabilidades de transición en n pasos calculemos la distribución
marginal del paso n-ésimo
Finalmente la distribución de probabilidad en n pasos:
Entonces

6. Ecuación de Chapman-Kolmogorov en tiempo continuo: Para todos i, j ∈ S y para cualquier
s, t ≥ 0:
Supongamos que para cada i ∈S entonces las probabilidades de transiciónPij(t)
son diferenciables para todo t >= 0 y todos i, j ∈ S. Teniendo:

7. La paradoja de Borel-Kolmogorov
Esta paradoja es una ambigüedad que puede aparecer en el cálculo de una función
de probabilidad condicional. Esta resulta cuando la f.d.p condicional de una variable
aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero.
Esto da como resultado que existan 2 soluciones distintas a un problema, sin
embargo la veracidad de la solución escogida dependerá de la interpretación que sele de al
suceso originario cuya probabilidad es cero.
Ejemplo: Condicionando a un valor particular
Sean X1 y X2 variables aleatorias i.i.d y que la f.d.p de cada una de ellas es la siguiente:
f1(x) = para x > 0, y 0 en otro caso
Entonces la f.d.p conjunta de X1 y X2 es
f1(x1,x2) = para x1> 0 y x2> 0, y 0 en otro caso
sea la variable aleatoria Z definida por la relación
Z=
Se desea buscar la distribución condicional de X1 dado que Z=0.
Se obtiene que
g(x1|A) = x1 para x1 > 0; (1)
y también que
g(x1|A) = f1(x1) = para todo x1>0; (2)
La paradoja aparece por que Pr(A) = 0. Si se considera el suceso A como un punto
en el espacio muestral de la variable aleatoria Z entonces la ecuación (1) es correcta. Si se
considera A como un punto en el espacio muestral de X2 entonces la ecuación (2) es la
correcta.
Esta paradoja subraya el hecho de que no es posible definir racionalmente una
distribución condicional para un único suceso que tiene probabilidad cero. Por tanto una
distribución condicional puede tener sentido únicamente en el contexto de una familia de
distribuciones condicionales definidas en forma consistente.

8. Clasificación de los estados en cadenas de Markov
En una cadena homogénea con m estados E1,E2, . . . , Em y matriz de transición T =
[pij ] , (1 ≤ i, j ≤ m) el valor de pij es la probabilidad de que haya una transición entreEi y
Ej en un momento dado. Según lo anterior se pueden clasificar los estados de unacadena.
1) Estado Periódico
La probabilidad de que se regrese al estado Ei en el paso n es . Sea t un
númeroentero mayor que 1. Se define:
El máximo común divisor de (mcd) del conjunto de los enteros n para los que > 0.
Entonces, el estado Ei es periódico si d(i) > 0 y aperiódico si d(i) = 1
2) Estado Recurrente
Denominamos como la probabilidad de que la primera visita al estado Ej
ocurraen la etapa n.La probabilidad de regresar en algún paso al estado Ejes:
Si fj = 1, entonces seguro que se regresa a Ej y se denomina a Ej estado recurrente
Los estados pueden ser a la vez recurrentes y periódicos.
3) Estado Transitorio
En un estado recurrente, la probabilidad de que se regrese por primera vez a ese
estadoen algún paso es 1, pero para otros estados sucede que:
Lo que significa es que no se regresa al estado Ej de modo seguro. Un estado de este tipo se
denomina transitorio.

9. 4) Estado Ergódico
Un estado bastante importante el cual cumple con ser recurrente, no nulo y
aperiódico. Los estados ergódicos son importantes en la clasificación de cadenasy para
probar la existencia de distribuciones de probabilidad límite.
5) Estado Absorbente
Un estado es absorbente cuando una vez que se entra en él no se puede salir del mismo.
Un estado Ei es absorbente si
Pii = 1
Pij = 0 (i ≠ j, j = 1, . . . , m)
en la i-ésima fila de T.
Clasificación de las cadenas
Cadenas irreducibles
Una cadena irreducible es aquella en la que todos los estados son alcanzables
desdecualquier otro estado de la cadena en un número finito de pasos. Eso implica que se
puedellegar a cualquier estado Ej desde otro estado Ei esto es > 0, para algún
númeroentero n.
Una propiedad muy importante de las cadenas irreducibles es que todos sus
estadosson del mismo tipo, esto es, o bien todos son transitorios o bien todos son
recurrentes(nulos o no nulos) y todos tienen el mismo periodo. Esto significa que la
clasificación detodos los estados de una cadena se puede deducir a partir de la clasificación
conocida deuno de los estados.
También es obvio que todos los estados de una cadena finita irreducible no pueden
sertransitorios, ya que eso significaría que el regreso a alguno de los estados no sería
seguro,aunque todos los estados fueran accesibles desde cualquiera de ellos en un número
finitode pasos.
Cadenas ergódicas
Se tenía que todos los estados en una cadena irreducible pertenecen a la misma
clase.Si todos los estados son ergódicos, esto es, recurrentes, no nulos y aperiódicos
entonces sedefine la cadena como ergódica
Para cadenas ergódicas se obtiene siempre que la distribución invariante es el
recíprocodel vector de tiempos medios de recurrencia.

10. Cadenas Infinitas
Consideramos que la cadena no es finita y que el proceso continúa de manera
indefinida.Se entiende por visita a un estado j como la etapa o momento en el que la cadena
seencuentra en el estado j, y se denota por Nj el número de visitas que se hacen al estadoj
en el proceso.
Los posibles valores que puede tomar Nj son 0, 1, 2, 3, . . .
Así, se tienen dos casos:
1)La probabilidad de ir de i a j una vez, y de ir a j (m− 1) veces.
Donde
2) La probabilidad de no volver nunca a j.
Dado que se parte ya de una visita al estado j.
Cadenas periódicas
Si un estado j es periódico con periodo δ y otro estado i comunica con él, entoncesel
estado i también es periódico con el mismo periodo. De este modo, el periodo es una
característica común del conjunto irreducible y cerrado y se puede hablar del periodo deuna
subcadena irreducible.

11. Cadenas de Markov de parámetros continuos
Para las cadenas de Markov con parámetro de tiempo discreto la matriz de
transición en n etapas puede ser expresada en términos de la matriz de transición en una
etapa P. En el caso continuo el papel homólogo a la matriz de transición P lo juega,
considerando unidades infinitesimales de tiempo entre transiciones, dt, una matriz Q
llamada de tasas de transición, to generador infinitesimal de la cadena.
El proceso estocástico {Xt}t>= 0, con conjunto de estados numerable S C Z+ es una
Cadena de Markov con parámetro de tiempo continuo si para todo s, t >= 0, y para todo i, j,
tales que XkE Z+ se cumple que:
P(Xt+s = j/Xs = i,Xk = xk ; 0 =< k < s)
= P(Xt+s = j/Xs = i)
Caracterización de una Cadena de Markov con parámetrocontinuo
Toda Cadena de Markov con parámetrocontinuocada vez que entra en un estado i E
S verifica que:
1. , esto es, la distribución del tiempo que permanece antes de transitar a otro
estado es exponencial.
2. Además, cuando deja el estado i, si pij = P (transitar a j/ el proceso esta en i), entonces
verifica que:
Ecuaciones Diferenciales de Kolmogorov
Supongamos que <∞ para cada i E S entonces las probabilidades de transición
Pij(t) son diferenciables para todo t >= 0 y todos i, j E S.