14.7. EstadosAbsorbentes
El estado k se llama estado absorbente sipkk= 1, de manera que cada vez que la cadenallegue al estado k permanece ahí para...
Si el estado k es absorbente, entonces el conjunto e probabilidades de absorción fik satisface el sistema de ecuaciones   ...
Una caminata aleatoria es una cadena deMarkov con la probabilidad de que, si elsistema se encuentra en el estado i, entonc...
Ejemplo:Considere un ejemplo sobre juegos, considereque dos jugadores con $2 cada uno, aceptanseguir jugando y apostando $...
1     0     0    0   0                 1-p    0     P    0   0            P=    0    1.p    0    P   0                  0 ...
Se puede demostrar que estas ecuaciones dan como resultado otras expresiones (para M general en lugar de M=4 como en esta ...
Para M =4, 1=2 y p= 2/3, la probabilidad de que Aquiebre esta dada por                        1 − 𝑝2 1              𝑓20   ...
Considere una tienda departamental que clasifica elsaldo de la cuenta de un cliente comoPagada (estado 0 ),1 a 30 días de ...
En ocasiones, los clientes pagan solo una parte desus cuenta. Si esto curre cuando el saldo quedadentro de los 30 días de ...
Después de examinar los datos de años pasados,la tienda ha desarrollado la siguiente matriz detransición:         Estado  ...
𝑓13 = 𝑝10 𝑓03 + 𝑝11 𝑓13 + 𝑝12 𝑓23 + 𝑝13 𝑓33        𝑓23 = 𝑝20 𝑓03 + 𝑝21 𝑓13 + 𝑝22 𝑓23 + 𝑝23 𝑓33Con 𝑓03 =0 y 𝑓33 =1, ahora s...
Conclusión:Entonces aproximadamente 3% de los clientescuyas cuentas tienen 1 a 30 días de retrasoacaban por ser una mala d...
14.8. Cadenas deMarkov de tiempocontinuo
Existen ciertos casos ( como en algunos modelos delíneas de espera) en los que se requiere unparámetro (llamado t´) de tie...
Algunas variables aleatorias importantesCada vez que el proceso entra e el estado i , la cantidad detiempo que pasa en ese...
Este resultado lleva a una forma equivalente dedefinir un cadena de Markov de tiempo continuo.1. La variable aleatoria 𝑇𝑖 ...
las intensidades de transición son.                 𝑑                  1 − 𝑝 𝑖𝑗 (𝑡)         para i= 0, 1, …M            𝑞𝑖...
Probabilidades de estado estable.Para cualesquiera estados i y j y números no negativos t y s(0 ≤ s ≤ 0),                 ...
Siempre existe y es independiente del estadoinicial de la cadena de Markov, para j= 0, 1, …M.estas propiedades limitantes ...
Ejemplo.Un taller tiene dos maquinas idénticas que operancontinuamente excepto cuando se descomponen. Como lohacen con bas...
Tasas de transición total hacia afuera de cada estado.                         𝑞0 = 𝑞01 =2                     𝑞1 = 𝑞10 + ...
Entonces, ambas maquinas estarándescompuestas simultáneamente 20% deltiempo y estará descompuesta unamaquina otro 40%
Próxima SlideShare
Cargando en…5
×

Cadenas de Markov - Estados absorbentes y de tiempo continuo

20.769 visualizaciones

Publicado el

0 comentarios
2 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

Sin descargas
Visualizaciones
Visualizaciones totales
20.769
En SlideShare
0
De insertados
0
Número de insertados
565
Acciones
Compartido
0
Descargas
343
Comentarios
0
Recomendaciones
2
Insertados 0
No insertados

No hay notas en la diapositiva.

Cadenas de Markov - Estados absorbentes y de tiempo continuo

  1. 1. 14.7. EstadosAbsorbentes
  2. 2. El estado k se llama estado absorbente sipkk= 1, de manera que cada vez que la cadenallegue al estado k permanece ahí parasiempre.Si k es un estado absorbente y el procesocomienza en el estado i, la probabilidad dellegar en algún momento a k se llamaprobabilidad de absorción al estado k dadoque el sistema comenzó en i
  3. 3. Si el estado k es absorbente, entonces el conjunto e probabilidades de absorción fik satisface el sistema de ecuaciones 𝑀 fik= Pijfjk, Para i= 0,1,…M 𝑗=0Sujeta a las condicionesfkk=1,fik=0, si el estado i es recurrente e i≠ k
  4. 4. Una caminata aleatoria es una cadena deMarkov con la probabilidad de que, si elsistema se encuentra en el estado i, entonceses un sola transición, o bien permanecerá eni o se moverá a uno de los estadosinmediatamente adyacente a i
  5. 5. Ejemplo:Considere un ejemplo sobre juegos, considereque dos jugadores con $2 cada uno, aceptanseguir jugando y apostando $1 cada vez hastaque unos de ellos quiebre. El numero dedólares que tiene el jugador A antes de cadaapuesta (0, 1, 2, 3 o 4) proporciona los estadosde una cadena de Markov con matriz detransición
  6. 6. 1 0 0 0 0 1-p 0 P 0 0 P= 0 1.p 0 P 0 0 0 1-p 0 P 0 0 0 0 1P= probabilidad de que A gane una jugada.La probabilidad de absorción al estado 0 (A pierde todo sudinero) se puede obtener a partir del sistema deecuaciones anterior.
  7. 7. Se puede demostrar que estas ecuaciones dan como resultado otras expresiones (para M general en lugar de M=4 como en esta ejemplo. 𝑖−1 𝑝 𝑚 𝑚=𝑜 1 − 𝑓𝑖0 = 𝑀−0 𝑚 Para i= 0,1,…M 𝑚=0 𝑝 1 − 𝑝𝑖 Para p ≠1 = 1− 𝑝 𝑚 2 1 − 𝑝𝑖 Para p =1 = 2Donde 1-p = (1-p)/p 1− 𝑝 𝑚
  8. 8. Para M =4, 1=2 y p= 2/3, la probabilidad de que Aquiebre esta dada por 1 − 𝑝2 1 𝑓20 =1− 4 = , 1− 𝑝 5Y la probabilidad de que A gane $4 (B quiebre) estadada por 4 𝑓2 = 1 − 𝑓20 = 5
  9. 9. Considere una tienda departamental que clasifica elsaldo de la cuenta de un cliente comoPagada (estado 0 ),1 a 30 días de retraso (estado 1),31 a 60 días de retraso (estado 2) omala deuda (estado 3).Las cuentas se revisan cada mes y se determina elestado de cada cliente. En general los créditos no seextienden y se espera que los clientes paguen suscuentas dentro de 30 días.
  10. 10. En ocasiones, los clientes pagan solo una parte desus cuenta. Si esto curre cuando el saldo quedadentro de los 30 días de retraso (estado 1), la tiendave a ese cliente como uno que permanece en elestado 1. si esto ocurre cuando el saldo esta entre 31y 60 días de retraso, la tienda considera que lecliente se mueve al estado 1 (1 a 30 días de retraso).Los clientes que tienen mas de 60 días de retraso seclasifican en la categoría de una mala deuda (estado3); luego, las cuentas se mandan a una agencia decobro.
  11. 11. Después de examinar los datos de años pasados,la tienda ha desarrollado la siguiente matriz detransición: Estado 0: cuenta 1: 1-30 dias 2:31-60 dias 3: mala pagada de retraso de retraso deudaEstado0: cuenta 1 0 0 0pagada1: 1-30 dias de 0.7 0.2 0.1 0retraso2:31-60 dias 0.5 0.1 0.2 0.2de retraso3: mala deuda 0 0 0 1
  12. 12. 𝑓13 = 𝑝10 𝑓03 + 𝑝11 𝑓13 + 𝑝12 𝑓23 + 𝑝13 𝑓33 𝑓23 = 𝑝20 𝑓03 + 𝑝21 𝑓13 + 𝑝22 𝑓23 + 𝑝23 𝑓33Con 𝑓03 =0 y 𝑓33 =1, ahora se tienen dos ecuacionescon dos incógnitas, a saber, (1 − 𝑝11 )𝑓13 = 𝑝13 + 𝑝12 𝑓23, (1 − 𝑝22 )𝑓23 = 𝑝23 + 𝑝21 𝑓13,Al sustituir los valores de matriz de transición se llega a 0.8𝑓13 = 0.1𝑓23, 0.8𝑓23 = 0.2 + 0.1𝑓13, Y la solución es 𝑓13 = 0.032 𝑓13 = 0.254
  13. 13. Conclusión:Entonces aproximadamente 3% de los clientescuyas cuentas tienen 1 a 30 días de retrasoacaban por ser una mala deuda mientras que el25% de los clientes cuyas deudas tiene de 31 a60 días de retraso llegan a la misma categoría.
  14. 14. 14.8. Cadenas deMarkov de tiempocontinuo
  15. 15. Existen ciertos casos ( como en algunos modelos delíneas de espera) en los que se requiere unparámetro (llamado t´) de tiempo continuo, debido aque la evolución de un proceso se esta observandode manera continua a través del tiempo.Un proceso estocástico de tiempo continuo{X(t´);t´≥ 0} es una cadena de Markov de tiempocontinuo si tiene la propiedad markoviana se estudiaran las cadenas de Markov de tiempocontinuo con las siguientes propiedades.1. Un numero finito de estados2. Probabilidades de transición estacionarias
  16. 16. Algunas variables aleatorias importantesCada vez que el proceso entra e el estado i , la cantidad detiempo que pasa en ese estado antes de moverse a un estadodiferente, es una variable aleatoria T donde i= 0, 1, …MLa distribución exponencial posee la propiedad de que ladistribución de probabilidad de tiempo que falta para que elproceso haga una transición fuera de un estado dado siemprees la misma, independientemente de cuanto tiempo hayapasado el proceso en ese estado.Tiene solo un parámetro, llámese q, donde la media es 1/q y lafunción de distribución acumulada esP{ 𝑇𝑖 ≤ 𝑡} = −𝑒 −𝑞𝑡 para t≥ 0
  17. 17. Este resultado lleva a una forma equivalente dedefinir un cadena de Markov de tiempo continuo.1. La variable aleatoria 𝑇𝑖 tiene una distribución exponencial con media 1/q.2. Cuando sale de un estado i, el proceso se mueve a otro estado j, como probabilidades 𝑝 𝑖𝑗 , en donde satisface las condiciones 𝑝 𝑖𝑗 =0 para toda i,Y 𝑀 𝑗=0 𝑝 𝑖𝑗 = 1 para toda i,3. El siguiente estado que se visita después delestado i es independiente del tiempo que paso enestado i.
  18. 18. las intensidades de transición son. 𝑑 1 − 𝑝 𝑖𝑗 (𝑡) para i= 0, 1, …M 𝑞𝑖 = 𝑝 𝑖𝑗 (0) = lim 𝑑𝑡 𝑡→0 𝑡 𝑑 𝑝 𝑖𝑗 (𝑡) para j≠ 𝑖 𝑞 𝑖𝑗 = 𝑝 𝑖𝑗 (0) = lim = 𝑞 𝑖 𝑝 𝑖𝑗 𝑑𝑡 𝑡→0 𝑡donde 𝑝 𝑖𝑗 𝑡 es la función de probabilidad de transición detiempo continuo
  19. 19. Probabilidades de estado estable.Para cualesquiera estados i y j y números no negativos t y s(0 ≤ s ≤ 0), 𝑀 𝑝 𝑖𝑗 (𝑡) = 𝑘=1 𝑝 𝑖𝑘 (s)𝑝 𝑘𝑗 (t-s).se dice que un par de estados i y j se comunican si existetiempos 𝑡1 𝑦 𝑡2 tales que 𝑝 𝑖𝑗 (𝑡1 )>0 y 𝑝 𝑖𝑗 (𝑡2 )>0. se dice quetodos los estados que se comunican forman una clase. Sitodos los estados cadena forman una sola clase, es decir, si lacadena de Markov es irreducible, entonces 𝑝 𝑖𝑗 (t)>0 para toda t>0 y todos los estados i y jMas aun, lim 𝑝 𝑖𝑗 𝑡 = 𝜋𝑗 𝑡→∞
  20. 20. Siempre existe y es independiente del estadoinicial de la cadena de Markov, para j= 0, 1, …M.estas propiedades limitantes se conocen como lasprobabilidades de estado estable de la cadena deMarkov.Las 𝜋 𝑗 satisfacen las ecuaciones 𝑀 𝜋 𝑗 = 𝑖=0 𝜋 𝑖 𝑝 𝑖𝑗 𝑡 , para toda j=0, 1, …M ypara toda t ≥0.Las siguientes ecuaciones de estado estableproporcionan un sistema de ecuaciones útilespara obtener la probabilidad del estado estable. 𝜋 𝑗 𝑞 𝑗 = 𝑖≠𝑗 𝜋 𝑗 𝑞 𝑖𝑗 para j=0, 1, …, M
  21. 21. Ejemplo.Un taller tiene dos maquinas idénticas que operancontinuamente excepto cuando se descomponen. Como lohacen con bastante frecuencia, la tarea con mas alta prioridadpara las personas de mantenimiento que trabajan tiempocompleto, es repararla cuando lo necesiten.El tiempo requerido para reparara una maquina tienedistribución exponencial como media de medio día. Una vezque se termina la reparación, el tiempo que transcurre hasta lasiguiente descompostura tiene distribución exponencial conmedia de 1 día. Estas distribuciones son independientesDefina la variable aleatoria X(t´) comoX(t´)= numero de maquinas descompuestas en el tiempo t´.
  22. 22. Tasas de transición total hacia afuera de cada estado. 𝑞0 = 𝑞01 =2 𝑞1 = 𝑞10 + 𝑞12 = 3 𝑞2 = 𝑞21 =2 Sustituyendo todas las tasas en la ecuaciones de estado estable dadas se obtiene.Ecuación de balance para el estado 0: 2 𝜋0 = 2 𝜋1Ecuación de balance para el estado 1: 3 𝜋0 = 2 𝜋0 +2 𝜋2Ecuación de balance para el estado 2: 2 𝜋2 = 𝜋1Las probabilidades suman 1: 𝜋0 +𝜋1 +𝜋2 = 1 Cualquiera de las ecuaciones de balance se puedeeliminar como redundante, y la solucion simultanea de lasecuaciones restantes da la distribucion del estado estable como 2 2 1 (𝜋0 , 𝜋1 , 𝜋2 )=( , , ) 5 5 5
  23. 23. Entonces, ambas maquinas estarándescompuestas simultáneamente 20% deltiempo y estará descompuesta unamaquina otro 40%

×