Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Cadenas de__markov

cadenas de Markov.

  • Inicia sesión para ver los comentarios

  • Sé el primero en recomendar esto

Cadenas de__markov

  1. 1. Cadenas de MarkovCadenas de Markov Proceso estocásticoProceso estocástico Cadena de MarkovCadena de Markov EstadoEstado TransiciónTransición
  2. 2.  Probabilidad de transiciónProbabilidad de transición Es la probabilidad que ocurra la transiciónEs la probabilidad que ocurra la transición del estado i al estado j, dado que se está endel estado i al estado j, dado que se está en el estado i.el estado i. P{ XP{ X t + 1t + 1 = j / X= j / X tt = i }= i }
  3. 3.  Probabilidades estacionarias de un pasoProbabilidades estacionarias de un paso Si para cada i y j se cumple:Si para cada i y j se cumple: P{ XP{ X t + 1t + 1 = j / X= j / X tt = i } = P{ X= i } = P{ X 11 = j / X= j / X 00 = i }= i } entonces, se dice que las probabilidades deentonces, se dice que las probabilidades de un paso son estacionariasun paso son estacionarias Notación: PNotación: Pijij
  4. 4.  Probabilidad de transición en n pasosProbabilidad de transición en n pasos P{ XP{ X t + nt + n = j / X= j / X tt = i } = P{ X= i } = P{ X nn = j / X= j / X 00 = i }= i } Notación: PNotación: Pijij (n)(n)
  5. 5.  Propiedades de PPropiedades de Pijij (n)(n) 1. Pij (n) ≥ 0 para todo i, j y n = 0, 1, 2, … 2. Σ Pij (n) = 1 para todo i, j de 0 a M, y n = 0, 1, 2, …
  6. 6.  Notación matricial, PNotación matricial, P (n)(n) 00 11 22 MM 00 P00 (n) P01 (n) P02 (n) P0M (n) 11 P10 (n) 22 P20 (n) MM PM0 (n) PMM (n)
  7. 7. Ecuaciones de Chapman -Ecuaciones de Chapman - KolmogorovKolmogorov Permite calcular la probabilidad de transición en n pasos  Pij (n) = Σ Pik (m) Pkj (n-m) para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M
  8. 8. La matriz de probabilidades de transición deLa matriz de probabilidades de transición de n pasos se pueden obtener a partir de lan pasos se pueden obtener a partir de la matriz de probabilidades de transición de unmatriz de probabilidades de transición de un pasopaso  P(n) = P * P * P * …. * P = P(n-1) * P
  9. 9. Clasificación de estadosClasificación de estados  Definiciones:Definiciones: AccesiblesAccesibles ComunicadosComunicados  SiSi dos estados se comunicandos estados se comunican, pertenecen a la, pertenecen a la misma clasemisma clase  Si todos los estados pertenecen a la misma clase,Si todos los estados pertenecen a la misma clase, entoncesentonces la cadena es irreduciblela cadena es irreducible
  10. 10.  ffiiii = probabilidad de que el proceso regrese= probabilidad de que el proceso regrese al estado i, dado que comienza en el estadoal estado i, dado que comienza en el estado i.i.  Estado recurrenteEstado recurrente: f: fiiii = 1= 1  Estado transitorioEstado transitorio: f: fiiii < 1< 1  Estado absorbenteEstado absorbente: p: piiii = 1= 1
  11. 11. Tiempos de primera pasadaTiempos de primera pasada  El número de transiciones que hace elEl número de transiciones que hace el proceso al ir de un estado i a un estado jproceso al ir de un estado i a un estado j por primera vez, es elpor primera vez, es el tiempo de primeratiempo de primera pasadapasada  Cuando j = i, se habla deCuando j = i, se habla de tiempo detiempo de recurrencia para el estado irecurrencia para el estado i
  12. 12.  µµijij = tiempo esperado de primera pasada= tiempo esperado de primera pasada  µµijij = infinito,= infinito, sisi ΣΣ ffiiii (n)(n) < 1< 1  µµijij == ΣΣ n * fn * fiiii (n)(n) ,, sisi ΣΣ ffiiii (n)(n) = 1= 1
  13. 13. CuandoCuando ΣΣ ffiiii (n)(n) = 1,= 1, se satisface la ecuación:se satisface la ecuación:  µµijij = 1 += 1 + Σ {Σ { ppikik ** µµkjkj }} donde la sumatoria varía para todo kdonde la sumatoria varía para todo k distinto de jdistinto de j  Cuando i = j,Cuando i = j, µµijij se llamase llama tiempo esperadotiempo esperado de recurrenciade recurrencia
  14. 14. Probabilidades de Estado EstableProbabilidades de Estado Estable  Es la probabilidad de que le sistema seEs la probabilidad de que le sistema se encuentra en el estado j, independiente delencuentra en el estado j, independiente del estado inicialestado inicial  ππjj = lim p= lim pijij (n)(n) , con n tendiendo al infinito, con n tendiendo al infinito  ππii = 1 /= 1 / µµiiii
  15. 15.  Ecuaciones de estado estableEcuaciones de estado estable 1.1. ππjj == Σ πΣ πj *j * ppijij para j = 0, 1, …, M y lapara j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, Msumatoria variando de i = 0, 1, …, M 2.2. Σ πΣ πjj = 1= 1
  16. 16. Estados AbsorbentesEstados Absorbentes  Si k es un estado absorbente, y el procesoSi k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad decomienza en el estado i, la probabilidad de llegar en algún momento a k se llamallegar en algún momento a k se llama probabilidad de absorciónprobabilidad de absorción  Notación: fNotación: fikik
  17. 17.  Ecuaciones:Ecuaciones: ffikik == ΣΣ ppijij ** ffjkjk para todo i = 0, 1, …, M; ypara todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta Mla sumatoria variando de j = 0 hasta M La ecuación anterior está sujeto a:La ecuación anterior está sujeto a:  ffkkkk = 1= 1  ffikik = 0,= 0, si el estado i es recurrente, ysi el estado i es recurrente, y además i es distinto de kademás i es distinto de k

×