Una cadena de Markov es un proceso estocástico en el que la probabilidad del siguiente estado depende sólo del estado actual y no de los estados previos. El documento también describe procesos de Poisson y movimientos brownianos, incluyendo sus propiedades matemáticas. Finalmente, explica que ciertos procesos asociados al movimiento browniano, como el propio movimiento browniano, son martingalas.

1. UNADM
Actividad 1
Unidad 3
Lizeth Vargas Vera

2. LizethVargas Vera
1 
Actividad 1
Unidad 3
Cadena de Markov
Definición Una cadena de Markov es una sucesión de ensayos similares u
observaciones en la cual cada ensayo tiene el mismo número finito de
resultados posibles y en donde la probabilidad de cada resultado para un
ensayo dado depende sólo del resultado del ensayo inmediatamente
precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables aleatorias
𝑋1, 𝑋2, 𝑋3, …., tales que el valor de 𝑋 𝑛 es el estado del proceso en el tiempo
n. Si la distribución de probabilidad condicional de 𝑋𝑛 + 1 en estados
pasados es una función de 𝑋𝑛 por sí sola, entonces:
𝑃( 𝑋 𝑛+1= 𝑥 𝑛+1, 𝑋 𝑛 = 𝑥 𝑛, 𝑋 𝑛−1= 𝑥 𝑛−1 … 𝑋2 = 𝑥2, 𝑋1 = 𝑥1)
= 𝑃(𝑋 𝑛+1 = 𝑥 𝑛+1 /𝑋 𝑛 = 𝑥 𝑛 )
Donde 𝑥 𝑖 es el estado del proceso en el instante 𝑖.
Sea 𝑋 = {𝑋𝑛 ∶ 𝑛 = 0,1, . . . } una cadena de Markov homogénea en el
tiempo con probabilidades de transición 𝑝𝑥𝑦, 𝑥, 𝑦 𝑦 ∈ {0, 1} y sea h una
función del estado 𝑥 tal que
ℎ( 𝑥) = ∑ 𝑝𝑥𝑦
∞
𝑦=0 ℎ( 𝑦)
Entonces el proceso {𝑀 𝑛: 𝑛 = 0,1, . . . } donde 𝑀 𝑛: ℎ ( 𝑋 𝑛) es una martingala
respecto a 𝑋.
Demostración. Este resultado se sigue de la propiedad de Markov, pues
𝐸[ 𝑀 𝑛+1| 𝑋 𝑛 = 𝑥, 𝑋 𝑛−1 = 𝑥 𝑛−1, … . , 𝑋0 = 𝑥0]
= 𝐸[ℎ( 𝑋𝑛+1)| 𝑋 𝑛 = 𝑥, 𝑋 𝑛−1, … . , 𝑋0 = 𝑥0]
= 𝐸[ℎ( 𝑋𝑛+1) | 𝑋 𝑛 = 𝑥] = ∑ 𝑝𝑥𝑦
∞
𝑦=0
ℎ( 𝑦) = ℎ(𝑥)
De aquí que:

3. LizethVargas Vera
2 
𝐸[ 𝑀 𝑛+1| 𝑋 𝑛 , 𝑋 𝑛−1, … . , 𝑋0] = ℎ (𝑋 𝑛) = 𝑀 𝑛
Proceso de Poisson:
Sea una variable aleatoria que representa el número de eventos
aleatorios independientes que ocurren con igual rapidez en un intervalo de
medida. Se tiene entonces que la función de probabilidad de esta variable,
se expresa por:
Donde es parámetro de tendencia central de la distribución y representa
el número promedio ó cantidad esperada de ocurrencias (éxitos) del evento
aleatorio por unidad de medida ó por muestra; y Número
de ocurrencias específicas para el cual se desea conocer la probabilidad
respectiva. Según sea el valor de de , se define toda una familia de
probabilidades de Poisson. La probabilidad de que una variable aleatoria de
Poisson sea menor ó igual a un valor de se halla por la función de
distribución acumulativa, planteada entonces como:
Características de la distribución de Poisson
Valor Esperado: , el cual debe ser conocido.
Varianza:
Se puede calcular un coeficiente de asimetría mediante la expresión
Es de observar que mientras en una distribución binomial: en
Poisson se puede dar que
Alternativa: Si se da la probabilidad de tener, de manera
exacta, ocurrencias en un intervalo veces mayor que el de referencia

4. LizethVargas Vera
3 
en la medición entonces la distribución de probabilidades de Y número de
éxitos en la nueva unidad de referencia viene dada por
dónde Promedio de ocurrencias por intervalo ó unidad de medida
considerada en X y Número de intervalos ó unidades de medida
especificados.
y
Definición 1.4.2 Un proceso de Poisson con parámetro 𝜆 > 0, es un proceso
adaptado a la filtración ( 𝐹𝑡) 𝑡≥0, continuo que toma valores en 𝐼ℝ tal que
𝑖)𝐵0=0 𝑐𝑎𝑠𝑖 𝑠𝑒𝑔𝑢𝑟𝑎𝑚𝑒𝑛𝑡𝑒
𝑖𝑖) 𝑃𝑎𝑟𝑎 0 ≤ 𝑠 < 𝑡, 𝐵𝑡−𝐵𝑠 𝑒𝑠 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑑𝑒 𝐹𝑠 𝑦 𝑐𝑜𝑛 𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑐𝑖ó𝑛 𝑛𝑜𝑟𝑚𝑎𝑙
𝑐𝑜𝑛 𝑚𝑒𝑑𝑖𝑎 𝑐𝑒𝑟𝑜 𝑦 𝑣𝑎𝑟𝑖𝑎𝑛𝑧𝑎 (𝑡 − 𝑠)
Movimiento Browniano
Definición. Un movimiento browniano en ley es un proceso estocástico
𝐵 = ( 𝐵𝑡, 𝑡 ≥ 0) 𝑡𝑎𝑙 𝑞𝑢𝑒:
(1) 𝐵0 = 0
(2) 𝐵 𝑡𝑖𝑒𝑛𝑒 𝑖𝑛𝑐𝑟𝑒𝑚𝑒𝑛𝑡𝑜𝑠 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒𝑠 : 𝑠𝑖 0 = 𝑡0 < 𝑡1 < · · · < 𝑡 𝑚 𝑒𝑛𝑡𝑜𝑛𝑐𝑒𝑠 𝐵𝑡𝑖 − 𝐵𝑡𝑖−1 ,1 ≤ 𝑖 ≤
𝑚 𝑠𝑜𝑛 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒𝑠
(3) 𝐵 𝑡𝑖𝑒𝑛𝑒 𝑖𝑛𝑐𝑟𝑒𝑚𝑒𝑛𝑡𝑜𝑠 𝑒𝑠𝑡𝑎𝑐𝑖𝑜𝑛𝑎𝑟𝑖𝑜𝑠 : 𝐵𝑡+𝑠 − 𝐵𝑡 𝑡𝑖𝑒𝑛𝑒 𝑙𝑎 𝑚𝑖𝑠𝑚𝑎 𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑐𝑖ó𝑛 𝑞𝑢𝑒 𝐵𝑠 𝑦
(4) 𝑙𝑎 𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑐𝑖ó𝑛 𝑑𝑒 𝐵𝑡 𝑒𝑠 𝑛𝑜𝑟𝑚𝑎𝑙 𝑑𝑒 𝑚𝑒𝑑𝑖𝑎 0 𝑦 𝑣𝑎𝑟𝑖𝑎𝑛𝑧𝑎 𝑡.
Un movimiento browniano es un movimiento browniano en ley que tiene
trayectorias continua𝑠.

5. LizethVargas Vera
4 
1. 𝑀𝑎𝑟𝑡𝑖𝑛𝑔𝑎𝑙𝑎𝑠 𝑦 𝑝𝑟𝑜𝑐𝑒𝑠𝑜𝑠 𝑎𝑠𝑜𝑐𝑖𝑎𝑑𝑜𝑠 𝐶𝑜𝑛𝑡𝑖𝑛𝑢𝑎𝑟𝑒𝑚𝑜𝑠 𝑐𝑜𝑛 𝑎𝑙𝑔𝑢𝑛𝑜𝑠 𝑝𝑟𝑜𝑐𝑒𝑠𝑜𝑠 𝑎𝑠𝑜𝑐𝑖𝑎𝑑𝑜𝑠 𝑎𝑙 𝐵𝑟𝑜𝑤𝑛𝑖𝑎𝑛𝑜 𝑞𝑢𝑒 𝑟𝑒𝑠𝑢𝑙𝑡𝑎𝑛 𝑠𝑒𝑟
. Comenzaremos con algunas martingalas.
Proposición 2.1. Sea B un movimiento browniano. Entonces los siguientes procesos son martingalas.
(1) 𝐵𝑡, 𝑡 ≥ 0, 35
(2) 𝐵2 𝑡 − 𝑡, 𝑡 ≥ 0,
(3) 𝑒 𝜆𝐵𝑡 − 𝜆 2
𝑡
2
𝑦
(4) 𝑐𝑜𝑠ℎ(𝜆𝐵𝑡) 𝑒 − 𝜆 2 𝑡/2
Demostración. Se tiene que 𝐵𝑡 − 𝐵𝑠 es independiente de 𝐹𝑠 para 𝑠 ≤ 𝑡; se deduce lo anterior pues
por una parte 𝐵𝑡 − 𝐵𝑠 es independiente de ( 𝐵𝑠𝑖 − 𝐵𝑠−1
)𝑖=0 para cualquier 𝑛 ≥ 0y cualquier colección
de reales 0 = 𝑠0 ≤ 𝑠1 ≤ · · · ≤ 𝑠 𝑛 ≤ 𝑠. y por otra, dichas variables aleatorias generan ℱ𝑠.
Contruyamos ahora una martingala a dos parámetros con el movimiento browniano: consideremos
𝑀𝑡,𝑠 = 𝐵 𝑡 − 𝐵 𝑠
para 0 ≤ 𝑠 < 𝑡 𝑦 ℱ𝑠, 𝑡 = 𝜎( 𝐵 𝑢 − 𝐵𝑠 ∶ 𝑢 ∈ [𝑠, 𝑡]). Entonces, comoℱ𝑠, 𝑡es independiente de ℱ𝑠 (por
la propiedad de incrementos independientes de B) y está contenida en ℱ𝑡, si 0 ≤ 𝑢 ≤ 𝑠 < 𝑡 ≤ 𝑣, se
tiene que
E(𝑀𝑢, 𝑣 | ℱ𝑠, 𝑡) = 𝐸(𝐵𝑣 – 𝐵𝑢 | ℱ𝑠, 𝑡) =
𝐸(𝐵𝑣 − 𝐵𝑡 | ℱ𝑠, 𝑡) + 𝐸(𝐵𝑠 − 𝐵𝑢 | ℱ𝑠, 𝑡) + 𝐵𝑡 − 𝐵𝑠 =
𝐵𝑡 − 𝐵𝑠 = 𝑀 𝑡,𝑠.
www.wikipedia.org
www.cimat.edu