Análisis de Influencia en el modelo de regresión Beta por Inferencia Bayesiana

Análisis de Influencia en el modelo de Regresión Beta
por inferencia Bayesiana
Mg. Jim Roland Silvestre Valer
jrsilvestrev@pucp.pe
PeruStat
Analytics training, consulting and researching
Semana Cient´ıfica en UNMSM
Silvestre Valer, Jim.R. (UNI-PUCP) Análisis de Influencia en el modelo de Regresión Beta por inferencia Bayesiana 1 / 40

Resumen
1 Introducción
Consideraciones previas y justificación

Resumen
1 Introducci´on
2 Objetivos

Resumen
1 Introducción
2 Objetivos
3 Modelo de Regresión Beta
Función de densidad y propiedades
Reparametrización alternativa
Modelo de regresión Beta

Resumen
1 Introducción
2 Objetivos
4 Inferencia Bayesiana en el MRB
Función de verosimilitud
Distribución a priori
Distribución a posteriori

Resumen
1 Introducción
2 Objetivos
5 Análisis de Influencia
Análisis de Influencia con la Estad´ıstica Bayesiana

Resumen
1 Introducci´on
2 Objetivos
6 Aplicaci´on

Resumen
1 Introducci´on
2 Objetivos
6 Aplicaci´on
7 Conclusiones y Recomendaciones

Introducción Consideraciones previas y justificación
Consideraciones Previas
Puede ser interesante analizar:
La tasa de desempleo en Lima en función del nivel educativo de los
habitantes,del número de horas laborables al d´ıa, de la edad del
habitante,etc.
La proporción de niños en edad escolar que trabajan en función del
número de hijos por familia, el ingreso familiar, etc.
Kieschnick y McCullough (2003) plantean que la distribución Beta es
adecuada para el análisis de este tipo de datos.

Introducción Consideraciones previas y justificación
Justificación
Según Cho et al (2009) la importancia de identificar observaciones
influyentes en un análisis estad´ıstico es un problema metodológico bien
reconocido y el desarrollo de medidas de diagnóstico para detectar
observaciones influyentes es de interés para muchos investigadores. Las
observaciones influyentes son una parte importante del análisis de datos y
por lo tanto requieren un trato más exhaustivo dado que pueden tener un
fuerte impacto en las conclusiones que se lleguen con la inferencia
estad´ıstica.

Objetivos
Objetivo principal
Detectar puntos influyentes empleando inferencia Bayesiana en modelos de
regresión para proporciones espec´ıficamente en el modelo de Regresión
Beta.

Objetivos
Objetivos secundarios
Mostrar diferentes propuestas del modelo de regresi´on Beta.

Objetivos
Dar a conocer algunas propiedades sobre el an´alisis de inﬂuencia.

Objetivos
Dar a conocer algunas propiedades sobre el an´alisis de inﬂuencia.
Realizar aplicaciones a conjuntos de datos reales.

Modelo de Regresión Beta Función de densidad y propiedades
Modelo
EL MODELO DE REGRESIÓN BETA

Modelo de Regresión Beta Función de densidad y propiedades
función de densidad
La función de densidad de una variable aleatoria y que sigue una
distribución Beta es la siguiente:
fY (y | α, β) =
Γ(α + β)
Γ(α)Γ(β)
yα−1
(1 − y)β−1
, 0 < y < 1
α, β > 0
La media y la variancia de una distribución Beta son expresadas por:
E(y) =
α
α + β
y V ar(y) =
αβ
(α + β)2(α + β + 1)
(1)

Modelo de Regresi´on Beta Reparametrizaci´on alternativa
Ferrari y Cribari Neto (2004) reparametrizaron el modelo haciendo
µ = α/(α + β) y φ = α + β, y se obtiene que:
E(y) = µ y V ar(y) =
V (µ)
1 + φ
donde V (µ) = µ(1 − µ).

Modelo de Regresión Beta Reparametrización alternativa
Luego, en la nueva parametrización la densidad de la distribución Beta
puede ser escrita como
fY (y | µ, φ) =
Γ(φ)
Γ(µφ)Γ((1 − µ)φ)
yµφ−1
(1 − y)(1−µ)φ−1
, 0 < y < 1 (2)
donde 0 < µ < 1 y φ > 0.

Modelo de Regresión Beta Modelo de regresión Beta
Antecedentes de la dispersión en el modelo
Ferrari y Cribari Neto(2004) plantean un MRB con dispersión fija
(φ=constante)
Smithson y Verkuilen(2006) plantearon un MRB con dispersión
variable (φ=variable)
Espinheira(2008) también hizo su aporte en el MRB y
consideró dispersión constante.
Simas et al(2010), Ferrari et al. (2011); Cribari-Neto y Zeileis(2010)
analizaron el MRB con dispersión variable.

Análisis de influencia en el modelo
Ferrari y Cribari Neto(2004) presentan directrices para el análisis de
influencia desde la perspectiva clásica.
Espinheira et al (2008b) propone diversas medidas de influencia y
muestra que tan influyente puede ser una observación at´ıpica en el
MRB.
Bayes y Bazán(2012) estudian la influencia de una observación at´ıpica
en el MRB desde la perspectiva Bayesiana.

El modelo y sus caracter´ısticas
Estamos analizando el MRB con dispersi´on variable propuesto por
Smithson y Verkuilen(2006).
Sean y1, ..., yn variables aleatorias tales que:
yi ∼ Beta(µi, φi)
g(µi) =
k
j=1
xijβj
h(φi) =
p
l=1
zilγl

Tamaño de muestra en el modelo
Ferrari y Cribari Neto (2004) consideran que el método de máxima
verosimilitud es adecuado cuando el tamaño de muestra es
suficientemente grande.
Por otro lado si tenemos situaciones en las cuales el tamaño de
muestra sea pequeño y se conozca cierta información a priori sobre los
parámetros del modelo, entonces Congdon (2003) sugiere realizar el
análisis desde la perspectiva Bayesiana.

Inferencia Bayesiana en el MRB Funci´on de verosimilitud
Inferencia Bayesiana
INFERENCIA BAYESIANA EN EL MODELO DE REGRESI´ON
BETA

Inferencia Bayesiana en el MRB Funci´on de verosimilitud
La funci´on de verosimilitud es dada por:
L(θ | y) =
n
i=1
Γ(φi)
Γ(µiφi)Γ(φi(1 − µi))
yµiφi−1
i (1 − yi)φi(1−µi)−1
donde θ = (β, γ)

Inferencia Bayesiana en el MRB Distribución a priori
Consideraremos las siguientes prioris:
p(βj) ∼ Normal(0, σ2
β)
p(γl) ∼ Normal(0, σ2
γ)
con j = 1, 2, ..., k y l = 1, 2, ..., p y además se puede asignar incluso
valores grandes para los hiperparámetros σ2
β y σ2
γ, como una distribución a
priori no informativa. Asumimos que los parámetros β y γ son
independientes y por lo tanto:
p(θ) = p(β) × p(γ)
con θ = (β, γ)

Inferencia Bayesiana en el MRB Distribución a posteriori
La distribución a posteriori es proporcional a la multiplicación de la priori
por la respectiva función de verosimilitud, es decir:
p(θ | y) ∝ L(θ | y) × p(θ)
Entonces la distribución a posteriori es:
p(θ | y) ∝
n
i=1
Γ(φi)
Γ(µiφi)Γ(φi(1 − µi))
yµiφi−1
i (1 − yi)φi(1−µi)−1
×
e
−1
2
k
j=1
β2
j /σ2
β+
p
l=1
γ2
l /σ2
γ

Análisis de Influencia Análisis de Influencia con la Estad´ıstica Bayesiana
Medidas de influencia
MEDIDAS DE INFLUENCIA

CPO: Conditional Predictive Ordinate
Según Congdon(2003) el CPO, para la observación i- ésima, se define
como:
CPOi = f(yi | y(i)) = f(yi | θ, y(i))p(θ | y(i))dθ
donde yi ∈ y siendo y = {y1, y2, ..., yn} y y(i) = {y1, ..., yi−1, yi+1, ..., yn}
Pero en este trabajo asumimos que los yi son independientes de y(i) dado
un θ desconocido entonces el CPOi queda dado por:
CPOi = f(yi | y(i)) = f(yi | θ)p(θ | y(i))dθ

Estimación del CPO por MCMC
Una aproximación por el método Monte Carlo es la siguiente:
CPOi = ˆf(yi | y(i)) =
1
1
B
B
s=1
1
f(yi|y(i),θs)
θs representa un conjunto de valores extra´ıdos de la función a posteriori de
θ, p(θ | y) asumiendo que el modelo fue ajustado por un método basado
en algún tipo de muestreo.

Divergencia de Kullback- Leibler (Divergencia KL)
La divergencia KL se deﬁne como:
DKL(f, g) = f(x) log
f(x)
g(x)
dx
donde f(.) y g(.) son dos funciones de densidad.
Un valor grande de la divergencia KL implica mayor diferencia entre las
funciones de densidad.

Divergencia de Kullback- Leibler (Divergencia KL)
DKL(i) mide la distancia entre las distribuciones a posterioris con todos
los datos y eliminando el i- ésimo dato y lo definimos como:
DKL(i) = f(θ | y) log
f(θ | y)
(f(θ | y(i))
dθ
f(θ | y) es la distribución a posteriori de θ dado y y f(θ | y(i)) es la
distribución a posteriori de θ dado y(i) siendo
y(i) = (y1, ..., yi−1, yi+1, ..., yn).
Un valor grande de DKL(i) implica mayor influencia de la observación
i-ésima en la estimación.

Estimación de la Divergencia KL por MCMC
La estimación de la divergencia KL por MCMC es dada por:
ˆDKL(i) =
1
B
B
s=1
log(f(yi | θs
, x, y(i))) − log





1
1
B
B
s=1
1
f(yi|θs,x,y(i))





Como la expresión en el segundo término es la estimación del CPOi ,
entonces:
ˆDKL(i) =
1
B
B
s=1
log(f(yi | θs
, x, y(i))) − log(CPOi)

Aplicación
Aplicación
APLICACIÓN A UN CASO REAL

Aplicación
APLICACIÓN
Se consideraron 37 atletas de remo de un total de 202 deportistas del
Instituto Australiano del Deporte (AIS). Se eligieron 2 variables (Bfat y
lbm) para realizar la detección de puntos influyentes, donde:
lbm: (lean body mass) significa masa corporal magra, medida en
kilogramos.
Bfat: (body fat percentage) es un indicador de grasa corporal y
está expresado en unidades porcentuales.
En el gráfico se puede observar que hay dos valores at´ıpicos, los cuales
deber´ıan ser detectados por el CPO y la divergencia KL

Aplicación
Gráfico de dispersión
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
40 50 60 70 80
0.100.150.200.25
masa corporal magra
%degrasacorporal
Dispersión considerando solo remadores (Row)
Figura: Dispersión entre la masa corporal (lbm) y el % de grasa corporal

Aplicación
Estimación de los parámetros
El modelo es:
Bfati ∼ Beta(µi, φ)
logit(µi) = β0 + β1 × lbmi
las distribuciones a priori no informativas son: β0 ∼ N(0; 1000000),
β1 ∼ N(0; 1000000) y φ ∼ Gama(0,01; 0,01)

Aplicación
Estimación de los parámetros
Realizando la estimación de los parámetros por MCMC utilizando
OpenBugs considerando 100000 iteraciones, per´ıodo burnin de 50000 y
thin de 10, se obtuvo:
media sd 2.5 % 25 % 50 % 75 % 97.5 %
β0 0.086 0.22 -0.34 -0.07 0.09 0.24 0.52
β1 -0.027 0.001 -0.03 -0.03 -0.03 -0.02 -0.02
φ 88.012 20.78 52.37 73.16 86.34 101.43 133.36
Dbar -139.60 2.35 -142.33 -141.34 -140.18 -138.50 -133.76
Cuadro: Estimación de los parámetros del modelo

Aplicación
Detección con el CPO
q
q
q
q
q
q
q
q q
q q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
0 5 10 15 20 25 30 35
024681012
Observación
CPO
16
30
Figura: menor valor del CPO refleja observaciones influyentes

Aplicación
Detección con la divergencia KL
q q q
q
q q q q q q q q q
q q
q
q q q
q q q q q q q q q q
q
q q q q q q q
0 5 10 15 20 25 30 35
0.00.51.01.5
Observación
DivergenciaKL
16
30
Figura: mayor valor de la divergencia KL refleja observaciones influyentes

Aplicación
Estimación de los parámetros sin la observación {16}
media sd 2.5 % 25 % 50 % 75 % 97.5 %
β0 0.412 0.26 -0.10 0.23 0.41 0.58 0.93
β1 -0.032 0.0007 -0.04 -0.03 -0.03 -0.03 -0.02
φ 102.85 24.67 59.22 85.35 101.02 117.83 156.33
Dbar -141.623 2.61 -144.67 -143.59 -142.26 -140.33 -134.81

Aplicación
análisis de la variación de los parámetros
parámetros inicio -{16} variación IC95 % IC-{16} variación
β0 0.086 0.412 379.07 % 0.86 1.03 19.77 %
β1 -0.027 -0.032 18.52 % 0.01 0.02 100 %
Cuadro: Análisis de la variación porcentual en la estimación puntual (media a
posteriori) de los parámetros y el ancho del IC eliminando la observación {16}

Aplicación
Estimación de los parámetros sin la observación {30}
media sd 2.5 % 25 % 50 % 75 % 97.5 %
β0 0.41 0.26 -0.10 0.25 0.40 0.57 0.97
β1 -0.03 0.003 -0.04 -0.03 -0.03 -0.03 -0.02
φ 123.58 29.80 72.49 102.38 120.73 142.69 188.41
Dbar -148.50 2.91 -151.89 -150.72 -149.24 -147.05 -141.11

Aplicación
parámetros inicio -{30} variación IC95 % IC-{30} variación
β0 0.086 0.41 376.74 % 0.86 1.07 24.42 %
β1 -0.027 -0.03 18.52 % 0.01 0.02 100 %
posteriori) de los parámetros y el ancho del IC eliminando la observación {30}

Aplicación
Estimación de los parámetros sin las observaciones {16,30}
media sd 2.5 % 25 % 50 % 75 % 97.5 %
β0 0.825 0.18 0.45 0.71 0.84 0.95 1.14
β1 -0.038 0.0003 -0.04 -0.04 -0.04 -0.04 -0.03
φ 206.41 51.21 119.42 169.93 202.10 237.22 319.25
Dbar -163.83 2.66 -166.95 -165.80 -164.44 -162.54 -157.03

Aplicación
parámetros inicio -{16,30} variación IC95 % IC-{16,30} variación
β0 0.086 0.825 859.3 % 0.86 0.69 19.77 %
β1 -0.027 -0.038 40.74 % 0.01 0.01 0.0 %
posteriori) de los parámetros y el ancho del IC eliminando las observaciones
{16,30}

Conclusiones y Recomendaciones
Finalmente
CONCLUSIONES Y RECOMENDACIONES

Conclusiones
Las observaciones influyentes detectadas por los métodos de la
estad´ıstica clásica, coinciden con los de la estad´ıstica Bayesiana, pero
no necesariamente en todos los casos.
El método de diagnóstico de la divergencia de Kullback - Leiber (KL)
detecta observaciones influyentes con mejor precisión que el método
de la ordenada predictiva condicional (CPO), como se observó en la
aplicación.
Las observaciones influyentes detectadas por el método CPO y la
divergencia KL no necesariamente coinciden en todos los casos.

Recomendación
Al querer detectar puntos influyentes empleando estad´ıstica
Bayesiana, se recomienda detectarlas con la divergencia KL y el CPO.
Posteriormente analizar, en lo posible, las observaciones influyentes
comunes.

Análisis de Influencia en el modelo de regresión Beta por Inferencia Bayesiana

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Último

Último (20)

Análisis de Influencia en el modelo de regresión Beta por Inferencia Bayesiana