Este documento presenta tres métodos de estimación estadística: estimación por máxima verosimilitud, estimación por momentos generalizados y estimación de errores por máxima verosimilitud. Explica cómo aplicar estos métodos para estimar parámetros de regresión lineal y varianzas de errores. También provee ejemplos numéricos para ilustrar los cálculos involucrados en cada método.

1. 1
Clase 11. Estimaci´on por m´axima verosimilitud y
m´etodos de los momentos
Nerys Ram´ırez Mord´an
Pontificia Universidad Cat´olica Madre y Maestra
Econometr´ıa II (EC-411-T)
23 de septiembre de 2018

2. 2
Contenido
1 Introducci´on
2 Estimaci´on por m´axima verosimilitud
Un ejemplo intuitivo
Mle: estimaci´on de par´ametros de regresi´on
Mle: estimaci´on del error
3 Estimaci´on por el m´etodo generalizado de los momentos
4 Referencias

3. 3
Introducci´on

4. 4
Introducci´on
La selecci´on entre modelos es una etapa importante y complicada
(Gujarati, 2004).

5. 5
Estimaci´on por m´axima verosimilitud

6. 6
Estimaci´on por m´axima verosimilitud
A partir de una muestra aleatoria de tama˜no n, que se distribuye
seg´un un modelo perim´etrico {x1, x2, ..., xn} ∼ f(x|θ), cuyos
par´ametros son desconocidos.
Ejemplo 1: tenemos 10 bolas (blancas y negras) en una urna, y
queremos estimar la proporci´on (desconocida) de bolas blanca (θ).
Es decir el ˆθ m´as veros´ımil el resultado obtenido (entre todos los
posibles). Esto se hace maximizando la probabilidad modelada por
la funci´on de densidad conjunta (f (B, N|θ)) (Alonso, nd).

7. 7
Estimaci´on por m´axima verosimilitud
La funci´on de verosimilitud es una funci´on del par´ametro θ, dada
la muestra observada, que se obtiene por evaluar la funci´on de
densidad conjunta. Que al suponer independencia se puede
expresar como:
L(θ|x) =
n
i=1
f (xi|θ) (1)
Si L(θ1|x) > L(θ2|x), θ1 = θ es m´as veros´ımil que θ2 = θ.

8. 8
Estimaci´on por m´axima verosimilitud
Usualmente, por comodidad se suele maximizar el logaritmo de la
funci´on de m´axima verosimilitud.
log L(θ|x) = log
n
i=1
f (xi|θ) (2)
Correspondiendo la estimaci´on m´as veros´ımil de θ, aquella que
resuelve:
∂ log L(θ|x)
∂θ
= 0 (3)

9. 9
Mle: un ejemplo intuitivo
Suponga Xi ∼ Bernoulli(p):
f(xi; p) = pxi
(1 − p)1−xi
Siendo p = [0, 1], la funci´on mle (L(p)) es:
L(p) =
n
i=1
f(xi; p) = px1
(1 − p)1−x1
× · · · × pxn
(1 − p)1−xn
L(p) = p xi (1 − p)n− xi
Siendo la funci´on:
logL(p) = ( xi)log(p) + (n − xi)log(1 − p)

10. 10
Mle: un ejemplo intuitivo
Derivamos parcialmente e igualando a 0 (recurde
[∂ log(1 − p) = −1
(1−p) ]):
∂logL(p)
∂p
=
xi
p
−
n − xi
1 − p
= 0
Multiplicando por p(1 − p):
( xi)(1 − p) = (n − xi)p
xi = np
ˆp =
n
i=1
xi
n

11. 11
Estimaci´on de m´axima verosimilitud
Ahora, derivamos los coeficientes del modelo de regresi´on a partir
del supuesto de normalidad.
Siendo Y = β1 + β2x + u, donde u ∼ N(0, σ2) y es independiente
de X.
Donde, dada la independencia de la v.a., podemos escribir la
condicional conjunta del modelo, como:
n
i=1
L yi|xi; β0, β1, σ2
=
n
i=1
1
√
2πσ2
e− 1
2σ2 (yi−β0−β1x)2
(4)
n
i=1
L yi|xi; β0, β1, σ2
=
n
i=1
(2πσ2
)
−1
2
e− 1
2σ2 (yi−β0−β1x)2
(5)

12. 12
Mle: estimaci´on de m´axima verosimilitud
log
n
i=1
L yi|xi; β0, β1, σ2
= (2πσ2
)
−n
2
e− 1
2σ2
n
i=1
(yi−β0−β1x)2
(6)
Que aplicando logaritmos, sobre la funci´on de par´ametros
desconocidos log n
i=1 L yi|xi; β0, β1, σ2 , obtenemos la funci´on de
verosimilitud:
log
n
i=1
L yi|xi; β0, β1, σ2
= −
n
2
log 2π−
n
2
log σ2
−
1
2σ2
n
i=1
(yi − β0 − β1x)2

13. 13
Mle: estimaci´on de m´axima verosimilitud
Ahora, diferenciando respecto a los par´ametros desconocidos:
d log L
dβ0
= −
2
2σ2
n
i=1
(yi − β0 − β1x) (7)
d log L
dβ1
= −
2
2σ2
n
i=1
(yi − β0 − β1x) (x) (8)

14. 14
Mle: estimaci´on de m´axima verosimilitud
Igualando a cero y resolviendo el sistema:
d log L
dβ0
= −
2
2σ2
n
i=1
(yi − β0 − β1x) = 0 (9)
n
i=1 yi − nβ0 − β1
n
i=1 x = 0
βmle
0 = 1
n
n
i=1 yi − β1
1
n
n
i=1 x
βmle
0 = ¯Y − β1
¯X (10)

15. 15
Mle: estimaci´on de m´axima verosimilitud
d log L
dβ1
= −
2
2σ2
n
i=1
(yi − β0 − β1x) (x) (11)
n
i=1 yixi − β0
n
i=1 xi − β1
n
i=1 x2
i = 0
n
i=1 yixi − ¯Y − β1
¯X n
i=1 xi − β1
n
i=1 x2
i = 0
n
i=1 yixi − ¯Y n
i=1 xi = β1
n
i=1 x2
i − ¯X n
i=1 xi
βmle
1 =
n
i=1 yixi − ¯Y n
i=1 xi
n
i=1 x2
i − n ¯X2
(12)
Como n
i=1 xi = n ¯X, ¯X n
i=1 xi = n ¯X2.

16. 16
Error de m´axima verosimilitud
Dada la funci´on mle, podemos derivar respecto a sigma, para
obtener la varianza de la estimaci´on ( d
dx
1
x = d 1·(x)−d x·1
x2 − 1
x2 ):
log
n
i=1
L yi|xi; β0, β1, σ2
= −
n
2
log 2π−
n
2
log σ2
−
1
2σ2
n
i=1
(yi − β0 − β1x)2
d log L
dσ2
= −
n
2σ2
+
1
2(σ2)2
n
i=1
(yi − β0 − β1x)2
(13)
σ2
mle =
1
n
n
i=1
(yi − β0 − β1x)2
=
1
n
n
i=1
u2
i (14)

17. 17
Estimaci´on por el m´etodo generalizado de los
momentos

18. 18
GMM
El MGM permite estimar θ sin necesidad de conocer la funci´on de
densidad f(x), utilizando los momentos de la v.a. (Mk) que se
igualan a los momentos poblacionales (µk) (la idea es que n −→ ∞:
mk −→ µk) asumiendo ciertas condiciones de ortogonalidad.
Con la ventaja de que:
1 Muchos estimadores se pueden ver como casos especiales de GMM.
Marco unificador para la comparaci´on.
2 Contrario al MLE, donde necesitamos conocer de funci´on de
densidad completa, GMM es una alternativa basada en suposiciones
m´ınimas.

19. 19
GMM
Dada una v.a. X ∼ f(x|θ), el k-´esimo momento poblacional se
denota como:
µk = E Xk
∈ {1, 2, 3, ..., k} (15)
Dada una m.a. {X1, X2, X3, ..., Xk} observada a partir de la
funci´on de probabilidad, podemos definir el k-´esimo momento
muestral:
Mk =
1
n
n
i=1
xk
i ∈ {1, 2, 3, ..., k} (16)

20. 20
Estimaci´on del modelo de regresi´on
Consideremos el siguiente modelo de yi en funci´on de xi:
E[xiui] = E[xi(yi − xiβ)] = 0 (17)
Sustituyendo por sus momentos muestrales:
1
n
n
i=1
xi yi − xi
ˆβ =
1
n
n
i=1
xiyi −
1
n
n
i=1
xixi
ˆβ (18)
ˆβGMM
=
1
n
n
i=1
xixi
−1
1
n
n
i=1
xiyi (19)

21. 21
Referencias

22. 22
Referencias
1 Andr´es, Alonso. Estimadores de m´axima verosimilitud. Universidad Carlos
Tercero. Madrid.
2 Bohn, H. (2005). Generalized Method of Moments (GMM) Estimation. http:
//www.econ.ku.dk/metrics/Econometrics2_05_II/Slides/13_gmm_2pp.pdf
3 Wooldridge, J. (2009). Introducci´on a la Econometr´ıa: un enfoque moderno.
4ta. ed. Michigan State University. Cengage Learning