1. 1
Clase 2. Modelo de regresi´on simple
Nerys Ram´ırez Mord´an
Pontificia Universidad Cat´olica Madre y Maestra
Econometr´ıa I (EC-411-T)
21 de mayo de 2018
2. 2
Contenido
1 Introducci´on
2 Modelo de regresi´on lineal
Estimaci´on
Recta de regresi´on
Pron´ostico
Residuales y valor ajustado
Propiedades algebraicas de
los estimadores
3 Distribuci´on de los estimadores
Esperanza
Varianza covarianza
4 Estad´ısticos del modelo
Bondad de ajuste (R2)
Criterios de informaci´on
5 Supuestos: una introducci´on
elemental
6 Referencias
4. 4
Introducci´on
Seg´un Novales (2011, p.11), el objeto b´asico de la Econometr´ıa
consiste en especificar y estimar un modelo de relaci´on entre las
variables econ´omicas relativas a una determinada cuesti´on
conceptual.
Y = f(X1, X2, X3, ..., Xk : β) (1)
Donde Y es la variable que se pretende explicar, Xi son las
variables explicativas potencialmente relevantes y el vector de
par´ametros β recoge la magnitud en que las variaciones de Xi
afectan a Y .
Estas magnitudes se estudian a partir de informaci´on muestral,
que no necesariamente cuenta con las caracter´ısticas necesaria
para hacer inferencia (Soto, 2011, p.4.1).
5. 5
Introducci´on
El modelo de regresi´on es la herramienta fundamental de la
econometr´ıa (Greene, 2003, p.17), dado que permite estudiar la
relaci´on entre una variable dependiente (y) y otra independiente
(x).
Francis Galton acu˜n´o el t´ermino regresi´on en su estudio sobre la
estatura promedio de padres e hijos (Gujarati, 2009), no obstante,
el concepto ha evolucionado desde entonces.
6. 6
Introducci´on
Al enfoque moderno del an´alisis le interesa estudiar el cambio en y
dado una variaci´on en x. Verifique el diagrama de regresi´on que
muestra la distribuci´on de y dado valores fijos de x.
Fuente: tomado de Gujarati y Porter (2009, p.16).
7. 7
Introducci´on
Entonces, se verifica que la media condicional de y es una funci´on
de x, cuya forma funcional se deriva de los datos y la teor´ıa.
E[Y |Xi] = f(x) (2)
No obstante, los valores observados pueden fluctuar alrededor de la
media condicional de la siguiente manera:
ui = Yi − E[Y |Xi] (3)
Que al suponer una funci´on lineal y esperanza condicional cero en
el error, se obtiene la siguiente relaci´on:
E[Y |Xi] = β0 + βiXi + E[ui|Xi] = β0 + βiXi (4)
8. 8
Introducci´on
La forma gen´erica de la ecuaci´on de regresi´on para un conjunto
de observaciones en una muestra (yi, x1i, x2i, ...xki), i = 1, ..., n,
descompone el valor de y en una parte determinista (β0 + β1Xi) y
otra aleatoria (ui):
Yi = β0 + β1Xi + ui (5)
Donde yi es la variable dependiente −o explicada−; xi representa
la variable independiente; y ui, representa la perturbaci´on
aleatoria.
La ecuaci´on 5 considera: i) la relaci´on no exacta entre las
variables; ii) la forma funcional; y iii) la relaci´on cesteris paribus.
9. 9
Introducci´on
La presencia de ui −parte no sistem´atica de la regresi´on− indica
que la explicaci´on ofrecida en el modelo es parcial. Pudiendo
cambiar en el caso de que el error se observara y se pudiera incluir
expl´ıcitamente en el modelo (Davidson y MacKinnon, 2009, p.4).
Normalmente se asume que el error tiene media cero y se
distribuye iid.
11. 11
Estimaci´on: preliminares
El problema ahora es, utilizando una muestra aleatoria de tama˜no
n (xi, yi : i = 1, 2, 3, ..., n), c´omo obtenemos la funci´on de regresi´on
poblacional a partir de los estimadores de E[Y |Xi] y β, ˆY y ˆβi,
respectivamente.
Es decir, nuestro objetivo es estimar los par´ametros desconocidos
del modelo (Greene, 2003, p.8), por medio de una t´ecnica que
permita seleccionar estos par´ametros (β) que relacionan los
regresores (x) con la variable de inter´es (y) (Soto, 2011, p.4.2).
12. 12
M´ınimos Cuadrados Ordinarios (MCO)
Los estad´ıstico −que son cualquier funci´on T(x1, x2, ..., xn) −
que nos ayudan aprender sobre los par´ametros poblacionales del
modelo se llaman estimadores, sobre los que deseamos:
Insesgadez E[ˆθn] =θ. La distribuci´on del estimador este centrada
ˆθn alrededor de θ.
Eficiencia.
Consistencia.
La forma m´as utilizada para estimar estos par´ametros es la de
M´ınimos Cuadrados Ordinarios (MCO).
13. 13
M´ınimos Cuadrados Ordinarios (MCO)
Como los residuos ( ˆui = Yi − ˆYi) representan la diferencia entre los
valores observados (Y ) y los estimados ( ˆY ), interesa que esta sea
lo m´as peque˜na posible. Por lo que, se suele asumir el criterio de
minimizar la n
i=1 ui = n
i=1 Yi − ˆYi .
Fuente: tomado de Wooldridge (2009, p.31).
14. 14
M´ınimos Cuadrados Ordinarios (MCO)
No obstante, dada la interpretaci´on geom´etrica de la recta de
regresi´on, esta suma ser´a igual a cero sin importar la dispersi´on de
los datos. Por tanto, se utilizan los residuos al cuadrado como
criterio para determinar los par´ametros del modelo.
n
i=1
u2
i =
n
i=1
Yi − ˆYi
2
=
n
i=1
Yi − ˆβ0 − ˆβ1Xi
2
(6)
15. 15
M´ınimos Cuadrados Ordinarios (MCO)
Sea {(xi, yi) : i = 1, 2, ..., n} una muestra aleatoria de tama˜no n, la
suma de u2 se obtiene como:
m´ın
n
i=1
u2
i =
n
i=1
Yi − ˆβ0 − ˆβ1Xi
2
(7)
Derivando parcialmente respecto a los par´ametros:
∂
n
i=1
u2
i
∂β0
= −2 n
i=1 Yi − ˆβ0 − ˆβ1Xi
∂
n
i=1
u2
i
∂β1
= −2 n
i=1 Yi − ˆβ0 − ˆβ1Xi Xi
16. 16
M´ınimos Cuadrados Ordinarios (MCO)
Igualando a cero las derivadas anteriores:
∂ u2
i
∂β0
= −2 Yi − ˆβ0 − ˆβ1Xi = 0
Yi − nˆβ0 − ˆβ1 Xi = 0
ˆβ0 =
Yi
n − ˆβ1
Xi
n = ¯Y − ˆβ1
¯X
17. 17
M´ınimos Cuadrados Ordinarios (MCO)
∂ u2
i
∂β1
= −2 Yi − ˆβ0 − ˆβ1Xi Xi = 0
YiXi = ˆβ0 Xi + ˆβ1 X2
i
YiXi = ¯Y − ˆβ1
¯X Xi + ˆβ1 X2
i
YiXi = ¯Y Xi − ˆβ1
¯X Xi + ˆβ1 X2
i
ˆβ1 =
YiXi− ¯Y Xi
X2
i −n ¯X2 =
(xi− ¯X)(yi− ¯Y )
(xi− ¯X)
2
18. 18
M´ınimos Cuadrados Ordinarios (MCO)
n
i=1 xi − ¯X
2
= n
i=1 xi
2 − 2xi
¯X + ¯X2
= n
i=1 xi
2 − 2 ¯X n
i=1 xi + n ¯X2
= n
i=1 xi
2 − 2n ¯X2 + n ¯X2
= n
i=1 X2
i − n ¯X2
n
i=1 xi − ¯X yi − ¯Y = n
i=1 xiyi − xi
¯Y − ¯Xyi + ¯X ¯Y
= n
i=1 xiyi − ¯Y n
i=1 xi − ¯X n
i=1 yi + n ¯X ¯Y
= n
i=1 xiyi − ¯Y n
i=1 xi − n ¯X ¯Y + n ¯X ¯Y
= n
i=1 xiyi − ¯Y n
i=1 xi
19. 19
M´ınimos Cuadrados Ordinarios (MCO)
Los valores obtenidos mediante MCO, para ser un m´ınimo requiren
que la matriz de segundas derivadas sea positiva definida −todos
los determinantes de la matriz Hessiana son positivos−.
Yi = nˆβ0 + ˆβ1 Xi
YiXi = ˆβ0 Xi + ˆβ1 X2
i
H =
∂2 u2
∂β2
0
∂2 u2
∂β0∂β1
∂2 u2
∂β0∂β1
∂2 u2
∂β2
1
=
n Xi
Xi X2
i
20. 20
M´ınimos Cuadrados Ordinarios (MCO)
|H|1 = 2n > 0
|H|2 = n n
i=1 xi − n
i=1 xi
n
i=1 xi
= n n
i=1 x2
i − n¯xn¯x
= n n
i=1 x2
i − n2¯x2
= n n
i=1 x2
i − n¯x2 y como: n
i=1 x2
i − n¯x2 = n
i=1 xi − ¯X
2
(p.15)
= n n
i=1 xi − ¯X
2
21. 21
M´ınimos Cuadrados Ordinarios (MCO)
Ventajas
La funci´on objetivo (m´ın
n
i=1 u2
i ) es estrictamente convexa.
F´acil de calcular.
Conduce a un conjunto de inferencia bien establecido.
Presenta propiedades matem´aticas ´optimas.
Desventajas
Resultados sensibles a outliers.
La funci´on objetivo (m´ın
n
i=1 u2
i ) es sim´etrica, lo que indica que el
signo del residuo penaliza de igual forma cuando estos tienen igual
magnitud independientemente del signo.
22. 22
Ejemplo (i)
1 [Ejercicio 2.3 Wooldridge, 2009, p.61] En la tabla siguiente se presentan las
puntuaciones obtenidas en el examen de ingreso a la universidad en Estados
Unidos, ACT (American College Test), y en el GPA (promedio escolar) de
ocho estudiantes universitarios. El GPA est´a medido en una escala de cuatro
puntos y se ha redondeado a un d´ıgito despu´es del punto decimal. Estime
ACTi = ˆβ0 + ˆβ1GPAi + ui.
Estudiante GPA ACT
1 2.8 21
2 3.4 24
3 3.0 26
4 3.5 27
5 3.6 29
6 3.0 25
7 2.7 25
8 3.7 30
24. 24
Residuales y valor ajustado
Una vez estimados los par´ametros del modelo, se puede obtener la
linea de regresi´on E[yi|xi] = ˆβ0 + ˆβ1x.
Fuente: tomado de Wooldridge (2009, p.28).
25. 25
Valor ajustado (pron´ostico)
Dadas las estimaciones obtenidas, el valor ajustado (ˆyi) para yi,
cuando X = xi, a partir de la Funci´on de Regresi´on Muestral
(FRM) estimada, es:
ˆyi = ˆβ0 + ˆβ1xi (8)
Siendo el predictor MCO de y0 el valor predicho corresponde al
punto en la recta de regresi´on muestral cuando X = x0:
ˆy0 = b1 + b2x0 (9)
26. 26
Ejemplo (ii)
Continuando con el ejemplo anterior:
1 Obtenga el promedio condicional de ACT cuando GPA = 3.
2 Dibuje el gr´afico de dispersi´on y la recta de regresi´on.
27. 27
Residuales
Tambi´en, se puede obtener el residual de cada observaci´on y el
valor ajustado (ˆy −se lee Y gorro−) [¿Entiende la diferencia entre
el error y los residuales?].
Los residuales se obtienen a partir de la diferencia entre el valor
ajustado (ˆyi) y el valor observado (yi) de la variable dependiente.
Entonces, para cada observaci´on en la muestra habr´a un valor
ajustado (pron´ostico ˆyi) y un residual (ˆui).
ˆui = yi − ˆyi = yi − ˆβ0 − ˆβ1xi (10)
Para valores positivos de ˆui, la l´ınea de regresi´on predice para la
variable dependiente un valor inferior al yi observado. Si es
negativo sucede lo contrario.
28. 28
Ejemplo (iii)
Continuando con el ejemplo anterior:
1 Obtenga el valor ajustado del modelo (ˆyi).
2 Obtenga los residuales (ˆui).
3 Dibuje el gr´afico de dispersi´on que relaciona ˆui con xi.
4 Obtenga la cov(xi, ˆyi)
Estudiante ACT GPA ˆy = ˆβ0 + ˆβ1xi ˆui = yi − ˆy
1 21 2.8 23.54 -2.54
2 24 3.4 26.93 -2.93
3 26 3 24.67 1.33
4 27 3.5 27.50 -0.50
5 29 3.6 28.06 0.94
6 25 3 24.67 0.33
7 25 2.7 22.98 2.02
8 30 3.7 28.63 1.37
Sumatoria 207 27.5 207 7.10543E-15
29. 29
La varianza de los residuos
La varianza de los residuos, tambi´en conocida como varianza del
modelo de regresi´on, se obtiene a partir de:
var(ui) = σ2
= E[ui − E(ui)]2
(11)
Si asumimos que E(ui) = 0 (C.P.O), siendo k el n´umero de
par´ametros a estimar en el modelo y n el n´umero de observaciones,
se puede aproximar la varianza maestral como:
ˆσ2
=
ˆu2
i
n − k
(12)
30. 30
Ejemplo (iv)
Continuando con el ejemplo de clases:
1 Obtenga la varianza y desviaci´on del modelo.
ˆσ2
ˆu =
ˆu2
i
n − k
=
24,0
8 − 2
= 4,005670312 (13)
σˆu = ˆσ2
ˆu =
ˆu2
i
n − k
= 2,001417076 (14)
31. 31
Propiedades algebraicas de los estimadores
La suma, por tanto, el promedio muestral de los estimadores, es
igual a cero n
i=1 ˆui = n
i=1 Yi − ˆYi
2
= 0 −esto viene derivado
de la CPO−, adem´as, implica que n
i=1 yi = n
i=1 ˆyi, que al
dividir entre n implica que ambas medias son iguales.
Si dividimos n
i=1 ˆui = 0 entre n, entonces ¯ui = 0
La covarianza muestral entre los regresores y los residuales de
MCO es cero n
i=1 xi ˆui = 0.
El punto (¯x, ¯y) se encuentra siempre sobre la l´ınea de regresi´on.
n
i=1 ˆyi ˆui = n
i=1 (ˆβ0 + ˆβ1xi)ˆui = ˆβ0
n
i=1 ˆui + ˆβ1
n
i=1 ˆuixi = 0
33. 33
Valor esperado e insesgamiento
Podemos expresar los coeficientes estimados (ˆβi) en funci´on de los
par´ametros poblacionales:
ˆβ1 =
xi − ¯X yi − ¯Y
xi − ¯X
2 =
xi − ¯X yi
xi − ¯X
2 (15)
La igualdad en el numerador se puede demostrar num´ericamente
dado los vectores x = (8, 3, 2, 1) y y = (9, 4, 1, 2),
xi − ¯X yi − ¯Y = (22.5,0,4.5,5) = 32, mientras que
xi − ¯X yi = (40.5,-2,-1.5,-5) = 32.
34. 34
Valor esperado e insesgamiento
Asumiendo c =
(xi− ¯X)
(xi− ¯X)
2 , con las siguientes propiedades:
c = 0
c2 =
(xi− ¯X)
2
(xi− ¯X)
2
2 = 1
(xi− ¯X)
2
cixi =
(xi− ¯X)xi
(xi− ¯X)
2 = 1
Ahora:
ˆβ1 = ciyi = ci (β0 + β1Xi + ui) = β0 ci + β1 ciXi + ciui
ˆβ1 = β1 + ciui
35. 35
Valor esperado e insesgamiento
Ahora, tomando esperanzas (dado que las regresoras no son
estoc´asticas, tampoco ci lo son):
E ˆβ1 = β1 +
n
i=1
ciE [ui] = β1 (16)
36. 36
Varianza de los estimadores
El car´acter de estimadores (funciones mu´estrales) hace que la
precisi´on pueda variar de una muestra a otra, por tanto, se
necesita una medida de precisi´on de los estimadores.
Esta medida se conoce como el error est´andar (Gujarati y Porter,
2009, p.73).
V ar(ˆβ0) =
n
i=1 X2σ2
n n
i=1 (xi − ¯x)2
(17)
V ar(ˆβ1) =
σ2
n
i=1 (xi − ¯x)2
(18)
Siendo σ2, al no ser observado, estimado por ˆσ2 =
ˆu2
i
n−k .
37. 37
Varianza de los estimadores*
var ˆβ = E ˆβ − E[ˆβ] ˆβ − E[ˆβ]
T
var ˆβ = E ˆβ − β ˆβ − β
T
Entonces, como ˆβ = (X X)−1
X Y =(X X)−1
X (Xβ + u)
=(X X)−1
X Xβ + (X X)−1
X u, siendo AA−1
= I,
ˆβ − β = (X X)−1
X u.
var ˆβ = E (X X)−1
X u (X X)−1
X u
Sabiendo que (ABC) = C B C :
var ˆβ = E (X X)−1
X uu (X ) (X X)−1
38. 38
Varianza de los estimadores*
Adicionalmente, como (A ) = A y como (A−1) = (A )−1
:
(X X)−1
= (X X)
−1
, por lo que la expresi´on
(X X) = (X X) ((A B) = B A).
var ˆβ = E (X X)−1
X uu X(X X)−1
Tomo esperanza sobre los residuos, y dado se consideran las
regresoras como no estoc´asticas:
var ˆβ = (X X)−1
X E [uu ] X(X X)−1
39. 39
Varianza de los estimadores*
La esperanza E [uu ], al ser las covarianzas igual a cero
E[uiuj = 0] ∀i = j:
E
u1
u2
un
u1 u2 un
= E
u1u1 u1u2 u1un
u2u1 u2u2 u2un
unu1 unu2 unun
=
E[u1u1] E[u1u2] E[u1un]
E[u2u1] E[u2u2] E[u2un]
E[unu1] E[unu2] E[unun]
var ˆβ = (X X)−1
X Iσ2X(X X)−1
Suponiendo todas las varianzas iguales E[uiuj] = σ2
u ∀i = j, se
puede expresar: E [uu ] = Iσ2
u
var ˆβ = σ2(X X)−1
X X(X X)−1
var ˆβ = σ2(X X)−1
40. 40
Varianza de los estimadores*
(X X)−1
=
n n
i=1 X
n
i=1 X n
i=1 X2
−1
(X X)−1
= 1
n
n
i=1
(xi−x)2
n
i=1 X2 − n
i=1 X
− n
i=1 X n
var ˆβ = σ2
n
i=1
X2
n
n
i=1
(xi−x)2
−
n
i=1
X
n
n
i=1
(xi−x)2
−
n
i=1
X
n
n
i=1
(xi−x)2
n
n
n
i=1
(xi−x)2
var ˆβ =
σ2 n
i=1
X2
n
n
i=1
(xi−x)2
−Xσ2
n
i=1
(xi−x)2
−Xσ2
n
i=1
(xi−x)2
σ2
n
i=1
(xi−x)2
(19)
41. 41
Ejemplo (v)
Continuando con el ejemplo de clases:
1 Obtenga la matriz de varianzas-covarianzas de los estimadores.
V ar(ˆβ0) =
n
i=1 X2σ2
N n
i=1 (xi − ¯x)2
=
83,59 ∗ 4,0057
8 ∗ 1,0288
= 6,3784 (20)
V ar(ˆβ1) =
σ2
n
i=1 (xi − ¯x)2
=
4,0057
1,0288
= 1,97325 (21)
cov(β) =
−Xσ2
n
i=1 (xi − x)2 =
−3,2125 ∗ 4,0057
1,0288
= −12,5086 (22)
43. 43
Bondad de ajuste
Escribiendo cada y como su valor ajustado m´as su residual, se
obtiene:
yi = ˆyi + ˆui (23)
Restando ¯yi (¯yi = ¯ˆyi) en ambos lados, elevando al cuadrado y
sumando las n observaciones:
y − ¯y = ˆy − ¯ˆy + ˆu
(y − ¯y)2
= ˆy − ¯ˆy + ˆu
2
= ˆy − ¯ˆy
2
+ ˆu2 + 2 ˆy − ¯ˆy ˆu
(y − ¯y)2
= ˆy − ¯ˆy
2
+ ˆu2 + 2 ˆy − ¯ˆy ˆu
(y − ¯y)2
= ˆy − ¯ˆy
2
+ ˆu2
44. 44
Bondad de ajuste
Se observa que las desviaciones de una variable aleatoria alrededor
de su media, se puede descomponer en:
n
i=1
(Yi − Y )
2
=
n
i=1
( ˆYi − Y )
2
+
n
i=1
(Yi − ˆYi)
2
(24)
Donde (yi − yi)2
es la STC; (ˆyi − yi)2
es la SEC; y (ˆyi − yi)2
se
conoce como SRC.
De aqu´ı se obtiene la proporci´on de la variaci´on muestral de y que
es explicada por x (R − cuadrado [0 ≤ R2 ≤ 1]):
R2
=
SEC
STC
= 1 −
SRC
STC
(25)
45. 45
Bondad de ajuste
Seg´un Gujarati y porter, el R2 indica qu´e tan bien est´an ajustados
los resultados a los datos. Este mide la proporci´on o el porcentaje
de variaci´on total en Y, explicada por el modelo de regresi´on
(mide la magnitud de la parte sistem´atica del modelo).
Fuente: tomado de Gujarati y Porter (2009, p.75).
47. 47
Criterios de informaci´on
El Criterio de Informaci´on Akaike (Akaike’s Information Criterion,
AIC) y el Criterio de Informaci´on Beyesiana (Bayesian information
criterion, BIC), son:
AIC = ln σ2
u + 2
k
T
(27)
BIC = ln σ2
u +
k
T
ln T (28)
49. 49
Supuestos
Insesgado: supuestos del modelo lineal cl´asico (MLC).
1 Linealidad en los par´ametros.
2 Muestreo aleatorio.
3 Variabilidad de las x en la muestra.
4 E[u|xi] = E[u].
5 Cov(u, x) = E[ux] = 0.
Inferencia
1 Normalidad en los residuos H0 : ui ∼ N(0, σy) .
2 Homoced´asticidad (σ[u|x] = σ2
).
3 No multicolinealidad. Matriz X de rango completo.
4 No autorrelaci´on del error.
51. 51
Referencias
1 Davidson, Russell and MacKinnon, Jame (1999) Econometric Theory and
Methods.
2 Greene, W. (2008). Econometric Analysis, Prentice Hall, 6th. Edici´on.
3 Gujarati, Damodar. and Porter, Dawm (2009). Introducci´on a la Econometr´ıa.
5th. Ed.
4 Hill, C; Griffinths, W and Lim, G. (2011). Principle of Econometric. United
States of America. Foruth edition.
5 Novales, A. (2011). An´alisis de Regresi´on. Departamento de Econom´ıa
Cunatitativa. Universidad Complutense de Madrid.
6 Rau, Tomas (2011).Teor´ıa econom´etrica I. Pontificia Universidad Cat´olica de
Chile.
7 Wooldridge, J. (2009). Introducci´on a la Econometr´ıa: un enfoque moderno.
4ta. ed. Michigan State University. Cengage Learning