Este documento presenta los conceptos clave de la regresión lineal, incluyendo la descomposición de una variable aleatoria en una parte explicada y otra no explicada, el modelo de regresión lineal y sus propiedades, y cómo estimar los efectos marginales de distintas formas funcionales. También cubre temas como la bondad de ajuste, inferencia estadística y pruebas de hipótesis usando el modelo de regresión lineal.

1. 1
Clase 9. Esperanza condicional y modelo de regresi´on
lineal
Nerys Ram´ırez Mord´an
Pontificia Universidad Cat´olica Madre y Maestra
Econometr´ıa II (EC-411-T)
4 de septiembre de 2018

2. 2
Contenido
1 Introducci´on
Media condicional y repaso
estad´ıstico
Independencia y momentos
de una v.a.
2 Regresi´on y esperanza
condicional
Descomposici´on de una
variable aleatoria
Modelo de Regresi´on Lineal
Regresi´on particionada
Efecto causal
Momentos del estimador
Bootstrap
3 Efectos marginales de formas
funcionales
Dummys
Interacciones
Elasticidades
4 Bondad de ajuste
Coeficiente de determinaci´on
5 Inferencia
6 Referencias

3. 3
Introducci´on

4. 4
Introducci´on
Suponiendo una distribuci´on aleatoria entre grupos
(tratamiento y control), se verifican cuales momentos
poblacionales pudiesen ayudar a medir un efecto causal de
inter´es.
Este momento se conoce como la esperanza condicional de una
variable aleatoria. Siendo, el modelo de regresi´on la mejor
aproximaci´on lineal a la esperanza condicional (Elejalde, nd).

5. 5
Regresi´on y esperanza condicional

6. 6
Repaso estad´ıstico
Poblaci´on: colecci´on de todos los elementos de inter´es.
Variable aleatoria (Y ): resumen num´erico de un resultado
aleatorio, que se puede caracterizar mediante la funci´on de
probabilidad Pr(y = k) que la caracteriza por medio de los
momentos.
Esperanza o media poblaacional: µ = E[Y ] = n
i=1 ki Pr[Y = ki]
Varianza: σ2 = V ar(Y ) = E[(Y − E[Y ])2]
Momentos parciales de orden inferior
SV ar(X) = E m´ın(X − E X], 0)2] (Novales, 2016, p.13).
Funci´on de probabilidad condicionada Pr[Y |X = x0].

7. 7
Esperanza condicional
Dado una variable a explicar (y) y un vector de variables
aleatorias X = (x1, x2, ..., xk), la media condicional de la variable
dependiente (y), es su media poblacional manteniendo fija las x’s.
Caso discreto:
E [y|x = xi] =
n
i=1
k Pr[Y = k|x = xi] (1)
Caso continuo:
E [y|x = xi] = k·fy|x (k|xi) dk (2)

8. 8
Funci´on de esperanza condicional
Asumiendo la base de datos siguiente:
obs Urbana mujer salario
1 0 1 8
2 1 0 21
3 1 0 17
4 0 0 13
n 1 1 15
Podemos obtener la funci´on de esperanza condicional e incondicional a partir de las
esperanzas condicionales (ley de esperanzas iteradas):
[E [Y |X]] = E [Y ] = E [E (w|urb = 1) Pr[urb = 1] + E [w|urb = 0] Pr[urb = 0]]
E[salario|urbana] Pr
Urbana = 1 17.667 0.6
Urbana = 0 10.5 0.4
E [E [Y |X]] 14.80
E [Y ] 14.80

9. 9
Funci´on de esperanza condicional
Gr´afico 1. Relaci´on gastos e ingresos
Fuente: Gujarati y Porter, 2009.

10. 10
Repaso estad´ıstico
Y ⊥⊥ X (independientes), si Pr[Y |X] = Pr[Y ], siendo equivalente a
Pr[X, Y ] = Pr[X] Pr[Y ].
Independencia en media E [Y |X] = E [y], por lo que, la recta de
regresi´on es plana.
Independencia en media implica ausencia de correlaci´on,
covarianzas nulas:
σx,y = Cov(x, y) = E [(Y − E(Y )) (X − E(X))] = 0 (3)

11. 11
Descomposici´on de una variable aleatoria
Siempre es posible descomponer la variable aleatoria en una parte
que depende de X y otra que no:
yi = E [yi|xi] + ui (4)
La varianza de la variable aleatoria se puede descomponer en una
parte sistem´atica y otra idiosincr´atica:
V ar (Y ) = V ar (E [yi|xi]) + E u2
(5)
V ar(u|x) = E E u2|x , por lo que, utilizando LEI (= E(u2)).

12. 12
Modelo de Regresi´on Lineal
El mejor predictor lineal es la funci´on (f(y|x) = x β) que minimiza
el error cuadr´atico medio de predicci´on entre las funciones lineales
en x.
β = m´ın
b
E Y − X b
2
= m´ın
b
E Y − ˆY
2
(6)

13. 13
Modelo de Regresi´on Lineal
En el modelo de regresi´on lineal:
∂E (Y − X b)2
∂b
= 2E X Y − X b = 0 (7)
b = E XX
−1
E (XY ) (8)

14. 14
Modelo de Regresi´on Lineal
Cuando X = (1, x1), entonces f(y|x) = β0 + β1x1, asumiendo una
relaci´on lineal entre las variables y teniendo como resultado:
β1 =
Cov (x1, y)
V ar (x1)
(9)
β0 = E [y] − β1E [x] (10)
Utilizando la posibilidad de descomponer la variable aleatoria, la
dependiente se puede descomponer en una parte explicada por x y
otra no:
y = x β + u (11)

15. 15
Modelo de Regresi´on Lineal
De aqu´ı se deduce que el valor predicho de y, como (que coincide
con la recta de regresi´on):
ˆy = f(y|x) = x β (12)
Propiedad: E(ˆyu) = 0.
Los residuales del modelo se estiman a partir de la diferencia entre
el valor predicho de y (ˆy) y el observado (observe tenemos un
residual por cada observaci´on).
ˆui = yi − ˆyi = yi − β0 + β1x1 (13)

16. 16
Regresi´on particionada
Cuando X = (1, x1, x2, ...xk), el modelo de regresi´on m´ultiple es:
y = β0 + β1x1 + β2x2 + βjxj + ... + βkxk + u (14)
Como βj representa el efecto parcial de xj, se puede recuperar el
efecto parcial de xj (βj) a partir de la regresi´on simple de y y el
residuo de la regresi´on auxiliar de xj sobre el resto de variables
independientes (ˆuaux
xj
).
βj =
Cov ˆuaux
xj
, y
V ar ˆuaux
xj
(15)
Donde:
xj = α0 + α1x1 + α2x2 + αkxk + uaux
xj
(16)

17. 17
Efecto causal
Por tanto, el estimador (funci´on de las variables muestrales) βj
mide del efecto causal de xj una vez controlado el efecto del
resto de variables explicativas.
No obstante, para obtener el efecto causal necesitamos que
E[u|x] = 0, referido a la inexistencia de diferencias sistem´aticas
entre los factores no observables que puedan afectar la variable
independiente.
Se comparan observaciones con variables observables similares,
pero con distintos valores de xj (asignaci´on aleatoria condicional
en observables).

18. 18
Efecto causal
Ecuaci´on sobre el precio de las viviendas
Dada la pregunta de inter´es sobre el efecto de incrementar el
tama˜no de las casas sobre su precio, siendo ui los factores
adicionales a las variables explicativas que influyen sobre el precio.
pricei = β0 + β1sqrfti + β2bdrmsi + ui
La intuici´on es hacer casas de distintos tama˜nos comparables, al
controlar por variables observables (asignaci´on aleatoria
condicional).
Obtener β1 requiere que E [ui|sqrfti] = 0, lo que permite dar una
interpretaci´on causal a la esperanza condicional.

19. 19
Momentos de estimador
La distribuci´on del estimador se puede derivar de forma anal´ıtica:
ˆβj ∼ N

βj,
ˆσ2
u
xj − ¯xj 1 − R2
aux,xj

 (17)

20. 20
Bootstrap
Propuesta por Efron (1979), basada en el remuestreo de muestras
(x1, x2, . . . , xN ), mediante muestreo aleatorio con reemplazo.
Posteriormente, se utiliza la distribuci´on emp´ırica de los
estad´ıstico para construir intervalos de confianza a partir de la
estimaci´on num´erica de los momentos:
Se realizan los c´alculos para una sub-muestra con reemplazo.
Se obtiene la distribuci´on emp´ırica y se realiza inferencia.
Estimador de la media
Considere la muestra x1, x2, . . . , x1,000 y tomamos m sub-muestras
sobre la cual se obtiene el estad´ıstico de inter´es (¯x = 1
n
n
i=1 xi) y se
guarda este valor (ˆ¯x1, ˆ¯x2, ˆ¯xm), para obtener la distribuci´on emp´ırica.

21. 21
Bootstrap
Considere el modelo de inter´es, de donde se desea obtener ˆθ a
partir de alg´un m´etodo de estimaci´on (mco, mle, gmm...), con el
prop´osito de realizar inferencia:
yi = f(xi, θ, ui)
Se toma una sub muestra de las variables (x1
1, x1
2, ...x1
n:y1
1, y1
2, ...y1
n),
y se obtiene ˆθ1
mco del modelo. Luego, se genera una distribuci´on
emp´ırica a partir de la funci´on g(ˆθ).

22. 22
Efectos marginales de formas funcionales

23. 23
Efecto margial
Dado el modelo E[y|x1, x2, ...xk], el efecto marginal derivado de
cambios en xj se puede aproximar, para el caso de variables
continuas, a partir de:
∆E (y|x) ≈
∂E (y|x)
∂Xj
∆xj (18)
En el caso binario:
∆E (y|x) = E (y|xj = 1, Xi) − E (y|xj = 0, Xi) ∀i = j (19)

24. 24
Efecto margial
Lineal: E (y|x1, xj) = β0 + β1x1 + βjxj:
∂E (y|x)
∂xj
= βj ⇒ ∆E (y|x) = βj∆xj (20)
Cuadr´atico: E (y|x1, xj) = β0 + β1x1 + βjxj + βj1x2
j :
∂E (y|x)
∂xj
= βj + 2βj1xj ⇒ ∆E (y|x) ≈ (βj + 2βj1xj) ∆xj (21)
Interacciones: E (y|x1, xj) = β0 + β1x1 + βjxj + βj1x1xj:
∂E (y|x)
∂xj
= βj + βj1x1 ⇒ ∆E (y|x) ≈ (βj + βj1x1) ∆xj (22)

25. 25
Efecto margial
Nivel-Log: E (y|x1, xj) = β0 + β1x1 + βj log xj:
∂E (y|x)
∂xj
= βj
1
xj
⇒ ∆E (y|x) ≈ βj
∆xj
xj
(23)
∆E (y|x) =
βj
100
∆xj
xj
· 100
Un cambio en xj en un 1 % est´a asociado a un cambio en la media
condicionada de y, de
βj
100.

26. 26
Efecto margial
Log-Nivel: log E (y|x1, xj) = β0 + β1x1 + βjxj ⇐⇒
E (y|x1, xj) = exp (β0 + β1x1 + βjxj):
∂E (y|x)
∂xj
= E (y|x) βj ⇒ ∆E (y|x) ≈ E (y|x) βj∆xj (24)
∆E (y|x)
E (y|x)
· 100 ≈ (βj · 100) ∆xj
Un cambio en xj en una unidad est´a asociado a un cambio en la
media condicionada de y, de βj · 100 % .

27. 27
Efecto margial
Log-Log: log E (y|x1, xj) = β0 + β1x1 + βj log xj ⇐⇒
E (y|x1, xj) = exp (β0 + β1x1 + βj log xj):
∂E (y|x)
∂xj
=
E (y|x)
xj
βj ⇒ ∆E (y|x) ≈
E (y|x)
xj
βj∆xj (25)
∆E (y|x)
E (y|x)
· 100 ≈ βj
∆xj
xj
· 100
Un cambio en xj en un 1 % est´a asociado a un cambio en la media
condicionada de y, de βj % .

28. 28
Bondad de ajuste

29. 29
Coeficiente de determinaci´on
Siempre que dispongamos de una constante en el modelo, podemos
descomponer la varianza de una variable aleatoria, como:
V ar (Y ) = V ar (E [yi|xi]) + E u2
(26)
Se aqu´ı se puede obtener el coeficiente de determinaci´on:
R2
= 1 −
E u2
V ar (Y )
=
V ar (E [yi|xi]
E (u2)
(27)

30. 30
Inferencia

31. 31
Contraste de restricci´on lineal
Utilizando la propiedad de consistencia Plimˆβ = β y la
distribuci´on asint´otica normal se obtiene la distribuci´on del
estimador.
Teniendo por h0 : βj = βjh0 y ha : βj = βjh0 , se puede construir el
estad´ıstico de prueba y establecer la regla de rechazo alrededor de
esta variable.
tˆβj
=
ˆβj − βjh0
ee ˆβj
(28)

32. 32
Contraste de restricci´on lineal
El tama˜no del test es la probabilidad del error tipo I (rechazar H0
cuando esta es verdadera):
l´ım Pr[RechazarH0|H0cierta] = l´ım
n−∞
Pr[Tc
> Tt
|H0] = α
El valor cr´ıtico cα (= tt) depende del tama˜no del test seleccionado.
La regla de decisi´on es: si Tc > Tt, rechazamos H0.

33. 33
Ecuaci´on sobre el precio de las viviendas
Dada la ecuaci´on sobre el precio de las viviendas.
pricei = β0 + β1sqrfti + β2bdrmsi + ui
H0: βbdrms = 0 indica que el tama˜no de las casas no tiene efecto
sobre el precio de las viviendas, una vez controlado el resto de
variables incluidas en el modelo.
Ha: βbdrms = 0 indica que el tama˜no de las casas tiene efecto sobre
el precio de las viviendas.
Pero interesar´ıa testear Ha: βbdrms > 0, por ende, en muchos casos
enfrentamos la alternativa de una cola.

34. 34
P-valor
El p-valor se define como el nivel de significatividad marginal
(mayor nivel de al que se rechaza h0):
P − valor = Pr[Tt
> Tc
] = 2 (1 − φ (|tc
|))

35. 35
Intervalo de confianza
Una consideraci´on m´as amplia de la estimaci´on puntual de βj (ˆβj)
es un intervalo de confianza que contiene a βj con cierta
probabilidad (Elejalde, nd):
l´ım
n−∞
Pr[ˆβj − c∞s.e. ˆβj < βj < ˆβj + c∞s.e. ˆβj ] = 1 − α

36. 36
Restricciones de exclusi´on
Permite testear si un conjunto de variables tiene o no efecto sobre
y.
H0 : βk−q+1 = βk−q+2 = ... = βk = 0
Siendo el estad´ıstico de contraste:
F =
(SRCr − SRCnr) /q
SRCnr/ (n − k)
(29)

37. 37
Referencias

38. 38
Bibliograf´ıa
1 Elejalde, Ramiro (nd). Esperanza Condicional y Modelo Lineal de Regresi´on.
Universidad Alberto Hurtado.
2 ————– (nd). Modelo Lineal de Regresi´on: Inferencia por MCO. Universidad
Alberto Hurtado.
3 Gujarati y Carter (2009). Econometr´ıa.
4 Novales, Alfonso (2016). Modelo de regresi´on. Universidad complutense de
Madrid.
5 Uriel, E. (2013). Contraste de hip´otesis en el modelo de regresi´on m´ultiple.
Universidad de Valencia. Descargar.
6 Wooldridge, J. (2009). Introducci´on a la econometr´ıa: un enfoque moderno. .