Este documento discute conceitos fundamentais de regressão linear, incluindo estimação, testes de hipóteses e propriedades. Aborda tópicos como estimadores de mínimos quadrados ordinários, precisão desses estimadores, o coeficiente de determinação R2, hipóteses do modelo de regressão linear clássico e normal, e propriedades estatísticas dos estimadores sob a hipótese da normalidade.

1. Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá Análise de Regressão:
Precisão e
propriedades
Estimação, testes e propriedades
Coeciente
de
determinação
Modelo
Rodrigo de Sá
Normal
Teste de
hipótese
Fundação de Economia e Estatística, 2011

2. Livro texto
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades Damodar Gujarati
Coeciente Econometria Básica
de
determinação 3ª ed. 2005.
Modelo
Normal
Teste de
hipótese

3. Precisão
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Sabemos que os nossos estimadores de MQO irão mudar
Precisão e
propriedades conforme a amostra.
Coeciente
de Por isso, precisamos de uma medida de PRECISÃO desses
determinação estimadores.
Modelo
Normal A medida de precisão utilizada é o ERRO-PADRÃO.
Teste de
hipótese

4. Erros-padrão dos estimadores de MQO
Análise de
Regressão:
Estimação,
testes e
propriedades Fórmulas explícitas dos erros-padrão dos estimadores
Rodrigo de
Sá σ
se β1
ˆ =
Precisão e
propriedades
xi2
Coeciente
de
determinação se β0
ˆ = σ
Xi2
Modelo
n xi2
Normal
Teste de
hipótese Estimador da variância dos resíduos
σ2 =
ˆ
ui
ˆ
n−2

5. Propriedades dos erros-padrão
Análise de
Regressão:
Estimação,
testes e
propriedades
O erro-padrão do β1 é diretamente proporcional a σ e
ˆ
Rodrigo de
Sá inversamente proporcional a xi2 .
Precisão e Quanto maior a variabilidade da variável explicativa Xi
propriedades maior será a precisão do nosso estimador!
Coeciente Precisamos que a nossa amostra seja tão variada quanto
de
determinação possível.
Modelo
Normal O erro-padrão do β0 é diretamente proporcional a σ e
ˆ
Teste de Xi2 e inversamente proporcional a xi2 e a n.
hipótese
Se o coeciente angular é superestimado o intercepto será
subestimado.

6. Melhor estimador linear não viesado (MELNV)
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá Dadas as suposições do modelo clássico de regressão
linear, dizemos que os estimadores de MQO β0 e β1 são
ˆ ˆ
Precisão e
propriedades MELNV, isto é:
Coeciente São lineares;
de
determinação São não viesados, ou seja, sua média ou valor esperado é
Modelo
Normal igual ao valor verdadeiro, E β i = βi ;
ˆ
Teste de Eles apresentam a menor variância dentro da classe de
hipótese todos os estimadores lineares não viesados.

7. Melhor estimador linear não viesado (MELNV)
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Comparação das distribuições de um estimador de MQO e de
outro estimador

8. Melhor estimador linear não viesado (MELNV)
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Distribuição de três estimadores

9. O coeciente de determinação (r 2 )
Análise de
Regressão:
Estimação,
Até aqui nos ocupamos de estimar os coecientes de
testes e
propriedades
regressão, seus erros-padrão e algumas das suas
Rodrigo de
propriedades.
Sá
Mas também temos que analisar o GRAU DE AJUSTE a
Precisão e um conjunto de dados da reta de regressão ajustada
propriedades
(estimada).
Coeciente
de
determinação
Os Yi observados não cam todos sobre a reta de
Modelo regressão; temos erros positivos e negativos.
Normal
O que esperamos é que esses resíduos sejam tão pequenos
Teste de
hipótese quanto possíveis.
O COEFICIENTE DE DETERMINAÇÃO r 2 (duas
variáveis) ou R 2 (regressão múltipla) é uma medida
sintética que diz quão bem a reta de regressão da amostra
se ajusta aos dados.

10. Visualização do r 2
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Representação das variações de Y e X

11. Derivação do r 2
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de Yi = Yi + ui
ˆ ˆ
Sá
yi = yi + ui
ˆ ˆ
Precisão e
propriedades yi2 = yi2 + ui2 + 2yi ui
ˆ ˆ ˆˆ
Coeciente
de yi2 = yi + ui2 + 2
ˆ 2
ˆ yi ui
ˆˆ
determinação i i i i
Modelo
Normal yi
2
= yi
ˆ2
+ ui
ˆ2
Teste de i i i
hipótese
SQT = SQE + SQR
r2 =
SQE
SQT

12. Componentes da variação do Yi
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Divisão da variação do Yi em dois componentes

13. Derivação do r 2
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
r2 =
SQE
Precisão e
propriedades
SQT
2
Coeciente Yi − Y
ˆ
de
determinação r2 =
Modelo Yi − Y 2
Normal
Teste de r2 = ˆ2
β1
xi2
hipótese yi2

14. Propriedades do r 2
Análise de
Regressão:
Estimação,
testes e
propriedades
É uma quantidade não negativa.
0 ≥ r 2 ≥ 1.
Rodrigo de
Sá
Precisão e r 2 = 1 signica um ajuste perfeito, isto é, Yi = Yi para
ˆ
propriedades
todo i .
Coeciente
de
determinação
r 2 = 0 signica não há nenhuma relação entre a variável
Modelo
independente e a variável explicativa.
Normal
β1 = 0 =⇒ Yi = β0 = Y .
ˆ ˆ ˆ
Teste de
hipótese A melhor previsão para qualquer valor de Y é
simplesmente sua média (incondicional).
A reta de regressão será horizontal ao eixo X.

15. Coeciente de correlação (r )
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Padrões do correlação

16. Propriedades do r
Análise de
Regressão: Pode ser positivo ou negativo, com o sinal dependendo da
Estimação,
testes e covariância.
propriedades
−1 ≥ r ≥ 1.
Rodrigo de
Sá É simétrico por natureza: rXY = rYX .
Precisão e
propriedades
É independente da origem e da escala.
Coeciente Se X e Y são ESTATISTICAMENTE INDEPENDENTES,
de
determinação o coeciente de correlação entre eles é igual a zero
Modelo (r = 0)...
...Mas r = 0 não implica que duas variáveis sejam
Normal
Teste de
hipótese independentes.
É uma MEDIDA DE ASSOCIAÇÃO LINEAR ou
DEPENDÊNCIA LINEAR apenas. (Se
Y = X 2 =⇒ rYX = 0)
Não implica qualquer relação de causa e efeito.

17. Modelo clássico de regressão linear (MCRL)
Análise de
Regressão:
Estimação,
testes e
propriedades Vimos anteriormente que, dadas as 10 hipóteses clássicas
Rodrigo de do modelo de regressão linear, os estimadores de MQO são
Sá
MELNV, isto é, são não viesados e têm variância mínima.
Precisão e
propriedades Quais eram as hipóteses sobre os resíduos?
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese

18. Modelo clássico de regressão linear (MCRL)
Análise de
Regressão:
Estimação,
testes e
propriedades Vimos anteriormente que, dadas as 10 hipóteses clássicas
Rodrigo de do modelo de regressão linear, os estimadores de MQO são
Sá
MELNV, isto é, são não viesados e têm variância mínima.
Precisão e
propriedades Quais eram as hipóteses sobre os resíduos?
Coeciente
de
determinação Dentre essas hipóteses, as relativas ao resíduos eram:
Modelo expectativa zero; não correlacionados; variância constante.
Normal
Teste de
hipótese

19. Modelo clássico de regressão linear (MCRL)
Análise de
Regressão:
Estimação,
testes e
propriedades Vimos anteriormente que, dadas as 10 hipóteses clássicas
Rodrigo de do modelo de regressão linear, os estimadores de MQO são
Sá
MELNV, isto é, são não viesados e têm variância mínima.
Precisão e
propriedades Quais eram as hipóteses sobre os resíduos?
Coeciente
de
determinação Dentre essas hipóteses, as relativas ao resíduos eram:
Modelo expectativa zero; não correlacionados; variância constante.
Normal
Teste de
hipótese Não havia nenhuma hipótese sobre a distribuição dos
resíduos.
Hipóteses corroboravam a estimação de ponto.

20. Modelo clássico de regressão linear normal (MCRLN)
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Porém, podemos estar interessados em um intervalo para
Precisão e as estimativas dos βi .
ˆ
propriedades
Coeciente Intervalos para o estimador possibilitam testes de
de hipóteses.
determinação
Modelo
Normal
Precisamos especicar a distribuição de probabilidade das
Teste de
perturbações ui .
hipótese

21. A hipótese da normalidade
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
A REGRESSÃO LINEAR NORMAL CLÁSSICA supõe que
Sá cada ui se distribua NORMALMENTE, com
Precisão e média E (ui ) = 0
propriedades
variância E ui
2 = σ2
Coeciente
de covariância: E (ui , uj ) = 0, i = j .
determinação
Modelo De maneira concisa, ui ∼ N 0, σ 2 .
Normal
OBS.: Como para quaisquer duas variáveis distribuídas
Teste de
hipótese normalmente covariância igual a zero implica
independência, então ui ∼ NID 0, σ 2 .

22. Por que a hipótese da normalidade?
Análise de
Regressão: Uma das possíveis explicações dos resíduos ui é que eles
Estimação, representam a inuência combinada (na variável dependente) de
testes e
propriedades um grande número de variáveis independentes que não são
Rodrigo de explicitamente introduzidas no modelo de regressão.
Sá
Esperamos que a inuência dessas variáveis seja pequena e
Precisão e aleatória.
propriedades
Pelo TEOREMA DO LIMITE CENTRAL, com algumas
Coeciente
de restrições, a soma de variáveis aleatórias se distribui
determinação
normalmente.
Modelo
Normal A hipótese da normalidade dos resíduos facilita os cálculos,
Teste de pois a soma de variáveis distribuídas normalmente tem
hipótese
distribuição normal.
A distribuição normal é uma distribuição simples, com apenas
dois parâmetros (média e variância), e amplamente estudada.
O estimador de MQO sob normalidade coincide com o
estimador de MÁXIMA VEROSSIMILHANÇA.

23. Propriedades dos estimadores de MQO sob
normalidade
Análise de
Regressão:
Estimação,
testes e Com a hipótese da normalidade, os estimadores de MQO
propriedades
Rodrigo de
β0 , β1 , σ 2 apresentam as seguintes propriedades estatísticas:
ˆ ˆ ˆ
Sá
Precisão e São não viesados. (*)
propriedades
Coeciente Tem variância mínima. (*)
de
determinação estimadores não viesados com variância mínima são ditos
Modelo estimadores ecientes.
Normal
Teste de Consistência, isto é, conforme o tamanho da amostra
hipótese
aumenta indenidamente, os estimadores convergem para
seus verdadeiros valores na população. (propriedade
assintótica)

24. Propriedades dos estimadores de MQO sob
normalidade
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Consistência: distribuição do estimador conforme o tamanho
da amostra aumenta

25. Propriedades dos estimadores de MQO sob
normalidade
Análise de
Regressão:
Estimação,
testes e
propriedades β0 se distribui NORMALMENTE com
ˆ
Rodrigo de
Sá média E β 0 = β0
ˆ
Precisão e variância
X2
σβ = n x 2 σ 2
2 i
ˆ0
propriedades i
concisamente β0 ∼ N β0 , σ
ˆ 2
Coeciente ˆ .
β0
de
determinação
Modelo
β1 se distribui NORMALMENTE com
ˆ
Normal
Teste de
média E β 1 = β1
ˆ
hipótese 2 1 2
variância σβ =
ˆ x2 σ
1 i
concisamente β1 ∼ N β1 , σβ
ˆ 2
ˆ .
1

26. Propriedades dos estimadores de MQO sob
normalidade
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá (n − 2) σ 2 /σ 2 é distribuída como χ2 (qui-quadrado) com
ˆ
n − 2 graus de liberdade.
Precisão e
propriedades β0 , β1 se distribuem independentemente de σ 2 .
ˆ ˆ ˆ
Coeciente
de
determinação β0 e β1 têm variância mínima em toda a classe de
ˆ ˆ
Modelo estimadores não-viesados, sejam lineares ou não.
Normal
Teste de São os MELHORES ESTIMADORES NÃO-VIESADOS
hipótese (MENV).

27. Teste de hipótese
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Teste de hipótese
Precisão e
propriedades Cuidado para não testar hipóteses demais; quanto mais você
Coeciente
de torturar os dados, maior a probabilidade de que eles confessem,
determinação mas uma conssão arrancada à força pode não ser admissível
Modelo
Normal no tribunal da opinião cientíca. (STIGLER, 1987).
Teste de
hipótese

28. Estimativa de intervalo
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
Figura: Exemplo consumo x renda

29. Estimativa de intervalo
Análise de
Regressão:
Estimação,
testes e
propriedades
A projeção marginal a consumir estimada, β1 , é 0.5091.
ˆ
Rodrigo de
Sá Quão conável é esta estimação?
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese

30. Estimativa de intervalo
Análise de
Regressão:
Estimação,
testes e
propriedades
A projeção marginal a consumir estimada, β1 , é 0.5091.
ˆ
Rodrigo de
Sá Quão conável é esta estimação?
Precisão e
propriedades Podemos construir um intervalo ao redor do estimador de
Coeciente ponto de modo que este intervalo tenha, por exemplo, 95%
de
determinação de incluir o verdadeiro valor do parâmetro.
Modelo
Normal
Teste de
hipótese

31. Estimativa de intervalo
Análise de
Regressão:
Estimação,
testes e
propriedades
A projeção marginal a consumir estimada, β1 , é 0.5091.
ˆ
Rodrigo de
Sá Quão conável é esta estimação?
Precisão e
propriedades Podemos construir um intervalo ao redor do estimador de
Coeciente ponto de modo que este intervalo tenha, por exemplo, 95%
de
determinação de incluir o verdadeiro valor do parâmetro.
Modelo
Normal
Tentamos descobrir dois números positivos δ e α de modo
Teste de
hipótese que a probabilidade do intervalo aleatório
β1 − δ, β1 + δ conter o verdadeiro β1 é de 1 − α.
ˆ ˆ

32. Estimativa de intervalo
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
P β1 − δ ≤ β1 ≤ β1 + δ = 1 − α
ˆ ˆ
Sá
Precisão e
O intervalo, se existir, é chamado INTERVALO DE
propriedades CONFIANÇA.
Coeciente
de 1 − α é o COEFICIENTE DE CONFIANÇA.
determinação
Modelo
0 ≤ α ≤ 1 é o NÍVEL DE SIGNIFICÂNCIA.
Normal
Também é a probabilidade de cometer o ERRO TIPO 1,
Teste de
hipótese isto é, rejeitar uma hipótese verdadeira.
β1 − δ é o LIMITE DE CONFIANÇA INFERIOR e β1 + δ é
ˆ ˆ
o LIMITE DE CONFIANÇA INFERIOR.

33. Intervalo de conança para β1
Análise de
Regressão: A variável aleatória
Estimação,
testes e
propriedades
ˆ
β1 − β1
Rodrigo de t =
Sá ˆ
ep β1
Precisão e
propriedades ˆ
β1 − β1 xi2
Coeciente t =
de σ
ˆ
determinação
Modelo
segue a distribuição t com n − 2 graus de liberdade.
Normal
Teste de Intervalo de conança de β1
hipótese
A probabilidade de β1 estar entre
β1 − tα/2 ep β1 ≤ β1 ≤ β1 + tα/2 ep β1
ˆ ˆ ˆ ˆ
é de 100 (1 − α) %. tα/2 é chamado VALOR CRÍTICO.

34. Distribuição t
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese

35. Exemplo consumo X renda
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
β1 = 0.5091, ep β1 = 0.0357 e gl = 8
ˆ ˆ
Sá tα/2 = 2.306
Precisão e
propriedades
0.5091 ± 2.306 (0.0357)
Coeciente
de
determinação
Modelo 0.5091 ± 0.0823
Normal
Teste de
hipótese
(0.4268, 0.5914)

36. Teste de hipótese e intervalo de conança
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo Figura: Intervalo de conança
Normal
Teste de
hipótese REGRA DE DECISÃO: Construa um intervalo de 100 (1 − α) %
para β1 . Se β1 , segundo H0 , se encontrar dentro deste intervalo
de conança, não rejeite H0 ; mas se β1 se encontrar fora deste
intervalo rejeite H0 .

37. Teste de hipótese e teste de signicância
Análise de
Regressão:
Estimação,
testes e
propriedades Podemos contruir um intervalo de conança ao redor do
Rodrigo de valor que queremos testar e ver se os dados conrmam ou
Sá não essa hipótese.
Precisão e
propriedades
A região de aceitação é o intervalo
Coeciente
de
determinação β1 − tα/2 ep β1 ≤ β1 ≤ β1 + tα/2 ep β1
∗ ˆ ˆ ∗ ˆ
Modelo
Normal O teste, então, é
Teste de
hipótese
ˆ ∗
t = β1 − β1
ep β1
ˆ

38. Teste de hipótese e teste de signicância
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
∗
Figura: Intervalo de conança para β1 = 0.3

39. Teste de hipótese e teste de signicância
Análise de
Regressão:
Estimação,
testes e
propriedades
Rodrigo de
Sá
Precisão e
propriedades
Coeciente
de
determinação
Modelo
Normal
Teste de
hipótese
∗
Figura: Intervalo de conança para β1 = 0.3