Regsimple

ECO 4272 : Introduction à l’économétrie
Notes sur le modèle de régression simple
Steve Ambler∗
Département des sciences économiques
École des sciences de la gestion
Université du Québec à Montréal
c 2013 : Steve Ambler
Automne 2013
∗
Ces notes sont en cours de développement. J’ai besoin de vos commentaires et de vos suggestions pour
les améliorer. Vous pouvez me faire part de vos commentaires en personne ou en envoyant un message à
ambler.steven@uqam.ca.
1

Table des matières
1 Introduction 4
2 Objectifs du cours 4
3 Le modèle de régression simple 4
4 Estimateur moindres carrés ordinaires (MCO) 5
4.1 Propriétés algébriques clés de l’estimateur MCO . . . . . . . . . . . . . . . . . . 9
4.1.1 La somme des résidus est zéro . . . . . . . . . . . . . . . . . . . . . . . . 10
4.1.2 La valeur moyenne de la variable dépendante prédite est égale à la moyenne
échantillonnale de la variable dépendante . . . . . . . . . . . . . . . . . . 10
4.1.3 Orthogonalité entre la variable explicative et les résidus . . . . . . . . . . . 11
4.2 La notion de l’ajustement statistique (R2
) . . . . . . . . . . . . . . . . . . . . . . 12
4.3 L’écart type de la régression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
5 Hypothèses statistiques de base du modèle 17
5.1 Espérance conditionnelle nulle de l’erreur . . . . . . . . . . . . . . . . . . . . . . 18
5.2 Observations i.i.d. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
5.3 Les observations aberrantes sont peu probables . . . . . . . . . . . . . . . . . . . 18
5.4 Notre approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
6 Propriétés statistiques de l’estimateur 20
6.1 Absence de biais de l’estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
6.1.1 ˆβ1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
6.1.2 ˆβ0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
6.2 Convergence de l’estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6.3 Efficience de l’estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6.3.1 Théorème Gauss-Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6.4 Erreur quadratique moyenne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
7 Propriétés échantillonnales de l’estimateur 34
7.1 Estimateur convergent de σ2
ˆβ1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
ˆβ1
en cas d’homoscédasticité . . . . . . . . . . . . . . . 38
7.3 Détecter l’hétéroscédasticité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
8 Tests d’hypothèse 41
8.1 Approche géneral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
8.2 Hypothèse alternative bilatérale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
8.3 Hypothèse alternative unilatérale . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
9 Intervalles de confiance pour les coefficients 43
9.1 Intervalles de confiance pour les prédictions . . . . . . . . . . . . . . . . . . . . . 44
10 Un exemple d’estimation du modèle de régression simple avec R 45
2

11 Le modèle de régression simple lorsque X est une variable dichotomique 51
12 Concepts à retenir 55
13 Références 56
3

1 Introduction
2 Objectifs du cours
– Présenter le modèle de régression simple.
– Dériver l’estimateur moindres carrés ordinaires (MCO).
– Étudier les propriétés algébriques de cet estimateur.
– Étudier la mesure habituelle de l’ajustement statistique, le R2
.
– Regarder les hypothèses statistiques derrière le modèle et analyser leurs conséquences pour
l’estimateur MCO (absence de biais, convergence, efficience).
– Montrer l’absence de biais de l’estimateur MCO.
– Dériver les propriétés échantillonnales de l’estimateur MCO et montrer sa convergence.
– Distinguer entre les cas d’erreurs hétéroscédastiques et erreurs homoscédastiques.
– Montrer, sous les hypothèses d’homoscédasticité et normalité, l’efficience de l’estimateur
MCO (théorème Gauss-Markov).
– Analyser les tests d’hypothèse concernant les paramètres estimés du modèle.
– Analyser le calcul d’intervalles de confiance pour les paramètres estimés dans le cadre du
modèle.
3 Le modèle de régression simple
– Le modèle de base peut s’écrire
Yi = β0 + β1Xi + ui.
L’idée de base est qu’une variable économique Yi peut être prédite ou expliqué par une autre va-
riable économique Xi. La relation entre les deux variables est linéaire. Sans le terme ui, l’équation
est l’équation d’une droite. Si on mesure Yi sur l’axe vertical, β0 est l’ordonnée à l’origine et β1 est
4

la pente de la droite. On peut penser au paramètre β0 comme étant associé à une deuxième variable
explicative qui est une constante qu’on normalise pour être égale à un. Autrement dit, on aurait pu
écrire le modèle comme
Yi = β0 × 1 + β1 × Xi + ui.
Le modèle de régression simple contient une constante par défaut. Il est possible aussi d’étudier le
modèle suivant :
Yi = βXi + ui.
Ce modèle, sans constante, a des propriétés statistiques assez différentes. Pour ceux qui s’intéressent
à poursuivre ce sujet, voir Windmeijer (1994), ou Eisenhauer (2003).
On appelle communément Yi la variable dépendante du modèle de régression, et on appelle
Xi la variable explicative du modèle de régression.
4 Estimateur moindres carrés ordinaires (MCO)
– Nous considérons le problème de prédire la valeur de la variable dépendante Yi, étant donnée
la valeur de Xi.
– L’erreur de prévision peut s’écrire Yi − β0 − β1Xi.
– Le problème à résoudre est celui de choisir les valeurs de β0 et de β1 afin de minimiser la
somme des erreurs de prévision au carré :
– Notez que le critère de minimiser la somme des erreurs au carré n’est pas le seul critère
possible. Par exemple, on pourrait décider de minimiser la somme des erreurs en valeur
absolue.
– Il y a deux raisons fondamentales pour la popularité et l’importance de l’estimateur MCO
dans l’histoire de la statistique et de l’économétrie.
1. D’abord, l’algèbre est relativement simple. Le critère est une expression quadratique
(du deuxième degré), et donc les conditions du premier ordre donnent un système
5

d’équations linéaires. Il est très facile de résoudre un système de deux équations linéaires.
2. Deuxièment, sous certaines conditions (à voir plus tard), l’estimateur MCO des coef-
ficients β0 et β1 est l’estimateur avec la plus petite variance parmi tous les estimateurs
linéaires et non biaisés – autrement dit, il est l’estimateur le plus efficient parmi les
estimateur linéaires non biaisés.
– Le problème de minimisation peut s’écrire comme suit.
min
β0,β1
n
i=1
(Yi − β0 − β1Xi)2
.
– Les conditions du premier ordre (CPOs) pour ce problème sont comme suit. D’abord par
rapport au choix de β0 :
−2
n
i=1
Yi − ˆβ0 − ˆβ1Xi = 0.
Ensuite, par rapport au choix de β1 :
−2
n
i=1
Yi − ˆβ0 − ˆβ1Xi Xi = 0,
où j’ai écrit un chapeau sur β0 et β1 pour souligner le fait qu’il s’agit de nos estimateurs
MCO, c’est à dire les solutions au problème de minimisation. 1
– Il s’agit de deux équations où les deux inconnus sont ˆβ0 et ˆβ1.
– Il est facile d’isoler ˆβ0 en fonction de ˆβ1 et par la suite de trouver la solution pour ˆβ1.
– Nous avons à partir de la première CPO :
n
i=1
Yi − ˆβ0 − ˆβ1Xi = 0
⇒
n
i=1
ˆβ0 = n ˆβ0 =
n
i=1
Yi − ˆβ1Xi
1. En principe, il faudrait vérifier les conditions du deuxième ordre pour savoir que nous avons trouvé un minimum
et non un maximum. Nous n’allons pas faire cet exercice ici.
6

⇒ ˆβ0 =
1
n
n
i=1
Yi − ˆβ1
1
n
n
i=1
Xi
⇒ ˆβ0 = ¯Y − ˆβ1
¯X.
Nous venons de trouver la solution pour ˆβ0 en fonction des moyennes échantillonnales ¯X et
¯Y et de la solution pour ˆβ1.
– Maintenant, substituant cette solution dans la deuxième CPO, nous avons :
n
i=1
Yi − ¯Y + ˆβ1
¯X − ˆβ1Xi Xi = 0.
– Multipliant des deux côtés de l’équation par 1
n
et réarrangeant, nous obtenons
1
n
n
i=1
YiXi −
1
n
n
i=1
¯Y Xi −
1
n
n
i=1
ˆβ1 (Xi)2
+
1
n
n
i=1
ˆβ1
¯XXi = 0
⇒
1
n
n
i=1
YiXi − ¯Y
1
n
n
i=1
Xi
−ˆβ1
1
n
n
i=1
(Xi)2
− ¯X
1
n
n
i=1
Xi = 0
⇒
1
n
n
i=1
YiXi − ¯Y ¯X
−ˆβ1
1
n
n
i=1
(Xi)2
− ¯X ¯X = 0
⇒ ˆβ1 =
1
n
n
i=1 YiXi − ¯X ¯Y
1
n
n
i=1 (Xi)2
− ¯X2
⇒ ˆβ1 =
1
n
n
i=1 Yi − ¯Y Xi − ¯X
1
n
n
i=1 Xi − ¯X
2 .
Cette solution dépend des identités
1
n
n
i=1
YiXi − ¯X ¯Y =
1
n
n
i=1
Yi − ¯Y Xi − ¯X
7

et
1
n
n
i=1
(Xi)2
− ¯X2
=
1
n
n
i=1
Xi − ¯X
2
.
Ceci est facile à montrer. Nous avons
1
n
n
i=1
Yi − ¯Y Xi − ¯X
1
n
n
i=1
YiXi − Yi
¯X − Xi
¯Y + ¯X ¯Y
=
1
n
n
i=1
YiXi −
1
n
n
i=1
Yi
¯X −
1
n
n
i=1
Xi
¯Y +
1
n
n
i=1
¯X ¯Y
=
1
n
n
i=1
YiXi − ¯X
1
n
n
i=1
Yi − ¯Y
1
n
n
i=1
Xi +
n
n
¯X ¯Y
=
1
n
n
i=1
YiXi − ¯X ¯Y − ¯Y ¯X + ¯X ¯Y
=
1
n
n
i=1
YiXi − ¯X ¯Y .
La preuve pour le dénominateur est semblable.
C’est une première façon d’exprimer la solution. Multipliant numérateur et dénominateur
par n nous avons aussi
ˆβ1 =
n
i=1 Yi − ¯Y Xi − ¯X
n
i=1 Xi − ¯X
2 .
C’est une deuxième façon d’exprimer la solution. Maintenant, divisant numérateur et dénominateur
par (n − 1) nous avons aussi
ˆβ1 =
1
(n−1)
n
i=1 Yi − ¯Y Xi − ¯X
1
(n−1)
n
i=1 Xi − ¯X
2 .
– Donc, nous avons trois expressions équivalentes pour la solution pour ˆβ1.
– Comme aide-mémoire, la dernière expression est peut-être la plus utile. Elle dit que l’estima-
8

teur MCO de β1 est le ratio entre la covariance échantillonnale entre X et Y et la variance
échantillonnale de X (voir le chapitre sur la théorie des probabilités pour les définitions de
covariance échantillonnale et variance échantillonnale).
– Pour répéter ceci en notation algébrique :
ˆβ1 =
Cov (X , Y )
Var (X)
.
– Je crois qu’il n’est pas trop difficile de se souvenir de cette façon d’écrire la solution pour
ˆβ1, et de se souvenir de la solution pour ˆβ0 en termes des moyennes échantillonnales ¯X et ¯Y
et ˆβ1.
4.1 Propriétés algébriques clés de l’estimateur MCO
– L’estimateur MCO possède quelques propriétés de base que nous allons démontrer dans cette
section.
– Nous allons par la suite nous servir de ces propriétés à maintes reprises par la suite pour
trouver d’autres propriétés de l’estimateur MCO.
– J’appelle ces propriétés les propriétés algébriques puisqu’elles ne dépendent pas d’hy-
pothèses concernant les propriétés statistiques des variables aléatoires Y , X ou u.
– Autrement dit, pour n’importe quelles séries de données sur deux variables X et Y , ces
propriétés doivent tenir. On n’a même pas besoin de supposer que X et Y sont des variables
aléatoires en bonne et due forme.
– Plusieurs de ces propriétés dépendent du fait que le modèle de régression inclut une constante.
– Pour le cas de modèles qui n’incluent pas une constante, voir l’article de Windmeijer (1994),
ou encore celui d’Eisenhauer (2003).
9

4.1.1 La somme des résidus est zéro
– Définissons
ûi ≡ Yi − ˆβ0 − ˆβ1Xi,
le résidu de la régression pour l’observation i.
– Nous voulons montrer que :
1
n
n
i=1
ûi = 0.
– Voici la preuve.
1
n
n
i=1
ûi =
1
n
n
i=1
Yi − ¯Y + ˆβ1
¯X − ˆβ1Xi
=
1
n
n
i=1
Yi − ¯Y − ˆβ1
1
n
n
i=1
Xi − ¯X = 0.
4.1.2 La valeur moyenne de la variable dépendante prédite est égale à la moyenne échantillonnale
de la variable dépendante
– Définissons
ˆYi ≡ ˆβ0 + ˆβ1Xi,
la valeur prédite de Yi.
1
n
n
i=1
ˆYi = ¯Y .
– Voici la preuve :
ˆYi ≡ Yi − ûi
⇒
1
n
n
i=1
ˆYi =
1
n
n
i=1
Yi −
1
n
n
i=1
ûi =
1
n
n
i=1
Yi ≡ ¯Y .
10

4.1.3 Orthogonalité entre la variable explicative et les résidus
n
i=1
Xi ûi = 0.
– Ceci est la définition de l’orthogonalité entre deux variables.
– Puisque nous allons utiliser l’algèbre linéaire dans le chapitre sur le modèle de régression
multiple, c’est peut-être opportun d’introduire ici le concept d’orthogonalité entre deux vec-
teurs. Nous pouvons réécrire cette équation en notation vectorielle comme
n
i=1
Xi ûi = X1 X2 . . . Xn









û1
û2
...
ûn









≡ X Û = 0.
– Donc c’est la définition habituelle d’orthogonalité entre deux vecteurs en algèbre linéaire.
– Nous verrons plus loin qu’il y a aussi une interprétation géométrique.
n
i=1
Xi ûi =
n
i=1
Xi ûi − ¯X
n
i=1
ûi
=
n
i=1
Xi − ¯X ûi
=
n
i=1
Xi − ¯X Yi − ¯Y + ˆβ1
¯X − ˆβ1Xi
=
n
i=1
Xi − ¯X Yi − ¯Y − ˆβ1 Xi − ¯X
=
n
i=1
Xi − ¯X Yi − ¯Y − ˆβ1
n
i=1
Xi − ¯X
2
=
n
i=1
Xi − ¯X Yi − ¯Y
11

−
n
i=1 Xi − ¯X Yi − ¯Y
n
i=1 Xi − ¯X
2
n
i=1
Xi − ¯X
2
=
n
i=1
Xi − ¯X Yi − ¯Y −
n
i=1
= 0.
– L’orthogonalité est reliée à l’interprétation géométrique de la méthode des MCO. Estimer
un modèle par MCO revient à projeter la variable dépendante dans l’espace traversé par la
variable explicative (ou les variables explicatives dans le cas de la régression multiple).
– Le principe est illustré par la Figure 1 ci-dessous. Nous constatons sur le graphique que si
nous prenons la ligne de régression comme un vecteur, la ligne pointillée sur le graphique
est un vecteur dont la longueur égale la valeur de ûi à ce point. Il forme un angle droit par
rapport à la ligne de régression, d’où le terme orthogonal .
– Pour ceux qui veulent aller plus loin, tout ce qu’on pourrait vouloir savoir concernant l’in-
terprétation géométrique de la régression simple se trouve dans l’article de Davidson et Mac-
Kinnon (1999).
Figure 1
4.2 La notion de l’ajustement statistique (R2
)
– Définissons :
TSS ≡
n
i=1
Yi − ¯Y
2
,
12

la somme totale des carrés ( total sum of squares en anglais) ;
SSR ≡
n
i=1
Yi − ˆYi
2
,
la somme des résidus au carré ( residual sum of squares en anglais) ;
ESS ≡
n
i=1
ˆYi − ¯Y
2
,
la somme expliquée des carrés ( explained sum of squares en anglais).
– Nous pouvons montrer que :
TSS = ESS + SSR.
TSS =
n
i=1
Yi − ¯Y
2
=
n
i=1
Yi − ˆYi + ˆYi − ¯Y
2
=
n
i=1
Yi − ˆYi
2
+
n
i=1
ˆYi − ¯Y
2
+2
n
i=1
Yi − ˆYi
ˆYi − ¯Y
= SSR + ESS + 2
n
i=1
ûi
ˆYi − ¯Y
= SSR + ESS + 2
n
i=1
ûi
ˆYi − 2¯Y
n
i=1
ûi
= SSR + ESS + 2
n
i=1
ûi
ˆYi
= SSR + ESS + 2
n
i=1
ûi
ˆβ0 + ˆβ1Xi
13

= SSR + ESS + 2ˆβ0
n
i=1
ûi + 2ˆβ1
n
i=1
ûiXi
= SSR + ESS.
Notez que nous avons invoqué à quelques reprises les propriétés algébriques de l’estimateur
MCO que nous avons déjà démontrées.
– Maintenant, définissons
R2
≡
ESS
TSS
.
– Puisque TSS, ESS et SSR sont la somme de termes au carré (et pour cette raison sont des
termes positifs sinon strictement positifs), il faut que :
0 ≤ R2
≤ 1.
– Il faut aussi que
R2
= 1 −
SSR
TSS
.
– L’ajustement statistique s’appelle aussi le coefficient de détermination de la régression.
– L’ajustement statistique est défini indépendamment des propriétés statistiques du modèle de
régression. Il a l’interprétation du pourcentage de la variation de la variable dépendante Y
autour de sa moyenne qui peut être expliqué par les variations de la variable explicative X.
– Pour le modèle de régression simple, il y a une relation algébrique exacte entre le R2
et le
coefficient de corrélation entre les variables X et Y . La relation est
R2
= Corr (X, Y ) .
– Je montre ce résultat dans l’encadré qui suit.
– La lecture de l’encadré est facultative, mais je vous encourage à retenir le résultat (égalité
entre la mesure R2
et le coefficient de corrélation entre X et Y au carré).
14

Je démontre ici que l’ajustement statistique (dans le modèle de régression simple) doit être égal
au carré du coefficient de corrélation entre X et Y . Nous avons
R2
≡
n
i=1
ˆYi − ¯Y
2
n
i=1 Yi − ¯Y
2
Nous avons aussi (en multipliant le numérateur et le dénominateur dans la définition de la
corrélation échantillonnale par (n − 1))
Corr (X , Y )
2
≡


n
i=1 Xi − ¯X Yi − ¯Y
n
i=1 Xi − ¯X
2 n
i=1 Yi − ¯Y
2


2
=
n
i=1 Xi − ¯X Yi − ¯Y
2
n
i=1 Xi − ¯X
2 n
i=1 Yi − ¯Y
2
Donc, il faut montrer que
n
i=1
ˆYi − ¯Y
2
n
i=1 Yi − ¯Y
2 =
n
i=1 Xi − ¯X Yi − ¯Y
2
n
i=1 Xi − ¯X
2 n
i=1 Yi − ¯Y
2
⇔
n
i=1
ˆYi − ¯Y
2
n
i=1
Xi − ¯X
2
=
n
i=1
2
.
Travaillant avec le bras gauche de cette équation, nous avons
n
i=1
ˆYi − ¯Y
2
n
i=1
Xi − ¯X
2
=
n
i=1
ˆβ0 + ˆβ1Xi − ¯Y
2
n
i=1
Xi − ¯X
2
=
n
i=1
¯Y − ˆβ1
¯X + ˆβ1Xi − ¯Y
2
n
i=1
Xi − ¯X
2
15

=
n
i=1
ˆβ1Xi − ˆβ1
¯X
2
n
i=1
Xi − ¯X
2
= ˆβ2
1
n
i=1
Xi − ¯X
2
n
i=1
Xi − ¯X
2
=
n
i=1 Xi − ¯X Yi − ¯Y
n
i=1 Xi − ¯X
2
2 n
i=1
Xi − ¯X
2
2
=
n
i=1
2
,
ce qui fut à démontrer.
Donc, même si nous sommes en train de discuter des propriétés algébriques du modèle
de régression simple, et même si la notion du R2
est définie indépendamment des propriétés
statistiques des variables X et Y , nous voyons que le R2
est relié au concept statistique de
corrélation. Il existe des tests d’hypothèse de la significativité de corrélations entre variables
aléatoires (que nous n’allons pas explorer dans ce cours).
– Tel qu’indiqué plus tôt, l’ajustement statistique R2
est défini indépendamment des hy-
pothèses statistiques derrière le modèle.
– Nous venons de voir (dans l’encadré précédant) qu’il y a un lien stricte dans le modèle de
régression simple entre le R2
et le coefficient de corrélation entre la variable dépendante
Y et la variable explicative X.
– Le R2
a aussi une autre interprétation statistique. On peut l’utiliser pour tester l’hy-
pothèse nulle de l’absence de relation entre la variable explicative (les variables expli-
catives à part la constante dans le modèle de régression multiple). Voir Giles (2013b,
2013c). Selon Giles, le R2
suit, sous l’hypothèse nulle (et sous l’hypothèse de l’ho-
moscédasticité), une distribution Beta.
– Nous allons voir dans le chapitre sur la régression multiple qu’on peut construire une
16

autre statistique pour tester la même hypothèse qui suit une distribution F de Fisher.
4.3 L’écart type de la régression
s2
û =
1
(n − 2)
n
i=1
(ûi)2
=
SSR
(n − 2)
.
– Dans le cas où nous supposons une variance constante du terme d’erreur du modèle (voir la
section suivante concernant les hypothèses statistiques du modèle), c’est un estimateur non
biaisé de la variance du terme d’erreur.
– Il s’agit du cas où les erreurs sont homoscédastiques, où donc Var (ui) = σ2
u, une variance
constante.
– Notez que cette hypothèse (variance constante des erreurs) ne fera pas partie des hypothèses
statistiques de base que nous adopterons.
– Nous divison par (n − 2) afint d’obtenir un estimateur non biaisé.
– Il y a une autre raison pour la division par (n − 2). On perd deux degrés de liberté car il faut
estimer deux paramètres inconnus (β0 et β1) afin de calculer les résidus de la régression.
– Maintenant, définissons :
sû ≡ s2
û.
– sû est l’écart type de la régression.
– L’écart type de la régression est un des résultats d’estimation que fournissent automatique-
ment la plupart des logiciels économétriques.
5 Hypothèses statistiques de base du modèle
– À partir de ce point, nous élaborons quelques propriétés statistiques de l’estimateur MCO.
Elles dépendront de certaines hypothèses statistiques de base, que voici.
17

– Ces hypothèses seront cruciales pour montrer les propriétés d’absence de biais et de conver-
gence.
– Nous en aurons besoin aussi (avec une hypothèse additionnelle) pour montrer l’efficience de
l’estimateur MCO.
5.1 Espérance conditionnelle nulle de l’erreur
– Nous supposons que :
E (ui|X = Xi) = 0.
– Intuitivement, l’hypothèse nous dit que le fait de connaˆıtre la valeur réalisée de la variable
explicative ne donne pas d’information concernant la valeur de l’erreur.
5.2 Observations i.i.d.
(Xi , Yi) , i = 1, 2, . . . , n i.i.d.
– Nous avons déjà vu le concept d’observations i.i.d. dans le chapitre sur la statistique. On
suppose que nos observations sont indépendantes et qu’elles sont identiquement distribuées.
– Notez que nous ne faisons pas une hypothèse concernant le type de distribution qui génère
les observations (normale, exponentielle, parétienne stable, etc.). Tout ce qu’on suppose c’est
que les observations sont toujours générées par la même distribution.
5.3 Les observations aberrantes sont peu probables
0 < E X4
< ∞;
0 < E Y 4
< ∞;
18

– Cette hypothèse sert à nous rappeler que l’estimateur MCO peut être sensible aux observa-
tions aberrantes.
– Il est toujours bon d’examiner les résidus afin de détecter la présence de ces observations,
qui pourraient indiquer des problèmes comme des erreurs de transcription des valeurs dans
les données, etc.
– Il est important de noter qu’en présence d’observations aberrantes importantes, la valeur de
ˆβ1 peut être très sensible à cette ou à ces valeurs, même si elles sont peu nombreuses. Intui-
tement, même un nombre très faible de ces observations aberrantes peut avoir une influence
prépondérantes sur les valeurs estimées des paramètres. Dans un tel cas, les estimateurs
MCO ne seront pas convergents puisqu’ils dépendent d’un petit nombre d’observations.
5.4 Notre approche
Par rapport à l’approche dans certains manuels de base en économétrie, nous adoptons une
approche plus générale.
1. Souvent, la première fois qu’on présente le modèle de régression simple, on suppose que
les observations sur la variable explicative X sont constantes à travers des échantillons
différents. Pour dériver les propriétés statistiques de notre estimateur MCO, on peut traiter
les observations comme des constantes au lieu de les traiter comme des réalisations d’une
variable aléatoire. L’algèbre est plus facile, mais c’est beaucoup moins réaliste.
2. Souvent, lorsqu’on présente le modèle de base, on suppose aussi que la variance condition-
nelle du terme d’erreur est égale à sa variance non conditionnelle et qu’elle est constante.
Autrement dit,
Var (ui|X = Xi) = Var (ui) = σ2
u.
L’avantage de ces hypothèses simplificatrices est de simplifier l’algèbre. On arrive à une
expression plus simple pour la variance échantillonnale de nos estimateurs MCO. Malheu-
reusement, ce sont des hypothèses qui tiennent rarement dans les données utilisées par les
19

économètres appliqués. Cette hypothèse n’est pas retenue ici, ce qui va mener à une expres-
sion plus compliquée mais plus générale pour la variance échantillonnale de nos estimateurs.
3. Souvent, lorsqu’on présente le modèle de base, on suppose que le terme d’erreur est distribué
selon une loi normale. Ceci permet de faire de l’inférence exacte (voir le chapitre sur les tests
d’hypothèse pour une définition). Cette hypothèse n’est pas retenue ici.
4. Au lieu de supposer la normalité, nous allons faire l’hypothèse que les échantillons de
données que nous avons à notre disposition sont assez grandes pour que les statistiques
utilisées pour faire des tests d’hypothèse soient approximatiement distribuées selon une loi
normale.
6 Propriétés statistiques de l’estimateur
6.1 Absence de biais de l’estimateur
6.1.1 ˆβ1
– Nous avons :
ˆβ1 =
n
i=1 Xi − ¯X Yi − ¯Y
n
i=1 Xi − ¯X
2
=
n
i=1 Xi − ¯X β0 + β1Xi + ui − β0 − β1
¯X − ¯u
n
i=1 Xi − ¯X
2
=
β1
n
i=1 Xi − ¯X
2
+ n
i=1 Xi − ¯X (ui − ¯u)
n
i=1 Xi − ¯X
2
= β1 +
n
i=1 Xi − ¯X (ui − ¯u)
n
i=1 Xi − ¯X
2
= β1 +
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2 .
– Ceci montre que l’estimateur est égal à sa vraie valeur plus un terme qui dépend du produit
des erreurs avec les écarts des Xi par rapport à leurs moyennes échantillonnales.
20

– Notez ce que l’on fait pour passer de la première ligne à la deuxième. On substitut Yi utili-
sant sa valeur si le modèle de régression est litéralement vrai. Cela fait apparaˆıtre les vraies
valeurs de β0 et de β1, et fait apparaˆıtre aussi l’erreur (la vraie et non le résidu). On fera
souvent une substitution semblable lorsqu’on veut analyser les propriétés statistiques d’un
estimateur.
– Maintenant, il s’agit de calculer la valeur espérée de cette expression :
E ˆβ1 = β1 + E
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2
= β1 + E E
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2 |X1, X2, . . . Xn
= β1 + E
n
i=1 Xi − ¯X E (ui|X1, X2, . . . Xn)
n
i=1 Xi − ¯X
2
= β1 + E
n
i=1 Xi − ¯X E (ui|Xi)
n
i=1 Xi − ¯X
2
= β1.
– Pour passer de la première ligne à la deuxième dans cette suite d’égalités, nous avons utilisé
la loi des espérances itérées, qui dit que pour n’importe quelle variable aléatoire Y ,
E (E (Yi|Xi)) = E (Yi) .
Nous l’avons tout simplement appliqué à la variable aléatoire qui est
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2 .
– Pour passer de la deuxième à la troisième ligne, il faut noter que les espérances des X condi-
tionnelles aux valeurs des X ne sont plus stochastiques. Nous pouvons les traiter comme des
constantes et les écrire du côté gauche de l’opérateur d’espérance conditionnelle. Ce faisant,
21

l’opérateur d’espérance conditionnelle s’applique uniquement au terme d’erreur ui.
– La dernière égalité suit directement de nos hypothèses de base concernant le modèle, dont
une stipule que E (ui|Xi) = 0.
6.1.2 ˆβ0
– Nous avons :
E ˆβ0 = E ¯Y − ˆβ1
¯X
= E β0 + β1
¯X +
1
n
n
i=1
ui − ˆβ1
¯X
= β0 + E β1 − ˆβ1
¯X +
1
n
n
i=1
E (ui)
= β0 +
1
n
n
i=1
E (E (ui|Xi))
= β0,
où encore une fois nous avons utilisé la loi des espérances itérées :
E (ui) = E (E (ui|Xi)) .
– Ici, j’ai suivi la réponse à la question 4.7 du manuel. Il n’est pas forcément évident que
E β1 − ˆβ1
¯X = 0,
puisque ¯X doit être considéré comme une variable aléatoire. Il faut remonter à l’absence de
biais de ˆβ1, où on a montré que
β1 − ˆβ1 = −
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2 .
22

Donc, on a
E β1 − ˆβ1
¯X = −E
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2
¯X
= −E ¯X
n
i=1 Xi − ¯X E (ui|Xi)
n
i=1 Xi − ¯X
2
= 0.
Encore une fois, nous avons utilisé la loi des espérances itérées.
6.2 Convergence de l’estimateur
– Nous allons remettre ce sujet à un peu plus tard. En calculant les propriétes échantillonnales
de l’estimateur, nous allons montrer que sa variance décroˆıt avec la taille de l’échantillon n.
– Si c’est le cas, nous avons à toutes fins pratiques montré sa convergence. Nous avons montré
l’absence de biais, et la variance converge à zéro lorsque n tend vers l’infini.
6.3 Efficience de l’estimateur
– Pour montrer l’efficience de l’estimateur MCO, nous aurons besoin d’une hypothèse addi-
tionnelle, que le terme d’erreur du modèle de régression est homoscédastique, ce qui veut
dire a une variance constante.
– Si ce n’est pas le cas, et si nous connaissons de quoi dépend la variance du terme d’erreur,
il peut être possible de trouver un estimateur plus efficient que l’estimateur MCO. Il s’agit
de l’estimateur moindres carrés généralisés (generalised least squares ou GLS en anglais),
que nous n’aurons pas l’occasion d’étudier en détail dans ce cours. Voir le chapitre 15 du
manuel.
– Une preuve détaillée du théorème Gauss-Markov se trouve dans l’ecadré qui suit. Nous
n’aurons probablement pas le temps de voir cette preuve en détail dans le cours. Je vous
invite fortement à la lire et à la comprendre.
23

6.3.1 Théorème Gauss-Markov
– Il s’agit d’une preuve que l’estimateur ˆβ1 est l’estimateur le plus efficient parmi les
estimateurs qui sont linéaires en Yi.
– Rappelons d’abord les hypothèses qui doivent tenir pour démontrer le théorème Gauss-
Markov.
1. E (ui|X1, . . . , Xn) = 0 .
2. Var (ui|X1, . . . , Xn) = σ2
u, 0 < σ2
u < ∞.
3. E (uiuj|X1, . . . , Xn) = 0, i = j.
– La dernière hypothèse dit que les erreurs ne sont pas corrélées entre elles.
– D’abord, montrons que ˆβ1 est un estimateur linéaire en Yi. Nous avons
ˆβ1 =
n
i=1 Yi − ¯Y Xi − ¯X
n
i=1 Xi − ¯X
2
=
n
i=1 Yi Xi − ¯X − ¯Y n
i=1 Xi − ¯X
n
i=1 Xi − ¯X
2
=
n
i=1 Yi Xi − ¯X
n
i=1 Xi − ¯X
2
=
n
i=1
Xi − ¯X
n
i=1 Xi − ¯X
2 Yi
≡
n
i=1
âiYi,
où donc
âi ≡
Xi − ¯X
n
i=1 Xi − ¯X
2
– Les poids âi ne dépendent pas des Yi, et donc l’estimateur est linéaire en Yi.
– Nous avons vu que sous l’hypothèse de l’homoscédasticité, la variance conditionnelle de
24

ˆβ1 est donnée par
Var ˆβ1|X1, . . . , Xn =
σ2
u
n
i=1 Xi − ¯X
2 .
– Nous avons aussi montré que l’estimateur ˆβ1 est conditionnellement non biaisé.
– Maintenant, considérons n’importe quel estimateur linéaire
˜β1 =
n
i=1
aiYi
et qui satisfait la propriété
E ˜β1|X1, . . . , Xn = β1.
– Nous avons
˜β1 =
n
i=1
aiYi
=
n
i=1
ai (β0 + β1Xi + ui)
= β0
n
i=1
ai + β1
n
i=1
aiXi +
n
i=1
aiui.
– Nous avons aussi
E
n
i=1
aiui|X1, . . . , Xn =
n
i=1
aiE (ui|X1, . . . , Xn) = 0.
– De cette façon, nous avons
E ˜β1|X1, . . . , Xn = β0
n
i=1
ai + β1
n
i=1
aiXi .
25

– Par hypothèse, notre estimateur est conditionnellement non biaisé et donc il faut que
β0
n
i=1
ai + β1
n
i=1
aiXi = β1.
– Pour que cette égalité tienne pour des valeurs quelconques de β0 et de β1 il faut que
n
i=1
ai = 0
et
n
i=1
aiXi = 1.
– Nous avons donc
˜β1 = β0
n
i=1
ai + β1
n
i=1
aiXi +
n
i=1
aiui = β1 +
n
i=1
aiui.
– Calculons la variance conditionnelle de ˜β1. Nous avons
Var ˜β1|X1, . . . , Xn = Var
n
i=1
aiui|X1, . . . , Xn
=
n
i=1
Var (aiui|X1, . . . , Xn) + 2
i<j
Cov (aiui , ajuj|X1, . . . , Xn)
=
n
i=1
Var (aiui|X1, . . . , Xn)
= σ2
u
n
i=1
ai
2
.
– Les covariances disparaissent à cause de la troisième hypothèse ci-dessus.
– Maintenant, il suffit de montrer que la variance conditionnelle de ˜β1 doit être supérieure
à la variance conditionnelle de ˆβ1.
26

– Définissons
di ≡ ai − âi
– Nous avons
n
i=1
ai
2
=
n
i=1
(âi + di)2
=
n
i=1
â2
i + 2
n
i=1
âidi +
n
i=1
di
2
.
– Maintenant, il faut utiliser la définition des âi qui est donnée ci-dessus. Nous avons
n
i=1
âidi =
n
i=1 Xi − ¯X di
n
i=1 Xi − ¯X
2
=
n
i=1 Xidi − ¯X n
i=1 di
n
i=1 Xi − ¯X
2
=
n
i=1 Xi (ai − âi) − ¯X n
i=1 (ai − âi)
n
i=1 Xi − ¯X
2
=
( n
i=1 Xiai − n
i=1 Xiâi) − ¯X ( n
i=1 ai − n
i=1 âi)
n
i=1 Xi − ¯X
2
= 0.
– La dernière égalité tient puisque les deux estimateurs ˜β1 et ˆβ1 sont conditionnellement
non biaisés et pour cette raison il faut que
n
i=1
Xiai −
n
i=1
Xiâi =
n
i=1
ai =
n
i=1
âi = 0.
– Finalement, nous avons donc
Var ˜β1|X1, . . . , Xn
= σ2
u
n
i=1
ai
2
27

= σ2
u
n
i=1
â2
i +
n
i=1
di
2
= Var ˆβ1|X1, . . . , Xn + σ2
u
n
i=1
di
2
⇒ Var ˜β1|X1, . . . , Xn − Var ˆβ1|X1, . . . , Xn
= σ2
u
n
i=1
di
2
> 0
si ∃i tel que di = 0. Si di = 0, ∀i, l’estimateur ˜β1 est tout simplement l’estimateur MCO.
– Il y a aussi une preuve du théorème Gauss-Markov dans le cadre du modèle de régression
multiple dans le chapitre suivant. Vous allez constater (j’espère) que la preuve, qui utilise
une notation matricielle, est plus simple que la preuve ici. Notez que nous n’avons pas
démontré l’efficience de l’estimateur ˆβ0.
6.4 Erreur quadratique moyenne
– Cette section est une peu plus ardue que les autres. Sa lecture est facultative.
– Nous avons vu que l’efficience d’un estimateur est un concept relatif. Un estimateur est plus
efficient qu’un autre si les deux estimateurs sont non biaisés et que le premier a une variance
moins élevée que le deuxième.
– Une autre façon de comparer deux estimateurs est de comparer leurs erreurs quadratiques
moyennes. Nous avons déjà vu ce concept dans le chapitre sur la statistique.
– Voici la définition de l’erreur quadratique moyenne d’un estimateur quelconque ˜β :
EQM ˜β ≡ E ˜β − β
2
.
– Il s’agit de l’espérance de l’écart au carré entre la valeur de l’estimateur et sa vraie valeur.
– C’est une mesure assez intuitive de la précision d’un estimateur.
28

– Nous pouvons montrer que l’erreur quadratique moyenne est la somme de la variance de
l’estimateur et du biais de l’estimateur au carré. Autrement dit,
EQM ˜β = Var ˜β + E ˜β − β
2
.
– Voici la preuve. Nous savons que pour une variable aléatoire quelconque X,
Var (X) = E X2
− (E (X))2
.
Cette formule s’applique aussi à la variable aléatoire ˜β − β . Donc nous avons
Var ˜β − β = E ˜β − β
2
− E ˜β − β
2
⇒ E ˜β − β
2
= Var ˜β − β + E ˜β − β
2
⇒ E ˜β − β
2
= Var ˜β + E ˜β − β
2
,
ce qui fut à montrer, puisque
Var ˜β − β = Var ˜β
dû au fait que β n’est pas une variable aléatoire.
– Le critère de l’erreur moyenne quadratique permet de comparer deux estimateurs qui ne sont
pas forcément non biaisés.
– Il permet aussi de montrer qu’il peut y avoir dans certaines circonstances un arbitrage entre le
biais d’un estimateur (un plus grand biais est mauvais) et la variance de l’estimateur (une plus
grande variance est mauvaise). Il y a des estimateurs qui sont biaisés mais qui ont néanmoins
une erreur quadratique moyenne inférieure à n’importe quel estimateur non biaisé justement
parce qu’ils ont une variance très faible.
29

– Nous n’allons pas mettre beaucoup d’accent sur la EQM dans le cours. Dans le contexte du
modèle de régression linéaire et l’estimateur MCO, le concept d’efficience est plus au centre
de l’analyse puisque, sous des hypothèses relativement faibles, l’estimateur MCO est non
biaisé.
– Les articles de Giles (2013d, 2013e) portent sur l’erreur quadratique moyenne dans le
contexte du modèle de régression simple.
– Il étudie le modèle de régression simple sans constante :
Yi = βXi + ui,
où les Xi sont non aléatoires et où on a ui ∼ i.i.d. (0, σ2
) (les erreurs sont
indépendamment et identiquement distribuées avec moyenne nulle et variance égale à
σ2
). (Le fait de travailler avec des Xi non stochastiques et d’imposer une hypothèse
concernant l’espérance non conditionnelle des erreurs simplifie l’analyse.)
– Il montre que si on minimise l’erreur quadratique moyenne, l’estimateur qu’on
obtient dépend de β lui-même, qui est non observable. Donc, c’est un estimateur qui est
non opérationnel , c’est à dire que nous pouvons même pas calculer.
– Dans son deuxième article (2013e), Giles montre qu’il est possible de trouver un estima-
teur opérationnel (que nous pouvons calculer) si on minimise une combinaison linéaire
de la variance et du biais de l’estimateur. Le problème peut s’écrire
min
β
Q =


α


Var β
σ2

 + (1 − α)


E ˜β − β
β


2


 .
– La fonction objectif est une somme pondérée de la variance relative (par rapport à la
variance de l’erreur) et du biais au carré relatif (par rapport à la vraie valeur de β) de
l’estimateur β.
30

– La solution à ce problème (que nous allons calculer un peu plus loin) est
β = β
(1 − α) n
i=1 Xi
2
α + (1 − α) n
i=1 Xi
2
où β est l’estimateur MCO. On peut facilement calculer cet estimateur pour une valeur
donnée de α.
– Pour α = 0 nous avons β = β. Autrement dit, si on met tout le poids sur la minimisation
du biais au carré, on obtient l’estimateur MCO, qui n’est pas biaisé.
– Pour α > 0, |β| < |β|. L’estimateur β est plus près de zéro. (C’est un exemple de ce
qu’on appelle un shrinkage estimator en anglais.)
– Cette solution est un peu difficile à montrer. Commençons par définir β comme un esti-
mateur linéaire quelconque :
β ≡
n
i=1
aiYi
pour des constantes quelconques ai.
– Cette définition nous donne immédiatement
E β = E
n
i=1
ai (βXi + ui)
= β
n
i=1
aiXi + E
n
i=1
aiui
= β
n
i=1
aiXi
⇒ E β − β = β
n
i=1
aiXi − 1
puisque nous avons fait l’hypothèse que les Xi sont non stochastiques et que E (ui) = 0.
31

– La variance de l’estimateur est donnée par
Var β =
n
i=1
ai
2
Var (Yi) = σ2
n
i=1
ai
2
pusque nous faisons l’hypothèse que la variance des erreurs est constante.
– Notre problème de minimisation peut donc s’écrire
min
ai
Q = α
σ2 n
i=1 ai
2
σ2
+ (1 − α)
β n
i=1 (aiXi − 1)
β
2
ou bien
min
ai
Q = α
n
i=1
ai
2
+ (1 − α)
n
i=1
(aiXi − 1)
2
.
– Les variables de choix du problème sont les ai et non β lui-même.
– En choisissant notre fonction objectif comme une somme pondérée de la variance rela-
tive de l’estimateur et du biais au carré relatif, nous avons réussi à éliminer les paramètres
non observables (β et σ2
) du problème.
– Pour un ai quelconque la condition du premier ordre s’écrit
∂Q
∂ai
= 0 = 2αai + 2 (1 − α) Xi
n
j=1
ajXj − 1
⇒ αai + (1 − α) Xi
n
j=1
ajXj − 1 = 0.
– Multiplions cette expression par Yi et calculons la somme à travers les n termes en ai.
Nous obtenons
αaiYi + (1 − α) XiYi
n
j=1
ajXj − 1 = 0
⇒ α
n
i=1
aiYi + (1 − α)
n
i=1
XiYi
n
j=1
ajXj − 1 = 0
32

⇒ αβ + (1 − α)
n
i=1
XiYi
n
j=1
ajXj − 1 = 0 (1)
puisque nous avons défini au départ notre estimateur comme β ≡ n
i=1 aiYi.
– Nous pouvons aussi multiplier chaque CPO par Xi et calculer la somme à travers les n
termes, ce qui donne
αaiXi + (1 − α) Xi
2
n
j=1
ajXj − 1 = 0
⇒ α
n
i=1
aiXi + (1 − α)
n
i=1
Xi
2
n
j=1
ajXj − 1 = 0
⇒ α
n
j=1
ajXj + (1 − α)
n
i=1
Xi
2
n
j=1
ajXj − 1 = 0
(par un simple changement d’indice)
⇒ α
n
j=1
ajXj + (1 − α)
n
i=1
Xi
2
n
j=1
ajXj − (1 − α)
n
i=1
Xi
2
= 0
⇒
n
j=1
ajXj α + (1 − α)
n
i=1
Xi
2
= (1 − α)
n
i=1
Xi
2
⇒
n
j=1
ajXj =
(1 − α) n
i=1 Xi
2
α + (1 − α) n
i=1 Xi
2
.
– Maintenant, substituons cette solution pour n
j=1 ajXj dans léquation (1) et simpli-
fions :
⇒ αβ + (1 − α)
n
i=1
XiYi
(1 − α) 2
i=1 Xi
2
α + (1 − α) 2
i=1 Xi
2
.
− 1 = 0
⇒ αβ = (1 − α)
n
i=1
XiYi
α + (1 − α) n
i=1 Xi
2
− (1 − α) n
i=1 Xi
2
α + (1 − α) 2
i=1 Xi
2
33

⇒ αβ = (1 − α)
n
i=1
XiYi
α
α + (1 − α) 2
i=1 Xi
2
⇒ β =
n
i=1
XiYi
(1 − α)
α + (1 − α) 2
i=1 Xi
2
⇒ β =
n
i=1 XiYi
n
i=1 Xi
2
(1 − α) n
i=1 Xi
2
α + (1 − α) 2
i=1 Xi
2
= β
(1 − α) n
i=1 Xi
2
α + (1 − α) 2
i=1 Xi
2
.
– Ceci est le cas puisque pour ce modèle l’estimateur MCO β est donné par (exercice)
β =
n
i=1 XiYi
n
i=1 Xi
2 .
7 Propriétés échantillonnales de l’estimateur
– Dans cette section, le but principal de l’exercice est de dériver la variance (et par extension
l’écart type) de nos estimateurs MCO ˆβ0 et ˆβ1.
– Les écarts types de ˆβ0 et de ˆβ1 font partie de l’output standard de n’importe quel logiciel de
régression.
– Cet exercice est crucial afin de pouvoir effectuer des tests d’hypothèse concernant les coef-
ficients et aussi afin de pouvoir calculer des intervalles de confiance pour les estimés.
– Nous avons :
ˆβ1 = β1 +
n
i=1 Xi − ¯X ui
n
i=1 Xi − ¯X
2
= β1 +
1
n
n
i=1 Xi − ¯X ui
1
n
n
i=1 Xi − ¯X
2 .
– D’abord, travaillons avec le numérateur.
34

– Nous avons déjà vu que
¯X
p
−→ µX,
ce qui veut dire que la moyenne échantillonnale converge en probabilité à la moyenne dans
la population. Donc, pour des échantillons assez grands, nous avons
1
n
n
i=1
Xi − ¯X ui ≈
1
n
n
i=1
(Xi − µX) ui ≡ ¯v ≡
1
n
n
i=1
vi.
– La variable aléatoire vi que nous venons de définir satisfait les propriétés suivantes :
1. E (vi) = 0 ;
2. vi est i.i.d. ;
3. σ2
v < ∞ .
– La variable satisfait les hypothèses pour pouvoir invoquer le théorème de la limite centrale.
Donc, nous avons
¯v
σ¯v
d
−→ N (0 , 1) ,
où σ2
¯v = σ2
v/n.
– Maintenant, travaillons avec le dénominateur. Nous avons déjà vu à la fin du chapitre sur la
statistique que la variance échantillonnale est un estimateur convergent de la variance d’une
variable aléatoire. Donc nous avons :
1
n − 1
n
i=1
Xi − ¯X
2
≈
1
n
n
i=1
Xi − ¯X
2 p
−→ σ2
X.
– Mettant ensemble numérateur et dénominateur, nous avons
Var ˆβ1 − β1 =
σ2
v
n (σ2
X)
2
et,
ˆβ1 − β1
d
−→ N 0 ,
σ2
v
n (σ2
X)
2
35

– Notez très bien ce que nous venons de faire. Nous avons montré la convergence en distri-
bution du numérateur, et la convergence en probabilité du dénominateur, et par la suite nous
avons sauté tout de suite à la convergence en distribution du ratio des deux.
– Ceci est un tour de passe-passe que nous pouvons employer lorsque nous parlons de pro-
priétés asymptotiques (propriétés en grand échantillon) de nos statistiques. Notez que nous
ne pouvons pas le faire lorsqu’il s’agit d’espérances. Par exemple,
E
X
Y
=
E(X)
E(Y )
sauf dans le cas de variables aléatoires indépendantes.
– Par contre, sous certaines hypothèses, nous avons
¯X
p
−→ µX, ¯Y
p
−→ µY ⇒
¯X
¯Y
p
−→
µX
µY
,
et
¯X
d
−→ N µX , σ2
¯X , ¯Y
p
−→ µY ⇒
¯X
¯Y
d
−→ N
µX
µY
,
1
µY
2
σ2
¯X .
– Nous avons utilisé le Théorème de Slutsky, un des théorèmes les plus utiles en théorie
des probabilités. Il permet de scinder des expressions compliquées de variables aléatoires
(produits ou ratios) en morceaux. Si nous pouvons montrer la convergence des morceaux, la
convergence de l’expression suit immédiatement.
– Nous aurons fréquemment l’occasion d’utiliser une version de ce théorème. Pour plus de
détails, voir le chapitre des notes sur le modèle de régresson multiple.
– Notez que la variance de ˆβ1 décroˆıt avec n et tend vers zéro lorsque n tend vers l’infini. Lors-
qu’on parle de convergence en distribution, on utilise normalement une variable aléatoire
normalisée de telle façon à ce sa variance ne diminue pas avec la taille de l’échantillon. Pour
36

cette raison, il serait conventionnel de dire que :
√
n ˆβ1 − β1
d
−→ N 0 ,
σ2
v
(σ2
X)
2
– Maintenant, définissons
σ2
ˆβ1
≡
σ2
v
n (σ2
X)
2 .
– Maintenant, si nous divisons ˆβ1 − β1 par la racine carrée de σ2
ˆβ1
, nous obtenons une sta-
tistique qui converge en distribution vers une loi normale centrée réduite :
ˆβ1 − β1
σ2
ˆβ1
≡
ˆβ1 − β1
σˆβ1
d
−→ N (0 , 1) .
– Notez que nous venons de montrer à toutes fins pratiques la convergence de l’estimateur
MCO de ˆβ1. Nous avions déjà montré que l’estimateur MCO est non biaisé. Maintenant,
nous venons de montrer que la variance de notre estimateur tend vers zéro lorsque la taille
de l’échantillon tend vers l’infini. Autrement dit,
lim
n→∞
σ2
ˆβ1
= 0.
– Nous avons tous les prérequis pour conclure que l’estimateur MCO de β1 converge en pro-
babilité à sa vraie valeur.
ˆβ1
– La variance de la variable aléatoire ¯v définie ci-dessus n’est généralement pas connue, la
variance de X non plus.
– Nous savons maintenant que nous pouvons remplacer un moment inconnu de la population
par un estimateur convergent de ce moment.
37

ˆσ2
ˆβ1
≡
1
n
1
n−2
n
i=1 Xi − ¯X
2
(ûi)2
1
n
n
i=1 Xi − ¯X
2 2
– Ensuite, définissons l’écart type estimé de ˆβ1 comme
SE ˆβ1 ≡ ˆσ2
ˆβ1
.
– La plupart des logiciels de régression calculent cet écart type. Il faut, par contre, vérifier si
l’option par défaut est de calculer cet écart type robuste (robuste à la présence de l’hétéro-
scédasticité) ou plutôt de calculer l’écart type qui suppose l’homoscédasticité.
ˆβ1
en cas d’homoscédasticité
– Si nous sommes prêts à supposer que
Var (ui|X = Xi) = Var (ui) = σ2
u,
nous pouvons remplacer l’estimateur convergent de σ2
ˆβ1
par
˜σ2
ˆβ1
≡
1
n
1
n−1
n
i=1 (ûi)2
1
n
n
i=1 Xi − ¯X
2 .
– J’ai utilisé la notation légèrement différente ˜σ2
ˆβ1
pour distinguer entre le cas général (lors-
qu’on ne suppose pas l’homoscédasticité) où on utilise un estimateur robuste de la
variance et le cas particulier où on suppose l’homoscédasticité.
– Le manuel est parmi les seuls à utiliser l’estimateur robuste comme l’estimateur par défaut.
Beaucoup de manuels présentent le cas homoscédastique comme le cas de base et montre
par la suite qu’est-ce qui arrive si l’hypothèse d’homoscédasticité ne tient pas. Je partage
l’opinion des auteurs que l’homoscédasticité est une hypothèse forte qui risque de ne pas
tenir dans le cas de beaucoup d’applications empiriques, et que, pour cette raison, il est bien
38

d’enseigner le cas général et l’estimateur robuste comme l’option par défaut d’un économètre
appliqué.
– Lorsqu’on utilise un logiciel de régression comme R, STATA ou GRETL, il faut lire atten-
tivement la documentation pour savoir quelle est l’option par défaut utilisée pour estimer
la matrice variance-covariance des coefficients estimés. Dans la plupart des cas l’option par
défaut suppose l’homoscédasticité et il faut spécifier l’option robuste ou l’équivalent si
vous n’êtes pas prêts à supposer l’homoscédasticité, ce qui sera généralement le cas.
Les écarts types robustes peuvent être plus grands ou plus petits que les écarts types non ro-
bustes. Pour une explication plus détaillée et une illustration dans un cas très simple, voir Auld
(2012). Auld démontre les points suivants.
1. En présence d’hétéroscédasticité, si la variance des erreurs n’est pas fortement corrélée
avec la variable explicative du modèle (X), il y aura peu de différence entre l’écart
type calculé avec la méthode robuste et l’écart type calculé sous l’hypothèse de l’ho-
moscédasticité.
2. Si la variance des erreurs augmente pour des valeurs des Xi qui sont loin de leur moyenne
échantillonnale ¯X, l’écart type calculé avec la méthode non robuste (supposant l’ho-
moscédasticité) sera biaisé vers zéro (trop petit). L’écart type calculé avec la méthode
robuste sera en général plus grand que l’écart type non robuste.
3. Si la variance des erreurs est plus grande pour des valeurs des Xi qui sont près de leur
moyenne échantillonnale ¯X, l’écart type calculé avec la méthode non robuste (supposant
l’homoscédasticité) sera biaisé et sera en moyenne trop grand. L’écart type calculé avec
la méthode robuste sera en général plus petit que l’écart type non robuste.
4. Avec les données réeles on rencontre plus souvent le cas où l’écart type non robuste est
baisié vers zéro (est trop petit). Donc, typiquement les écarts types robustes sont plus
élevés que les écarts types non robustes.
39

7.3 Détecter l’hétéroscédasticité
– Il peut être important de pouvoir détecter la présence d’erreurs hétéroscédastiques. Il y a des
tests formels, 2
mais il y a aussi des méthodes moins formelles que les chercheurs appliqués
peuvent utiliser.
– Une façon simple serait de créer, une fois le modèle estimé, un graphique avec les Xi sur
l’axe horizontal et les résidus carrés û2
i sur l’axe vertical.
– Une relation évidente entre les deux (par exemple, des valeurs de û2
i qui semblent augmenter
avec les valeurs de Xi ou semblent diminuer avec les valeurs de Xi) est un signe clair de la
présence d’hétéroscédasticité.
– Une autre façon serait, une fois le modèle estimé, d’estimer une régression où on prend
les résidus carrés comme variable dépendante et Xi comme variable explicative, ou des
fonctions non linéaires des Xi. Par exemple,
û2
i = γ0 + γ1Xi + i
ou encore
û2
i = γ0 + γ1Xi
2
+ i.
– L’idée est d’estimer les valeurs de γ0 et de γ1 par MCO. Soit ˆγ1 la valeur estimée du coef-
ficient γ1 Une valeur significative de ˆγ1 (voir la section suivante sur les tests d’hypothèse)
serait un indice clair de la présence d’hétéroscédasticité. 3
Nous allons revenir sur cette ques-
tion et sur quelques tests formels pour détecter l’homoscédasticité dans le chapitre sur la
régression multiple.
2. Nous verrons certains de ces tests formels dans le chapitre sur le modèle de régression multiple.
3. Notez qu’il ne s’agit pas d’un test formel avec des propriétés statistiques connues. Il faut interpréter le résultat
du test à titre indicatif seulement. Par contre, le test formel appelé test Breusch-Pagan est essentiellement basé sur une
régression de ce type.
40

8 Tests d’hypothèse
8.1 Approche géneral
– Le principe de base pour tester des hypothèses simples est presqu’identique à ce que nous
avons vu dans le chapitre sur l’inférence statistique.
– L’hypothèse nulle spécifie généralement que le coefficient d’intérêt (qui peut être ˆβ0 ou
ˆβ1 prend une certaine valeur. L’hypothèse alternative peut être bilatérale ou unilatérale,
dépendant du contexte.
– D’abord, il faut créer une statistique normalisée qui a une moyenne nulle et une variance
unitaire sous l’hypothèse nulle. Il s’agit d’une statistique t même si en général elle
n’obéit pas à une loi t de Student. Par exemple :
t ≡
ˆβ1 − β1,0
SE ˆβ1
où SE ˆβ1 est un estimateur convergent de l’écart type du coefficient β1 et β1,0 est la valeur
que prend le coefficient β1 sous l’hypothèse nulle.
– Si nous sommes prêts à faire l’hypothèse que le terme d’erreur du modèle ui obéit à une loi
normale avec variance constante, nous pouvons montrer que la statistique t suit une loi t de
Student. Dans ce cas, bien sûr, il est préférable d’utiliser la forme homoscédastique pour le
calcul de l’écart type de l’estimateur ˆβ1.
– Si non, sous les hypothèses du modèle de régression, la statistique t obéit en grand échantillon
à une loi normale centrée réduite. Voir la section précédente sur les propriétés échantillonnales
de l’estimateur.
– Comme il est habituellement le cas, nous remplaçons l’écart type dans le dénominateur par
un estimateur convergent.
– Maintenant, nous procédons exactement comme dans le chapitre sur la statistique.
41

8.2 Hypothèse alternative bilatérale
– D’abord, si l’hypothèse alternative est bilatérale :
H1 : β1 = β1,0,
nous rejetons l’hypothèse nulle si la statistique calculée est suffisamment loin de zéro. La
p-value du test est donnée par :
p-value = Pr |z| > |tact
| = 2Φ −|tact
|
où tact
est la valeur calculée de la statistique et, comme auparavant, Φ(z) est la valeur de la
distribution normale centrée réduite cumulée à z.
– On appelle appelle communément un test de significativité un test de l’hypothèse nulle
que la variable explicative n’est pas significative, et donc n’aide pas à expliquer la variabilité
de la variable dépendante. Dans, ce cas, l’hypothèse nulle est H0 : ˆβ1 = 0 et l’hypothèse
alternative est bilatérale. On peut aussi parler d’un test de significativité de la constante
dans le modèle de régression simple. Les tests de significativité sont tellement répandus que,
si l’output fourni par un logiciel d’économétrie donne les statistiques t associées aux
coefficients estimés, il s’agit de statistiques appropriées pour tester l’hypothèse nulle que le
coefficient est égal à zéro.
8.3 Hypothèse alternative unilatérale
– Ensuite, si l’hypothèse alternative est unilatérale, il faut distinguer entre les deux cas pos-
sibles.
1. D’abord,
H1 : β1 > β1,0.
Nous rejetons l’hypothèse nulle si la statistique calculée est suffisamment positive. La
42

p-value = Pr z > tact
= 1 − Φ tact
.
2. La deuxième possibilité est :
H1 : β1 < β1,0.
Nous rejetons l’hypothèse nulle si la statistique calculée est suffisamment négative. La
p-value = Pr z < tact
= Φ tact
.
9 Intervalles de confiance pour les coefficients
– Le principe est identique que pour l’estimateur de la moyenne de la population que nous
avons vu dans le chapitre sur l’inférence statistique.
– Pour calculer les deux bornes de l’intervalle de confiance de X%, d’abord on cherche la
valeur de z > 0 tel que
Φ(−z) =
1 − X/100
2
.
Donc, on cherche la valeur de z > 0 pour laquelle (100−X)
2
% de la distribution normale
centrée réduite se trouve à gauche de −z. Cela veut dire bien sûr que (100−X)
2
% de la distri-
bution normale centrée réduite se trouve à droite de z.
– Nous avons (pour ˆβ1 : le principe pour ˆβ0 est identique) :
X
100
= Pr −z ≤
ˆβ1 − β1
ˆσˆβ1
≤ z
= Pr −zˆσˆβ1
≤ ˆβ1 − β1 ≤ zˆσˆβ1
43

= Pr −zˆσˆβ1
≤ β1 − ˆβ1 ≤ zˆσˆβ1
= Pr ˆβ1 − zˆσˆβ1
≤ β1 ≤ ˆβ1 + zˆσˆβ1
,
où ˆσˆβ1
≡ SE ˆβ1 , notre estimateur convergent de l’écart type de β1.
– Cela implique que l’intervalle de confiance de X% autour de ˆβ1 peut être écrit de la façon
suivante :
ˆβ1 ± zˆσˆβ1
,
où
Φ(−z) =
1 − X/100
2
.
9.1 Intervalles de confiance pour les prédictions
Souvent, on estime un modèle de régression pour prédire l’impact du changement de la variable
explicative sur la variable dépendante. Par exemple, dans le cadre du modèle développé en détail
dans le manuel, on pourrait vouloir prédire l’impact sur le rendement scolaire d’une réduction de
la taille moyenne des classes de deux éleves. Soit ∆X le changement proposé de la valeur de la
variable explicative. On a tout de suite
∆ˆYi = ˆβ1∆Xi,
où ∆ˆYi est le changement prédit de la variable dépendante. Développer un intervalle de confiance
dans ce cas est facile. Le changement posé ∆X est connue. On peut le traiter comme une constante,
et donc nous avons
Var ∆ˆYi = Var ˆβ1∆Xi
= (∆Xi)2
Var ˆβ1
44

Donc, procédant de la même manière que pour l’intervalle de confiance pour ˆβ1 lui-même on a
X
100
= Pr

−z ≤
∆Xi
ˆβ1 − β1
(∆Xi) σˆβ1
≤ z


= Pr −z (∆Xi) σˆβ1
≤ ∆Xi
ˆβ1 − β1 ≤ z (∆Xi) σˆβ1
≤ ∆Xi β1 − ˆβ1 ≤ z (∆Xi) σˆβ1
+ ∆Xi
ˆβ1 ≤ ∆Xiβ1 ≤ z (∆Xi) σˆβ1
+ ∆Xi
ˆβ1 .
Donc, l’intervalle de confiance pour le changement prédit est donné par
∆Xi
ˆβ1 ± z (∆Xi) σˆβ1
Si nous remplaçons l’écart type de ˆβ1 par un estimateur convergent (notre truc habituel), l’intervalle
de confiance peut s’écrire
∆Xi
ˆβ1 ± z (∆Xi) ˆσˆβ1
10 Un exemple d’estimation du modèle de régression simple
avec R
Voici un exemple de comment estimer un modèle de régression simple avec le logiciel R.
L’exemple provient de Kleiber et Zeileis (2008, chapitre 3), qui contient une analyse beaucoup plus
de détaillée. Vous pouvez facilement jouer avec le code une fois que le logiciel est installé. Le but
du modèle est de prédire la demande pour les abonnements à des revues scientifiques (abonnements
par des bibliothèques universitaires) où la variable explicative est le prix par nombre de citations.
Le modèle est
ln (subsi) = β0 + β1 ln (citepricei) + ui,
45

où la variable dépendante subsi est le nombre d’abonnements à la revue i (mesuré en logs), et la
variable explicative citepricei est le prix annuel d’un abonnement divisé par le nombre de citations
annuel d’articles publiés dans la revue (mesuré aussi en logs). Notez que le choix de mesurer les
deux variables en logs est celui des auteurs. Nous allons revenir sur cette question dans le chapitre
sur les modèles de régression non linéaires. 4
Les données sont dans une banque de données qui s’appelle Journals . Il s’agit de
données (avec n = 180) sur les abonnements par des bibliothèques universitaires à des revues
scientifiques. La taille de l’échantillon est le nombre de revues dans l’échantillon.
Afin d’effectuer l’estimation d’un modèle de régression simple de base et afin d’effec-
tuer tous les calculs et tous les tests, il faut non seulement la version de base de R mais
aussi les packages AER (qui contient les données utilisées pour estimer le modèle),
lmtest, sandwich et zoo (ces trois packages permettent de calculer les écarts types ro-
bustes du modèle estimé et d’effectuer des tests d’hypothèse utilisant les écarts types ro-
bustes). Si les packages ne sont pas déjà installés, il faut les installer avec la commande
install.packages(·) :
install.packages("AER")
install.packages("lmtest")
install.packages("zoo")
install.packages("sandwich")
Notez que sous Linux il est préférable d’installer le package comme administrateur du système
ou super-utilisateur. Pour le faire, invoquer le logiciel R avec la commande sudo R.
Une fois les packages installés, on peut procéder à charger les données et estimer le modèle
par MCO. Dans le code R qui suit, j’ajoute des commentaires pour expliquer ce que font les
4. Entretemps, à moins d’avis contraire, je vous demande d’utiliser des variables non transformées dans les exer-
cices empiriques.
46

commandes. Les lignes précédées par # sont des commentaires.
R> # Charger les données.
R> library("AER")
R> data("Journals")
R> # Permettre d’appeler les variables directement par leurs
noms.
R> attach(Journals)
R> # Calculer des statistiques descriptives concernant les
variables.
R> # summary(Journals)
R> # Créer une base de données avec un sous-ensemble des
variables.
R> journals <- Journals[, c("subs", "price")]
R> # Ajouter le prix par citation à la base de données
restreinte.
R> journals$citeprice <- Journals$price / Journals$citations
R> # Permettre d’appeler les variables dans journals
directement.
R> attach(journals)
R> # Produire un nuage de points avec les abonnements et le
prix par citation.
R> plot(log(subs) ∼ log(citeprice), data = journals)
R> # Estimer le modèle par MCO utilisant la commande lm(·).
R> # Les résultats sont stockés dans l’objet jour lm.
R> jour lm <- lm(log(subs) ∼ log(citeprice))
R> # Ajouter la ligne de régression estimée au nuage de
47

points.
R> abline(jour lm)
R> # Calculer des statistiques de base avec l’output de
l’estimation.
R> summary(jour lm)
R> # Ouvrir un fichier pour contenir ces statistiques.
R> # Le nom du fichier est regumm.out .
R> outfile <- file("regsumm.out", "w")
R> capture.output(summary(jour lm), file=outfile)
R> # Fermer le fichier qui contient l’output.
R> close(outfile)
Résumons ce que nous avons fait avec ces commandes.
– La commande data(·) charge la banque de données en mémoire.
– La commande journals<- crée une plus petite banque de données en extrayant les
variables subs (combien d’abonnements) et price (prix de l’abonnement).
– La commande journals$citeprice<- ajoute une nouvelle variable à la banque
journals qui est le prix par citation.
– La commande plot(·) crée un graphique avec les observations, avec subs (en loga-
rithmes) sur l’axe vertical et citeprice (en logarithmes) sur l’axe horizontal)
– La commande lm(·) estime le modèle de régression simple par MCO, et la commande
jour lm<- place les résultats dans la variable jour lm.
– La commande abline(·) utilise les résultats pour placer la ligne de régression sur le
graphique qui a déjà été créé.
– La commande summary(·) imprime les résultats de la régression à l’écran.
– La commande outfile<- crée un fichier texte où on peut envoyer les résultats.
– La commande capture.output(·) envoie les résultats dans le fichier qui a été créé.
48

– La commande close(·) ferme le fichier.
Les résultats de l’estimation sont comme suit.
Call:
lm(formula = log(subs) ∼ log(citeprice), data = journals)
Residuals:
Min 1Q Median 3Q Max
-2.72478 -0.53609 0.03721 0.46619 1.84808
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.76621 0.05591 85.25 <2e-16 ***
log(citeprice) -0.53305 0.03561 -14.97 <2e-16 ***
—
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.7497 on 178 degrees of freedom
Multiple R-squared: 0.5573, Adjusted R-squared: 0.5548
F-statistic: 224 on 1 and 178 DF, p-value: < 2e-16
Vous êtes déjà en mesure de comprendre tous les éléments de l’output, sauf à la toute fin lors-
qu’on mentionne Adjusted R-squared et F-statistic. La mesure de l’ajustement
statistique R2
que nous avons étudiée est ce qu’on appelle Multiple R-squared dans
l’output. Nous reviendrons sur ces statistiques dans le chapitre sur le modèle de régression
multiple.
En ce qui concerne les résidus, le logiciel nous donne la valeur minimale parmi les résidus,
49

la valeur associée au premier quartile (la valeur pour laquelle 25% des résidus on une valeur
inférieure), la valeur médiane (qui n’est pas forcément égale à la moyenne), la valeur associée
au troisième quartile, et la valeur maximale. Ces valeurs (surtout les valeurs minimale et maxi-
male) peuvent être utiles pour repérer des observations aberrantes.
Une mise en garde : le code ci-dessus estime le modèle par MCO utilisant les options
par défaut. La fonction lm utilise par défaut une hypothèse d’homoscédasticité. Donc, les
écarts types des deux coefficients (ˆβ0 et ˆβ1 dans notre notation) ne sont pas des écarts types
robustes. Afin d’obtenir des écarts types robustes à la présence de l’hétéroscédasticité, il faut
utiliser la commande suivante :
R> coeftest(jour lm, vcov=vcovHC)
Notez que pour utiliser cette commande, il faut que les packages sandwich, zoo et
lmtest soit intallés, tel qu’indiqué ci-dessus. Il faut aussi charger en mémoire les packages
lmtest (qui va automatiquement charger zoo aussi) et sandwich avant d’utiliser la com-
mande coeftest(·), avec les commandes suivantes :
R> library("lmtest")
R> library("sandwich")
Les résultats de cette commande sont comme suit :
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.7662 0.0555 85.8 <2e-16
log(citeprice) -0.5331 0.0345 -15.5 <2e-16
Ce modèle est un exemple d’un modèle où il n’y a pas une différence énorme entre les écarts
types robustes et non robustes. Puisque l’ordinateur est capable de calculer les écarts types en
une fraction de seconde, il coûte presque rien de les calculer des deux façons afin de vérifier si
50

les résultats sont semblables ou non.
Un graphique avec les données (variable dépendante sur l’axe vertical et variable explica-
tive sur l’axe horizontal) et la ligne de régression est la Figure 2 ci-dessous.
Figure 2
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
−4 −2 0 2
1234567
log(citeprice)
log(subs)
11 Le modèle de régression simple lorsque X est une variable
dichotomique
Jusqu’ici, nous avons supposé que la variable explicative dans le modèle de régression simple,
X, est une variable aléatoire continue. Il es souvent le cas que la variable explicative est une
variable qualitative qui ne peut prendre que deux valeurs : oui ou non, vrai ou faux, présent ou
51

absent, etc.
On peux représenter ces deux valeurs possibles de la variable explicative variable dichotomi-
que par soit 0 soit 1. Dans l’example du livre, l’impact de la taille des classes sur le rendement
scolaire dans les conseils scolaires en Californie, on aurait pu avoir des données sur la taille des
classes où Di = 1 pour des ratios élèves/professeurs inférieurs à 20 est Di = 0 pour des ratios
élèves/professeurs au moins égaux à 20.
Dans ces cas, β1 n’a pas l’interprétation d’un coefficient de pente. Il a l’interprétation de la
moyenne conditionnelle de la variable dépendante Y lorsque Di = 1. L’ordonnée β0 a l’in-
terprétation de la moyenne conditionnelle de Y lorsque Di = 0. Donc, β1 a l’interprétation de
la différence entre les moyennes de deux populations ou plutôt de sous-populations.
Algébriquement, nous avons
Yi = β0 + β1Xi + ui
⇒ E (Yi|Xi = 0) = β0 + β1 × 0 + E (ui|Xi = 0) = β0
et
⇒ E (Yi|Xi = 1) = β0 + β1 × 1 + E (ui|Xi = 1) = β0 + β1.
On écrit dans le manuel qu’il y a équivalence entre d’une part estimer le modèle de régression
simple par MCO avec une variable explicative X et d’autre part calculer les moyennes échantillon-
nales des sous-échantillons. Dans l’encadré qui suit, je montre cette équivalence. Je montre aussi
l’équivalence entre tester la significativité du coefficient estimé ˆβ1 et tester la significativité de la
différence entre deux moyennes.
Le modèle avec une variable explicative dichotomique peut s’écire
Yi = β0 + β1Di + ui,
où Di prend deux valeurs possibles, soit 0 soit 1. Soit n1 le nombre d’observations pour les-
52

quelles Di = 1 et soit n0 le nombre d’observations pour lesquelles Di = 0. Il est clair que
¯D ≡
1
n
n
i=1
Di =
n1
n
.
L’estimateur ˆβ0 est donné par la formule habituelle
ˆβ0 = ¯Y − ˆβ1
¯D.
L’estimateur ˆβ1 est donné par la formule habituelle
ˆβ1 =
n
i=1 Yi − ¯Y Di − ¯D
n
i=1 Di − ¯D
2 .
Dans ce cas, avec Di une variable dichotomique, nous avons
n
i=1
Di − ¯D
2
=
n0
i=1
¯D2
+
n1
i=1
1 − ¯D
2
= n0
n1
n
2
+ n1 1 −
n1
n
2
= n0
n1
n
2
+ n1
n0
n
2
=
n0n1
2
+ n1n0
2
n2
=
n0n1 (n0 + n1)
n2
=
n0n1
n
.
Définissons Y 1
i la valeur de Yi dans le cas où Di = 1. Définissons Y 0
i la valeur de Yi dans le
53

cas où Di = 0. Nous avons
ˆβ1 =
n
i=1 Yi − ¯Y Di − ¯D
n0n1/n
=
n1
i=1 Y 1
i − ¯Y (1 − n1/n) − n0
i=1 Y 0
i − ¯Y (n1/n)
n0n1/n
=
n1
i=1 Y 1
i − ¯Y (n0/n) − n0
i=1 Y 0
i − ¯Y (n1/n)
n0n1/n
=
1
n1
n1
i=1
Y 1
i − ¯Y −
1
n0
n0
i=1
Y 0
i − ¯Y
=
1
n1
n1
i=1
Y 1
i −
1
n1
¯Y
n1
i=1
1 −
1
n0
n0
i=1
Y 0
i +
1
n0
¯Y
n0
i=1
1
=
1
n1
n1
i=1
Y 1
i −
n1
n1
¯Y −
1
n0
n0
i=1
Y 0
i +
n0
n0
¯Y
=
1
n1
n1
i=1
Y 1
i −
1
n0
n0
i=1
Y 0
i .
Ceci est tout simplement la différence entre la moyenne échantillonnale de Y pour le sous-
échantillon où Di = 1 et sa moyenne échantillonnale pour le sous-échantillon où Di = 0.
Il faut maintenant montrer que ˆβ0 est tout simplement égal à la moyenne échantillonnale
de Y pour le sous-échantillon où Di = 0. Nous avons
ˆβ0 = ¯Y −
n1
n
n
i=1 Yi − ¯Y Di − ¯D
n0n1/n
= ¯Y −
n1
n
n1
i=1 Y 1
i − ¯Y (1 − n1/n) − n0
i=1 Y 0
i − ¯Y (n1/n)
n0n1/n
= ¯Y −
n1
n
n0
n
n1
i=1 Y 1
i − n1
n
n0
i=1 Y 0
i − ¯Y n0n1
n
+ ¯Y n0n1
n
n0n1/n
= ¯Y −
n1
n
n0
n
n1
i=1 Y 1
i − n1
n
n0
i=1 Y 0
i
n0n1/n
54

=
1
n
n
i=1
Yi −
1
n
n1
i=1
Y 1
i +
n1
n0n
n0
i=1
Y 0
i
=
1
n
n1
i=1
Y 1
i +
n0
i=1
Y 0
i −
1
n
n1
i=1
Y 1
i +
n1
n0n
n0
i=1
Y 0
i
=
1
n
+
n1
n0n
n0
i=1
Y 0
i
=
1
n0
n0
i=1
Y 0
i ,
ce qui fut à démontrer. La statistique t pour tester la significativité du coefficient estimé ˆβ1 est
donnée par la formule habituelle :
t =
ˆβ1
SE ˆβ1
.
Dans ce cas, nous avons
t =
¯Y 1
− ¯Y 0
Var ¯Y 1 − ¯Y 0
,
=
¯Y 1
− ¯Y 0
Var ¯Y 1 + Var ¯Y 0
,
=
¯Y 1
− ¯Y 0
− 0
σ2
Y 1
n1
+
σ2
Y 0
n0
,
où
¯Y 1
≡
1
n1
n1
i=1
Y 1
i , ¯Y 0
≡
1
n0
n0
i=1
Y 0
i .
Cette formule correspond exactement à la formule dérivée dans le chapitre sur la statistique
et les tests d’hypothèses pour tester la différence entre les moyennes de deux populations
différentes.
Ici, l’hypothèse d’hétéroscédasticité permet à la variance de l’erreur du modèle de
régression de dépendre des deux valeurs différentes possibles de Di.
55

12 Concepts à retenir
– Comment écrire le modèle de régression simple.
– Le problème de minimisation auquel l’estimateur MCO est une solution.
– Les propriétés algébriques de l’estimateur MCO. Il est important de pouvoir suivre les
démonstrations de ces propriétés et de les comprendre, mais il n’est pas nécessaire d’être
capable de les reproduire.
– Le concept du R2
, et les concepts de somme totale des carrés, somme expliquée des carrés,
et somme des résidus carrés et la relation entre ces sommes.
– Les hypothèses statistiques de base du modèle de régression simple qui sont requises pour
montrer l’absence de biais et la convergence.
– Les hypothèses additionnelles nécessaires pour montrer l’efficience de l’estimateur MCO
(théorème Gauss-Markov).
– Il faut avoir suivi et compris la dérivation des propriétés échantillonnales des coefficients
estimés.
– Comment tester des hypothèses concernant les coefficients estimés du modèle, contre des
hypothèses alternatives bilatérales ou unilatérales.
– Comment calculer un intervalle de confiance pour les coefficients du modèle.
– Comment calculer un intervalle de confiance pour un changement prédit.
13 Références
Voir ce lien :
http://www.er.uqam.ca/nobel/r10735/4272/referenc.pdf
Dernière modification : 12/10/2013
56

Regsimple

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Similar a Regsimple

Similar a Regsimple (20)

Más de mohamedchaouche

Más de mohamedchaouche (17)

Regsimple