1. Teorema de Gauss-Markov.
Este teorema demuestra que el estimador MCO deβ es el que tiene
mínima varianza dentro de la familia de estimadores lineales e
insesgados.
La varianza del estimador MCO de β tiene la expresión
2 1
var( ) ( )T
X Xβ σ −
= . La expresión del estimador MCO de β es WYβ =
donde 1
( )T T
W X X X−
= . Denotando por *
CYβ = , donde C W≠ , tendré
todos los estimadores de β distintos al MCO y lineales. Para que
además, *
β sea insesgado, se tendrá que cumplir que *
( )E β β= . Por
tanto, la *
( ) [ ( )]E E C X CXβ β ε β= + = y habrá que imponer que kCX I= .
La varianza del estimador de β llamado *
β es:
* * * 2
var( ) [( )( ) ] ( )T T T T
E E C C CCβ β β β β εε σ= − − = =
Aunque todavía no son comparables ambas matrices de varianzas y
covarianzas, es posible siempre descomponer una matriz fija como la C
en la suma de otras dos: C W D= + , donde 0D ≠ y postmultiplicando por
la matriz X esa identidad, tenemos que CX WX DX= + . Como kCX I= ,
por insesgadez y kWX I= , por definición, es obvio que 0DX = . Por
tanto:
* 2 2 2 2 2 2
var( ) ( )( )T T T T T T
CC W D W D WW DD DW WDβ σ σ σ σ σ σ= = + + = + + +
teniendo en cuenta que 1
( )T T
WW X X −
= y 0T T
DW WD= = , se obtiene :
* 2 1 2 * 2
var( ) ( ) var( ) var( )T T T
X X DD DDβ σ σ β β σ−
= + ⇒ = +
y la matriz 2 T
DDσ es definida positiva por construcción.