inversa generalizada

1. Sobre Matrices Inversas Generalizadas
1
SOBRE INVERSAS GENERALIZADAS Y SU APLICACIÓN
EN LA REGRESIÓN
José Carlos de Miguel Domínguez
Agustín Ramos Calvo
Dpto. de Métodos Cuantitativos
para la Economía y la Empresa
Fac. de C.C.E.E. Santiago de C.
0.- INTRODUCCIÓN
El uso de Matrices Inversas Generalizadas aparece constantemente en
aplicaciones estadísticas; sin embargo, su tratamiento se reduce a los lugares en que
son utilizadas y resaltando -unicamente- aquellas propiedades que son necesarias
para cada Ejemplo concreto. Así, unas veces su aplicación responde a fines
meramente pedagógicos, mientras que en otras su interés responde a facilitar los
cálculos y la comprensión.
Como ejemplo de todo ello pueden citarse:
1. Método de Mínimos Cuadrados y Estimación Insesgada.
2. Estimación recursiva y Mínimos Cuadrados secuenciales.
3. Distribución Normal Multivariante y problemas predictivos asociados.
4. Problemas relativos al Análisis de la Varianza.
5. Problemas relativos al Análisis Discriminante.
6. Análisis del modelo de regresión generalizado en Métodos Econométricos.
Como se establece al final de la comunicación; en un modelo lineal de
regresión, la predicción, el estimador de una combinación lineal y la S.C.E. son
independientes de la inversa generalizada utilizada.
También es conocido el hecho de que existen distintos tipos de Matrices
Inversas Generalizadas, entre las que destaca el concepto de Inversa de Moore-
Penrose, que- entre otras- goza de la propiedad de su unicidad. De modo general,
pueden distinguirse distintos tipos de ellas que obedecen a las siguientes
condiciones:
Dada una matriz A arbitraria, dependiendo de las condiciones exigidas, las
distintas clases de inversas generalizadas más usuales són:
φ1 : A A-
A = A (Inversa Generalizada)

2. Sobre Matrices Inversas Generalizadas
2
φ2 : A A-
A = A ; A-
A A-
= A (Inv. Generalizada Reflexiva)
φ3 : A A-
A = A ; A-
A A-
= A ; ( A A-
)´ = A A-
(Inv. Gen. Normalizada)
φ4 : A A-
A = A ; A-
A A-
= A ; ( A A-
)´ = A A-
; ( A-
A )´ = A-
A
(1)
1.- CONCEPTO Y PROPIEDADES DE LA INVERSA MP
Es conocido el hecho de que la última clase de matrices recibe el nombre de
Inversa de Moore - Penrose (MP) y es debida a Penrose (1955), cuyos trabajos
constituyen una profundización de los primeros estudios debidos a Moore (1920).
Además, dicha clase se reduce a un solo elemento, ya que la matriz que cumple
dichas condiciones es única:
Teorema 1.- Si son K y L dos inversas MP de A entonces K = L. Como puede
observarse en la demostración se utilizan todas las propiedades enunciadas:
K = K A K = (KA)’ K = A’ K’ K = (ALA)’ K’ K = A’ L’ A’ K’ K
=
= (LA)’ (KA)’ K = L A K A K = L A K = L (ALA) K = L (AL)’ A K =
L’A’AK = LL’A’ (AK)’ = L L’A’ K’ A’ = L L’A’ = L (AL)’ = L A L =
L.
Antes de obtener la inversa MP, se establecen algunos resultados que serán
útiles en las demostraciones de resultados posteriores:
Lema 1.- Para cualquier matriz X (mxn) se cumple; X’ X = 0 si y solo si X = 0.
Es consecuencia inmediata de que en la diagonal principal de la matriz X’
X están las sumas de los cuadrados de los elementos de las columnas de la matriz
X.
Lema 2.- Para matrices arbitrarias P,Q : P X’ X = Q X’ X implica P X’ = Q X’ .
La demostración se obtiene aplicando el lema anterior a la expresión:
(PX’X - QX’X) (P - Q) = (PX’ - QX’) (PX’ - QX’)’ = 0
Lema 3.- Si para una matriz B arbitraria ocurre que BB’ = B, (o bien B’B = B)
dicha matriz es simétrica, como se comprueba trivialmente hallando traspuestas en
la igualdad correspondiente.
Teorema 2.- Las cuatro condiciones de la definición de inversa MP son
equivalentes a las dos siguientes:
i.- K A A’ = A’ ii.- A K K’ = K’
Demostración.- Para establecer la necesidad basta tener en cuenta que las
condiciones i. , iii. de la definición inicial implican:
A = AKA = A(KA)’ = AA’K’ , o bien (trasponiendo): K A A’ = A’
1 Como se demostrará en el teorema 2, las condiciones pueden ser reducidas a solo dos.

3. Sobre Matrices Inversas Generalizadas
3
Viceversa; Si AA’K’ = A, pre-multiplicando por K resulta KA (KA)’ = KA.
Como consecuencia del lema 3 la matriz KA es simétrica y así: A = AA’K’ =
A(KA)’ = AKA, (que es la condición i).
Las condiciones ii. y iv. se obtienen igualmente a partir de 2.
Lema 4.- (Descomposición espectral de una matriz) Si es A una matriz m x n de
rango r, existen matrices B (m x r) y C (n x r) tales que :
B´B = Ir ; C´C = Ir cumpliendo que A = B ΛΛ C´
siendo Λ una matriz diagonal con elementos positivos (concretamente, la matriz
formada por los autovalores de la matriz A´A, que es semidefinida positiva).
Salvo indicación en otro sentido, en adelante se denota Ag la inversa MP de A.
Teorema 3.- Se verifica que:
i.- AgA y AAg son matrices idempotentes (luego semidefinidas positivas)
ii.- ( A’) g = ( A g)’. (la traspuesta de la inversa es la inversa de la
traspuesta)
iii.- rang (A) = rang (Ag) = rang (AAg) = tr (AAg) = rang (AgA) = tr
(AgA).
iv.- Si A es simétrica e idempotente, entonces Ag = A
v.- ( Ag) g = A.
vi.- ( A Ag) g = A Ag y (Ag A ) g = Ag A
vii.- Las columnas de Ag y las de A´
generan el mismo subespacio.
Demostración.-
i.- Es inmediato comprobar que ambas matrices son idempotentes (y por
consiguiente semidefinidas positivas y así sus autovalores son 0 ó 1) ya que se
verifica:
(Ag A) (Ag A) = Ag A Ag A = Ag (A Ag A) = Ag A
(A Ag) (A Ag) = A Ag A Ag = (A Ag A) Ag = AAg
ii.- Basta usar la traspuesta en las propiedades de la definición.
iii.- El hecho de que el rango de las matrices señaladas sea igual a su traza
es debido al hecho de que son idempotentes. Por otro lado:
rang (A) = rang(AAgA) = min {rang (AAg),rang (A)}=rang(AAg) = rang(Ag)
rang (Ag) = rang (AgAAg) = min {rang(AgA) , rang(Ag)} = rang(AgA) =
rang(A)
iv) y v).- Es trivial establecerlos.
vi.- Es consecuencia inmediata de iv).
vii.- Supuesto es y un vector perteneciente al subespacio generado por las
columnas de Ag, entonces se podrá escribir en la forma y = Ag x1, así:
y = Ag x1 = Ag A Ag x1 = A’ (Ag)’ Ag x1 = A’ x2 siendo x2 = (Ag)’Ag
x1.

4. Sobre Matrices Inversas Generalizadas
4
Viceversa, si es y un vector combinación lineal de las columnas de A’ entonces se
tiene:
y = A’ x1 = A’ (Ag)’ A’ x1 = Ag A A’ x1 = Ag x2 ; x2 = A A’ x1
Teorema 4.- (A’A)g = AgAg
’.
Demostración.- Se comprueban todas las propiedades.
i.- (A’A) (AgAg
’) (A’A) = A’A AgAg
’ A’A = A’A Ag (AAg)’ A =
= A’A Ag A Ag A = A’ AAgA A = A’A
ii.- (AgAg
’) (A’A) (AgAg
’) = Ag (Ag
’A’) AAgAg
’ = AgAAg A Ag Ag
’
= Ag AAgAg
’ = AgAg
’.
iii.- (A’A) (AgAg
’) = A’ (A Ag)’Ag
’ = A’Ag
’ A’Ag
’ = A’Ag
’ = AgA.
iv.- (AgAg
’) (A’A) = Ag (Ag
’A’) A = Ag (AAg)’ A = AgAAgA =
AgA.
y las dos últimas son, obviamente, simétricas.
Del teorema establecido, se obtiene Ag = AgAAg = Ag(AAg)’ =
AgAg
’A’ = (A’A)gA´ . Además, si es A una matriz tipo (m,n) de rango n (full
rank), entonces la matriz A’A es no singular, por lo que se tiene:
Corolario.- i.- Ag = (A’A)g A’ ; ii.- Ag = (A’A)-1 A’.
Obsevación.- Es posible establecer el corolario 1 anterior sin necesidad de utilizar
el teorema que le precede, bien usando la descomposición espectral de la matriz A,
bien directamente como se muestra a continuación:
Ag = (A’A)g A’
(1).- Para ver que A (A’A)g A’ = A:
A (A’A)g A’ A = AAgA (A’A)g A’A = (AAg)’A (A’A)g A’A =
= (Ag)’A’A (A’A)g A’A = (Ag)’A’A = A Ag A = A.
(2).- [(A’A)g A’] A ([A’A)g A’] = [(A’A)g A’A (A’A)g] A’ = (A’A)g A’
(3).- [ A (A’A)g A’]’= A (A’A)g’ A’ = A (A’A)g A’.
(4).- [(A’A)g A’A]’= (A’A)g A’A
Teorema 5.- Si A es simétrica, entonces AAg = AgA.
Demostración.- Ya es conocido el hecho de que (Ag)’ = (A’)g, luego:
AAg = (AAg)’ = Ag
’A’ = AgA.

5. Sobre Matrices Inversas Generalizadas
5
Teorema 6.- Si son P (m,m) y Q (n,n) dos matrices ortogonales y es A una
matriz (m,n), entonces:
( P A Q)g = Q’ Ag P’.
Demostración.-
i.- (PAQ) Q’AgP’ (PAQ) = PAQ Q’AgP’ PAQ = P AAgA Q = PAQ.
ii.- Q’AgP’ (PAQ) Q’AgP’ = Q’Ag P’P A QQ’ Ag P’ = Q’AgP’.
iii.- (PAQ) Q’AgP’ = PA QQ’ Ag P’ = P (AAg) P’ simétrica.
iv.- Q’AgP’ (PAQ) = Q’Ag P’P A Q = Q’ (AgA) Q simétrica.
Observación.- En general, no es cierto que ( A B )g = Bg Ag aunque la
igualdad sí se cumple en algunos Ejemplos. Por ejemplo, es cierto para las
matrices del teorema 10 y también es cierto en las que siguen:
Teorema 7.- Si son B y C del tipo (m,r) y (r,n) y rango r; entonces: ( B C )g
= Cg Bg
Demostración.- Por los corolarios 2 y 3 anteriores: Bg = (B’B)-1B’ ; Cg =
C’(CC’)-1
de donde resulta:
i.- (BC) CgBg (BC) = BC C’(CC’)-1 (B’B)-1B’ = BC
ii.- CgBg (BC) CgBg = C’(CC’)-1(B’B)-1B’ (BC) C’(CC’)-1(B’B)-1B’
=
= C’ (CC’)-1 (B’B)-1 B’B CC’ (CC’)-1 (B’B)-1 B’ =
= C’ (CC’)-1 (B’B)-1 B’ = Cg Bg.
iii.- (BC)CgBg = BC C’(CC’)-1 (B’B)-1B’ = B CC’ (CC’)-1 (B’B)-1B’ =
= B (B’B)-1 B’, simétrica.
iv.- CgBg (BC) = C’(CC’)-1 (B’B)-1B’ (BC) = C’(CC’)-1 (B’B)-1 B’B C
=
= C’ (CC’)-1 C, simétrica.
Se exponen, a continuación, algunos resultados muy útiles para los cálculos
y obtención de la solución de un sistema de ecuaciones lineales, así como en los
cálculos relativos al análisis de la varianza.
Teorema 8.- Si A es una matriz (m,n). Entonces:
i.- I-AAg , I-AgA son simétricas e idempotentes.
ii.- (I-AAg) A = 0 ; Ag (I-AAg) = 0.
iii.- (I-AAg) AAg = AAg (I-AAg) = 0.
iv.- (I-AgA) AgA = AgA (I-AgA) = 0.

6. Sobre Matrices Inversas Generalizadas
6
Demostración.- Por definición de inversa MP, las matrices AgA y AgA son
simétricas, y por el teorema 9.i. son idempotentes, luego:
i.- (I-AAg) (I-AAg) = I - AAg - AAg + AAgAAg = I - AAg
Análogamente: (I-AgA) (I-AgA) = I - AgA - AgA + AgAAgA = I-
AgA.
El mismo procedimiento conduce a establecer el resto.
2.- OBTENCIÓN DE LA INVERSA MP
Una primera expresión teórica de la inversa MP y algunas de sus
propiedades vienen dadas en el siguiente desarrollo:
1ª Forma.- La matriz A+
= C Λ-1
B´ es, entonces, la inversa
generalizada de Penrose, ya que:
i .- A A+
A = B ΛΛ C´ C ΛΛ-1
B´
B ΛΛ C´ = B ΛΛ C´ = A
ii .- A+
A A+
= C ΛΛ-1
B´
B ΛΛ C´ C ΛΛ-1
B´
= A+
iii .- (A A+
)´ = (B ΛΛ C´ C ΛΛ-1
B´
)´ = (BB´)´ = A A+
iv .- ( A+
A ) = (C ΛΛ-1
B´
B ΛΛ C´)´ = ( CC´ )´ = CC´ = A+
A
Con la expresión obtenida, es inmediato comprobar las siguientes propiedades
generales señaladas en el teorema 3 para este caso particular de la inversa MP:
a.- (A+
)+
= A
b.- (A+
)´ = (A´ )+
c.- A+
A y A A+
son idempotentes ( y, por tanto,
semidefinidas positivas )
d.- ( A´ A )+
A´ = A+
e.- Las columnas de A+
y A´ generan el mismo subespacio de
ℜℜn
.
Es posible establecer dichas propiedades con cálculos inmediatos y
utilizando las propiedades enunciadas, aunque no conocemos ninguna
demostración directa de la propiedad d) (para la que suele usarse siempre la
expresión obtenida de C Λ-1
B´) ( 2)
2ª Forma : Supuesto la matriz buscada es de la forma K = TA’ para
alguna matriz T, se satisface la condición i) si es que se cumple: T A’ A A’ = A’
(*)
y como dicha condición implica i (de la definición), entonces:
2 Dicha demostración se obtiene inmediatamente como sigue:
a.- A(A´A)+
A´A = AA+
A(A´A)+
A´A = (AA+
)´A(A´A)+
A´A = A+
´A´ A (A´A)+
A´A = A+
´A´A = AA+
A = A
b.- ((A´A)+
A´) A ( (A´A)+
A´) = (A´A)+
A´ A (A´A)+
A´ = (A´A)+
A´
c.- [ A (A´A)+
A´ ]´ = A (A´A)+´
A´ = A (A´A)+
A´
d.- [ (A´A)+
A´ A ]´ = (A´A)+
A´ A

7. Sobre Matrices Inversas Generalizadas
7
A’K’A’ = A’
en la que pre-multiplicando por T se obtiene:
T A’ K’ A’ = T A’ ; es decir, K K’ A’ = K, que es
la condición 2.
Se ha demostrado así que si K = TA’ siendo T una matriz que satisface (*)
y, por consiguiente, K es la inversa de Penrose.
Para obtener la matriz adecuada T basta considerar la matriz cuadrada y
simétrica A’A. Como consecuencia del teorema de Hamilton-Cayley (3)
existen
escalares µ 1 , µ2 , . . . , µt no todos nulos y cumpliendo que:
µ 1 (A’A) + µ 2 (A’A)2 + . . . + µ t (A’A)t = 0
Por consiguiente, si es µ r el primero de dichos escalares no nulo, la matriz T
buscada es:
T = (-1/µr) [ µr+1 I + µr+2 (A’A) + . . . + µ t (A’A)t-r+1]
Para demostrar que T satisface -efectivamente- la condición exigida, basta tener en
cuenta que:
T(A’A)r+1 = (-1/µr) [ µr+1 (A’A)r+1 + µr+2 (A’A)r+2 + . . . + µt
(A’A)t]
= (-1/µr) [ -µ1 (A’A) - µ2 (A’A)2 + . . . + µr(A’A)r ].
Como se ha elegido µ r el primer escalar no nulo de la combinación lineal, lo
anterior se reduce a:
T ( A’ A ) r+1 = ( A’ A ) r
Aplicando repetidamente el lema 2 a la expresión se reduce a la expresión buscada
T A’AA’ = A’.
3.- SITUACIÓN PARTICULAR DE LA REGRESIÓN.
El estudio de modelos lineales conduce, en muchos casos, a la resolución de
las ecuaciones normales de la forma X’X b = X’y. De ahí que tenga especial
interés el estudio de las propiedades de la inversa de la matriz X’X en el caso de
multicolinealedad (la matriz no es de rango pleno).
Teorema 9.- Si G es una g-inversa (no necesariamente la MP) de la matriz X’X
entonces se tiene:
1.- G’ es tamién una g-inversa de X’X.
2.- XGX’X = X; es decir, GX’ es una g-inversa de X
3 “Toda matriz cuadrada, satisface su propia ecuación característica”

8. Sobre Matrices Inversas Generalizadas
8
3.- XGX’ es invariante respecto a G.
4.- XGX’ es simétrica, independientemente de que G lo sea o no.
Demostración.- 1.- Como por definición G cumple que X’XGX’X = X’X, basta
trasponer para obtener X’XG’X’X = X’X. Además, aplicando el lema 2 a esta
última expresión se obtiene 2.
3.- Supuesto es F otra g-inversa diferente de G; por el apartado 2 del
enunciado se obtiene: XGX’X = X = XFX’X y aplicando el lema 2 a esa igualdad
resulta el enunciado.
4.- Si es S una g-inversa de X’X que es simétrica (4) , por el apartado
anterior se tiene XGX’= XSX’, y la última expresión es simétrica.
Corolario.- Aplicando el apartado 1 del teorema al resto se obtiene:
XG’X’X=X, X’XGX’=X y X’XG’X’=X’; XG’X’=XGX’; y XG’X’ es
simétrica.
Observación.- Es preciso insistir en que no todas las g-inversas de una matriz
simétrica son simétricas; ello es consecuencia inmediata del algoritmo que se
estudió al principio. Sin embargo, el teorema anterior y su corolario lo que hacen es
evitar que se interprete mal esa simetría en cuanto a las g-inversas de X’X.
Llamando H = GX´X se establece inmediatamente:
Teorema 10.- 1.- H es idempotente y rg (H) = rg (X) = r
2.- rg ( H-I ) = r-p
3.- b0
= GX´y + ( H-I ) z, (z arbitrario) es una solución de las
ecs normales; toda solución de dichas ecuaciones
se puede escribir de esa forma.
La no existencia de unicidad de la g-inversa exige usar “restricciones
convenientes” para obtener los estimadores de b ya que b0
es solamente una
solución de dichas ecs. normales, pero bajo ningún concepto puede considerarse un
estimador de b , salvo cuando X´X es no singular.
A pesar de esa circunstancia, que pudiera conducir a cierto desánimo en
cuanto a los resultados obtenidos con el uso de la g-inversa, las propiedades
señaladas para G y H conducen a situaciones menos traumáticas de lo que cabría
esperar, como se expone brevemente en lo que sigue.
Ejemplo 1.- Considerada una combinación lineal de los parámetros del modelo y =
Xββ + εε [ se recuerda que q´b es estimable si existe un vector t cumpliendo que
q´b = t´ E(y) ] resulta:
Cuando q´b es estimable, entoonces q´bo
es invariante respecto de
cualquier solución de las ecs. normales ya que la ser q´b = t´ E(y) resulta q´ =
t´X y, por consiguiente:
4 La existencia de tal g-inversa simétrica está asegurada sin más que tener en cuenta la matriz S=1/2(G+G')

9. Sobre Matrices Inversas Generalizadas
9
q´b = t´ X bo
= X G X´ y
y, como se ha demostrado, X G X´ es invariante respecto a G.
Ejemplo 2.- Si se consideran los valores de predicción ( Ÿ ) para el modelo:
ŸŸ = Xbo
= X G X´ y
resulta Ÿ invariante en G, en el sentido de que no importa la matriz G utilizada
para la predicción.
Insistiendo en ello, como es H = G X´X resulta:
ŸŸ = Xbo
= X [[G X´y + (H -I) z ]] = X G X´y + (X H -X) z = XGX´y + (X G X´X
- X) z = X G X´y
Ejemplo 3.- Para la estimación de la varianza del error [ o Suma de Cuadrados de
Errores (S.C.E.)]] en el modelo se tiene:
S.C.E =
i j,
∑ (Yij - Ÿij)2
= (Y - Ÿ)´ (Y - Ÿ) por lo que:
S.C.E = ( y - Xbo
)´ ( y - Xbo
) = y´ ( I - X G X´) ( I - X G X´) y = y´ ( I - X G
X´) y
obteniendose -nuevamente- que dicha S.C.E. es invariante en G.
BIBLIOGRAFÍA
Chipman J. & M. M. Rao.- The Treatement of Linear Restrictions in Regression.
Minnesota. 1960.
Dhrymes P. J.- Econometría.- Ed. AC. 1984.
Dhrymes P. J.- Mathematics for Econometrics.- Springer-Verlag. 1984.
Penrose R. A.- Generalized Inverse for Matrices.- Cambridge. 1955.
Ronde Ch. A.- Special applications of the theory of Generalized Matrix Inversion.-
John Hopkins. 1983.
Searle S. R..- Matrix Algegra Useful for Statistics.- Wiley & Sons. 1982.
Searle S. R..- Linear Models.- Wiley & Sons. 1978