Se presenta el análisis de componentes principales en su caso más general, para cualquier tipo de métrica, método de reducción de la dimensión en presencia de datos cualitativos. Se puede incluir entre los temas de aprendizaje no supervisado.

1. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Análisis en Componentes Principales
Caso General
Javier Trejos
Escuela de Matemática – CIMPA
Universidad de Costa Rica
II semestre 2020

2. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Esquema
Introducción al ACP general
Solución del ACP
Inercia Proyectada
Teorema de Inclusón
Estrategia de Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades

3. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Análisis en Componentes Principales General
Objetivo del ACP General
◮ Sean la nube de puntos N = (X, M, D), con X la
tabla de datos n × p con variables cuantitativas, M la
métrica cualquiera p × p sobre el espacio de individuos
Rp, y D = diag (pi) la métrica de pesos (matriz
diagonal n × n) sobre el espacio de variables Rn.
◮ Supondremos que las variables xj están centradas, pero
no estandarizadas.
◮ Se busca un espacio de dimensión q, menor que p, de
manera que las posiciones relativas de los
puntos–individuos sean lo más similares posibles a sus
posiciones en el espacio Rp; es decir, la inercia de la
nube de puntos proyectada debe ser lo más similar a la
inercia de los puntos en Rp
◮ Esto significa que hay una pérdida mı́nima de
información al proyectar los n individuos sobre un
espacio de dimensión menor

4. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Objetivo del ACP
Objetivo dual
◮ Se puede plantear de otra forma el objetivo del ACP,
esta vez desde el punto de vista de las variables.
◮ Dada la tabla de datos X, se busca un conjunto de q
variables sintéticas c1, c2, . . . , cq, donde q < p, que más
adelante se llamarán componentes principales, tal que:
1. Cada componente principal ck
debe ser combinación
lineal de las variables originales xj
; esto significa que la
información contenida en las xj
también está reflejada
en las ck
.
2. Las componentes principales deben ser no
correlacionadas dos a dos; esto significa que las ck
no
tienen información redundante.
3. Las componentes principales deben tener varianza
máxima; esto significa que contendrán el máximo de
información posible.
◮ Las tres condiciones anteriores se pueden deducir del
objetivo inicial, de reducción de la dimensión del espacio
de individuos.

5. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
ACP General
Esquema de Dualidad
✲
✛
❄
✻
❄
✻
X
Xt
W D
M V
Rp
(Rp)∗
Rn
(Rn)∗ Xn×p : tabla de datos
centrados
V = XtDX
W = XMXt
D: métrica de pesos
M: métrica general

6. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Inercia Proyectada
◮ Si H es un subespacio vectorial de Rp, entonces existe
un subespacio de Rp denotado H⊥ y llamado el
complemento ortogonal de H, tal que Rp = H ⊕ H⊥;

7. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Inercia Proyectada
◮ Si H es un subespacio vectorial de Rp, entonces existe
un subespacio de Rp denotado H⊥ y llamado el
complemento ortogonal de H, tal que Rp = H ⊕ H⊥;
◮ se cumple que para todo ∀h ∈ H y ∀h̄ ∈ H⊥:
M(h, h̄) = hh, h̄iM = 0.
◮ Por lo tanto, ∀xi ∈ Rp, ∃ai ∈ H, bi ∈ H⊥ tales que
xi = ai + bi, y esta descomposición es única.

8. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Inercia Proyectada
◮ Se define la inercia de la nube N respecto a H como:
IH(N) =
n
X
i=1
pikbik2
.

9. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Inercia Proyectada
◮ Se define la inercia de la nube N respecto a H como:
IH(N) =
n
X
i=1
pikbik2
.
◮ Ası́ mismo, la inercia de N respecto a H⊥ es:
IH⊥ (N) =
n
X
i=1
pikaik2
.
◮ Esto es, IH⊥ (N) es la inercia de la nube proyectada
sobre el espacio H.

10. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Inercia Proyectada
◮ Se define la inercia de la nube N respecto a H como:
IH(N) =
n
X
i=1
pikbik2
.
◮ Ası́ mismo, la inercia de N respecto a H⊥ es:
IH⊥ (N) =
n
X
i=1
pikaik2
.
◮ Esto es, IH⊥ (N) es la inercia de la nube proyectada
sobre el espacio H.
◮ Cuando H está generado por un vector unitario v, es
decir H = ∆v con kvk = 1, entonces se tiene
ai = hv, xiiMv = (vtMxi)v.

11. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Inercia Proyectada
◮ Por lo tanto
I∆⊥
v
(N) =
n
X
i=1
pikaik2
=
n
X
i=1
pi(vt
Mxi)2
kvk2
=
n
X
i=1
pivt
Mxixt
iMv
◮
I∆⊥
v
(N) = vt
M
n
X
i=1
pixixt
i
Mv = vt
MVMv.
◮ Debido a que E = H ⊕ H⊥ y al teorema de Pitágoras,
se tiene la importante relación:
I(N) = IH(N) + IH⊥ (N).
◮ Se busca el espacio Eq tal que la inercia IE⊥
q
(N) de la
nube proyectada sobre ese espacio sea máxima (lo que
es equivalente a pedir que la inercia IEq (N) sea
mı́nima).

12. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Teorema (De inclusión)
Si Ek−1 es un subespacio vectorial óptimo de Rp de
dimensión k − 1, entonces existe un subespacio vectorial
óptimo de Rp de dimensión k que contiene a Ek−1.

13. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Teorema (De inclusión)
Si Ek−1 es un subespacio vectorial óptimo de Rp de
dimensión k − 1, entonces existe un subespacio vectorial
óptimo de Rp de dimensión k que contiene a Ek−1.
Demostración:
Sea Fk un subespacio vectorial de Rp de dimensión k y se
denota
H = Fk + E⊥
k−1.

14. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Teorema (De inclusión)
Si Ek−1 es un subespacio vectorial óptimo de Rp de
dimensión k − 1, entonces existe un subespacio vectorial
óptimo de Rp de dimensión k que contiene a Ek−1.
Demostración:
Sea Fk un subespacio vectorial de Rp de dimensión k y se
denota
H = Fk + E⊥
k−1.
Si Fk ∩ E⊥
k−1 = {0} entonces se tendrı́a H = Fk ⊕ E⊥
k−1 y
dim(H) = k + (p − (k − 1)) = p + 1, lo cual es absurdo
pues H ⊆ Rp.

15. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Teorema (De inclusión)
Si Ek−1 es un subespacio vectorial óptimo de Rp de
dimensión k − 1, entonces existe un subespacio vectorial
óptimo de Rp de dimensión k que contiene a Ek−1.
Demostración:
Sea Fk un subespacio vectorial de Rp de dimensión k y se
denota
H = Fk + E⊥
k−1.
Si Fk ∩ E⊥
k−1 = {0} entonces se tendrı́a H = Fk ⊕ E⊥
k−1 y
dim(H) = k + (p − (k − 1)) = p + 1, lo cual es absurdo
pues H ⊆ Rp.
Por lo tanto existe un vector no nulo v ∈ Fk ∩ E⊥
k−1 y se
denota ∆v el eje (espacio vectorial de dimensión uno)
generado por v. (Sigue)

16. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Sea G el espacio suplementario M-ortogonal a ∆v en Fk: es
decir, tal que Fk = G ⊕ ∆v; y sea Ek la suma directa
Ek = Ek−1 ⊕ ∆v.

17. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Sea G el espacio suplementario M-ortogonal a ∆v en Fk: es
decir, tal que Fk = G ⊕ ∆v; y sea Ek la suma directa
Ek = Ek−1 ⊕ ∆v.
Debido a la ortogonalidad entre G y ∆v se tiene
IFk
(N) = IG(N) + I∆v (N),
y a la ortogonalidad entre Ek−1 y ∆v se tiene

18. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Sea G el espacio suplementario M-ortogonal a ∆v en Fk: es
decir, tal que Fk = G ⊕ ∆v; y sea Ek la suma directa
Ek = Ek−1 ⊕ ∆v.
Debido a la ortogonalidad entre G y ∆v se tiene
IFk
(N) = IG(N) + I∆v (N),
y a la ortogonalidad entre Ek−1 y ∆v se tiene
IEk
(N) = IEk−1
(N) + I∆v (N).

19. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Sea G el espacio suplementario M-ortogonal a ∆v en Fk: es
decir, tal que Fk = G ⊕ ∆v; y sea Ek la suma directa
Ek = Ek−1 ⊕ ∆v.
Debido a la ortogonalidad entre G y ∆v se tiene
IFk
(N) = IG(N) + I∆v (N),
y a la ortogonalidad entre Ek−1 y ∆v se tiene
IEk
(N) = IEk−1
(N) + I∆v (N).
Sin embargo, por hipótesis Ek−1 es óptimo entre los
subespacios vectoriales de dimensión k − 1, esto es
IEk−1
(N) ≤ IG(N), por lo tanto

20. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Sea G el espacio suplementario M-ortogonal a ∆v en Fk: es
decir, tal que Fk = G ⊕ ∆v; y sea Ek la suma directa
Ek = Ek−1 ⊕ ∆v.
Debido a la ortogonalidad entre G y ∆v se tiene
IFk
(N) = IG(N) + I∆v (N),
y a la ortogonalidad entre Ek−1 y ∆v se tiene
IEk
(N) = IEk−1
(N) + I∆v (N).
Sin embargo, por hipótesis Ek−1 es óptimo entre los
subespacios vectoriales de dimensión k − 1, esto es
IEk−1
(N) ≤ IG(N), por lo tantoIEk
(N) ≤ IFk
(N) y
entonces Ek es óptimo entre los subespacios vectoriales de
Rp de dimensión k.

21. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Teorema de Inclusión
Sea G el espacio suplementario M-ortogonal a ∆v en Fk: es
decir, tal que Fk = G ⊕ ∆v; y sea Ek la suma directa
Ek = Ek−1 ⊕ ∆v.
Debido a la ortogonalidad entre G y ∆v se tiene
IFk
(N) = IG(N) + I∆v (N),
y a la ortogonalidad entre Ek−1 y ∆v se tiene
IEk
(N) = IEk−1
(N) + I∆v (N).
Sin embargo, por hipótesis Ek−1 es óptimo entre los
subespacios vectoriales de dimensión k − 1, esto es
IEk−1
(N) ≤ IG(N), por lo tantoIEk
(N) ≤ IFk
(N) y
entonces Ek es óptimo entre los subespacios vectoriales de
Rp de dimensión k.
Como Ek−1 es subespacio de Ek, por la forma de definir Ek,
entonces se tiene el resultado.

22. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedad Importante
Proposición
Sea Ek−1 un subespacio vectorial de Rp óptimo de
dimensión k − 1. Si el vector v genera un eje ∆v
M–ortogonal a Ek−1 tal que I∆v (N) es mı́nima, entonces el
espacio Ek = Ek−1 ⊕ ∆v minimiza la inercia proyectada de
N sobre todos los subespacios de Rp de dimensión k.

23. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedad Importante
Proposición
Sea Ek−1 un subespacio vectorial de Rp óptimo de
dimensión k − 1. Si el vector v genera un eje ∆v
M–ortogonal a Ek−1 tal que I∆v (N) es mı́nima, entonces el
espacio Ek = Ek−1 ⊕ ∆v minimiza la inercia proyectada de
N sobre todos los subespacios de Rp de dimensión k.
Demostración:
Sea v ∈ Rp tal que ∆v ⊥ Ek−1, entonces sea
Ek = Ek−1 ⊕ ∆v.

24. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedad Importante
Proposición
Sea Ek−1 un subespacio vectorial de Rp óptimo de
dimensión k − 1. Si el vector v genera un eje ∆v
M–ortogonal a Ek−1 tal que I∆v (N) es mı́nima, entonces el
espacio Ek = Ek−1 ⊕ ∆v minimiza la inercia proyectada de
N sobre todos los subespacios de Rp de dimensión k.
Demostración:
Sea v ∈ Rp tal que ∆v ⊥ Ek−1, entonces sea
Ek = Ek−1 ⊕ ∆v.
Luego, por el teorema de Pitágoras,
IEk
(N) = IEk−1
(N) + I∆v (N).

25. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedad Importante
Proposición
Sea Ek−1 un subespacio vectorial de Rp óptimo de
dimensión k − 1. Si el vector v genera un eje ∆v
M–ortogonal a Ek−1 tal que I∆v (N) es mı́nima, entonces el
espacio Ek = Ek−1 ⊕ ∆v minimiza la inercia proyectada de
N sobre todos los subespacios de Rp de dimensión k.
Demostración:
Sea v ∈ Rp tal que ∆v ⊥ Ek−1, entonces sea
Ek = Ek−1 ⊕ ∆v.
Luego, por el teorema de Pitágoras,
IEk
(N) = IEk−1
(N) + I∆v (N).
Como IEk−1
(N) es constante, minimizar IEk
(N) se reduce a
minimizar I∆v (N).

26. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
Los dos resultados anteriores permiten seguir la siguiente
estrategia para obtener la solución del A.C.P.:

27. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
Los dos resultados anteriores permiten seguir la siguiente
estrategia para obtener la solución del A.C.P.:
1. Buscar el eje E1 = ∆v1 con inercia mı́nima, v1 es un
vector unitario que genera a ∆v1 .

28. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
Los dos resultados anteriores permiten seguir la siguiente
estrategia para obtener la solución del A.C.P.:
1. Buscar el eje E1 = ∆v1 con inercia mı́nima, v1 es un
vector unitario que genera a ∆v1 .
2. Buscar el eje ∆v2 , M–ortogonal a ∆v1 y con inercia
mı́nima; sea E2 = ∆v1 ⊕ ∆v2 , E2 es un subespacio
óptimo de dimensión 2.

29. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
Los dos resultados anteriores permiten seguir la siguiente
estrategia para obtener la solución del A.C.P.:
1. Buscar el eje E1 = ∆v1 con inercia mı́nima, v1 es un
vector unitario que genera a ∆v1 .
2. Buscar el eje ∆v2 , M–ortogonal a ∆v1 y con inercia
mı́nima; sea E2 = ∆v1 ⊕ ∆v2 , E2 es un subespacio
óptimo de dimensión 2.
k. Buscar un eje ∆vk
, M–ortogonal a Ek−1 y con inercia
mı́nima; sea Ek = Ek−1 ⊕ ∆vk
, Ek es un subespacio
óptimo de dimensión k.

30. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
Los dos resultados anteriores permiten seguir la siguiente
estrategia para obtener la solución del A.C.P.:
1. Buscar el eje E1 = ∆v1 con inercia mı́nima, v1 es un
vector unitario que genera a ∆v1 .
2. Buscar el eje ∆v2 , M–ortogonal a ∆v1 y con inercia
mı́nima; sea E2 = ∆v1 ⊕ ∆v2 , E2 es un subespacio
óptimo de dimensión 2.
k. Buscar un eje ∆vk
, M–ortogonal a Ek−1 y con inercia
mı́nima; sea Ek = Ek−1 ⊕ ∆vk
, Ek es un subespacio
óptimo de dimensión k.
Se tiene entonces Ek = ∆v1 ⊕ ∆v2 ⊕ . . . ⊕ ∆vk
. Los ejes
∆v1 , ∆v2 , . . . son llamados los ejes factoriales.

31. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
◮ Recuérdese que M es una matriz simétrica definida
positiva y que V es una matriz simétrica positiva.
◮ Además, VM es M–simétrica, esto es1,
(VM)tM = M(VM).
◮ Por lo tanto se deduce que los valores propios de VM
son reales, positivos o nulos, y que existe una base
M–ortonormada de Rp formada por vectores propios de
VM.
◮ Denótense λ1, λ2, . . . , λp los valores propios de VM
ordenados de mayor a menor, y denótense
{u1, u2, . . . , up} una base de vectores propios asociados
respectivamente a los λj.
1
Una matriz A es M–simétrica si At
M = MA.

32. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Estrategia de Solución
◮ Para obtener la solución del A.C.P.
1. se comienza por buscar el eje ∆v1
que minimice la
inercia I∆v1
(N) con kv1kM = 1,
2. luego el eje ∆v2
que minimice la inercia I∆v2
(N) con
kv2kM = 1 y M–ortogonal a v1,
3. y ası́ sucesivamente:

33. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Se quiere encontrar v1 tal que maximice
I∆⊥
v1
(N) = vt
1MVMv1 con la restricción
kv1k2
M = vt
1Mv1 = 1.

34. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Se quiere encontrar v1 tal que maximice
I∆⊥
v1
(N) = vt
1MVMv1 con la restricción
kv1k2
M = vt
1Mv1 = 1.
◮ Sea {u1, . . . , up} una base de vectores propios
M–ortonormados de VM, el vector v1 tiene una
expresión en esta base de la forma: v1 =
Pp
j=1 αjuj.

35. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Se quiere encontrar v1 tal que maximice
I∆⊥
v1
(N) = vt
1MVMv1 con la restricción
kv1k2
M = vt
1Mv1 = 1.
◮ Sea {u1, . . . , up} una base de vectores propios
M–ortonormados de VM, el vector v1 tiene una
expresión en esta base de la forma: v1 =
Pp
j=1 αjuj.
◮ Luego, la restricción kv1k2
M = 1 se escribe:
1 = vt
1Mv1 =
p
X
j=1
αjuj
t
M
p
X
k=1
αkuk
=
p
X
j=1
p
X
k=1
αjαkut
jMuk =
p
X
j=1
p
X
k=1
αjαkδjk,
donde δjk = 1 si j = k y es cero si no, pues la base es
ortonormada.

36. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Luego, la restricción se traduce en:
kv1k2
=
p
X
j=1
α2
j = 1,
por lo tanto se tiene:

37. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Luego, la restricción se traduce en:
kv1k2
=
p
X
j=1
α2
j = 1,
por lo tanto se tiene:
vt
1MVMv1 = h
p
X
j=1
αjuj, VM
p
X
k=1
αkuk
iM
= h
p
X
j=1
αjuj,
p
X
k=1
λkαkukiM,
de donde vt
1MVMv1 =
Pp
j=1 λjα2
j .

38. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Luego, la restricción se traduce en:
kv1k2
=
p
X
j=1
α2
j = 1,
por lo tanto se tiene:
vt
1MVMv1 = h
p
X
j=1
αjuj, VM
p
X
k=1
αkuk
iM
= h
p
X
j=1
αjuj,
p
X
k=1
λkαkukiM,
de donde vt
1MVMv1 =
Pp
j=1 λjα2
j .
◮ Se debe por lo tanto maximizar
Pp
j=1 λjα2
j bajo la
restricción
Pp
j=1 α2
j = 1.

39. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Debido a que los λj están ordenados de manera
decreciente, se tiene
p
X
j=1
λjα2
j ≤ λ1
p
X
j=1
α2
j = λ1.

40. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Debido a que los λj están ordenados de manera
decreciente, se tiene
p
X
j=1
λjα2
j ≤ λ1
p
X
j=1
α2
j = λ1.
◮ Basta por lo tanto tomar α1 = 1 y αj = 0 para todo
j ≥ 2.

41. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Primer Eje
◮ Debido a que los λj están ordenados de manera
decreciente, se tiene
p
X
j=1
λjα2
j ≤ λ1
p
X
j=1
α2
j = λ1.
◮ Basta por lo tanto tomar α1 = 1 y αj = 0 para todo
j ≥ 2.
◮ Ası́, si v1 = u1, entonces se alcanza el valor λ1 que
mayoriza el criterio a maximizar, por lo que se toma el
vector propio unitario u1 de VM asociado al mayor
valor propio λ1.

42. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Segundo Eje
◮ Se quiere encontrar v2 tal que maximice
I∆⊥
v2
(N) = vt
2MVMv2 con las restricciones
kv2k2 = vt
2Mv2 = 1 y vt
2Mu1 = 0.

43. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Segundo Eje
◮ Se quiere encontrar v2 tal que maximice
I∆⊥
v2
(N) = vt
2MVMv2 con las restricciones
kv2k2 = vt
2Mv2 = 1 y vt
2Mu1 = 0.
◮ A partir de la escritura v2 =
Pp
j=1 αjuj de v2 en la
base de vectores propios de VM, con la restricción
Pp
j=1 α2
j = 1, se muestra que la primera restricción es
Pp
j=1 α2
j = 1, mientras que la segunda restricción lleva
a:
0 = vt
2Mv1 =


p
X
j=1
αjuj


t
Mu1
=
p
X
j=1
αjut
jMu1
= α1ut
1Mu1 = α1.

44. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Segundo Eje
◮ Es decir, v2 =
Pp
j=2 αjuj pues α1 = 0. La restricción
kv2k2 = 1 se traduce en
Pp
j=2 α2
j = 1.

45. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Segundo Eje
◮ Es decir, v2 =
Pp
j=2 αjuj pues α1 = 0. La restricción
kv2k2 = 1 se traduce en
Pp
j=2 α2
j = 1.
◮ Luego,
I∆⊥
v2
(N) = vt
2MVMv2 =
X
j=2
λjα2
j ≤ λ2
p
X
j=2
α2
j = λ2.

46. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Segundo Eje
◮ Es decir, v2 =
Pp
j=2 αjuj pues α1 = 0. La restricción
kv2k2 = 1 se traduce en
Pp
j=2 α2
j = 1.
◮ Luego,
I∆⊥
v2
(N) = vt
2MVMv2 =
X
j=2
λjα2
j ≤ λ2
p
X
j=2
α2
j = λ2.
◮ Ası́, el valor a maximizar se encuentra mayorado por λ2,
y este valor se alcanza cuando α2 = 1 y αj = 0 para
todo j ≥ 3; esto es, cuando v2 = u2, por lo que una
solución es tomar el vector propio unitario u2 de VM
asociado al segundo valor propio más grande de VM.

47. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Solución Final
◮ La búsqueda del k-ésimo eje factorial ∆vk
se hace
análogamente y se encuentra que vk = uk.

48. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Solución Final
◮ La búsqueda del k-ésimo eje factorial ∆vk
se hace
análogamente y se encuentra que vk = uk.
◮ Obsérvese que los vectores uk que definen los ejes
principales ∆uk
pertenecen al espacio de individuos Rp,
mientras que las componentes principales ck = XMuk
pertenecen al espacio de variables Rn, y que son las
proyecciones por dualidad de los primeros, esto es, la
transformación mediante XM de Rp en Rn.
✲
✛
❄
✻
❄
✻
X
Xt
W D
M V
Rp
(Rp)∗
Rn
(Rn)∗ Xn×p : tabla de datos
centrados
uk ∈ Rp
ck = XMuk ∈ Rn
VMuk = λkuk
WDck = λkck

49. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
◮ La inercia de la nube proyectada sobre el primer eje
principal:
λ1 = I∆⊥
u1
(N)

50. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
◮ La inercia de la nube proyectada sobre el primer eje
principal:
λ1 = I∆⊥
u1
(N)
◮ Parte de inercia explicada por el primer eje principal:
λ1+λ2
tr(VM)

51. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
◮ La inercia de la nube proyectada sobre el primer eje
principal:
λ1 = I∆⊥
u1
(N)
◮ Parte de inercia explicada por el primer eje principal:
λ1+λ2
tr(VM)
◮ λ1+λ2+...+λk
tr(VM) es la parte de inercia explicada por el
subespacio principal Ek de dimensión k generado por
u1, u2, . . . , uk, es decir Ek = ∆u1 ⊕ ∆u2 ⊕ . . . ⊕ ∆uk
.

52. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
Las componentes principales del A.C.P. general de la nube
N = (X, M, D) tiene las siguientes propiedades:

53. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
Las componentes principales del A.C.P. general de la nube
N = (X, M, D) tiene las siguientes propiedades:
1. Son centradas:
ck = 0.

54. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
Las componentes principales del A.C.P. general de la nube
N = (X, M, D) tiene las siguientes propiedades:
1. Son centradas:
ck = 0.
2. ck tiene varianza λk:
var (ck
) = λk.

55. Análisis en
Componentes
Principales
Caso General
Javier Trejos
Introducción al
ACP general
Solución del ACP
Inercia Proyectada
Teorema de
Inclusón
Estrategia de
Solución
Primer Eje
Segundo Eje
Solución Final
Propiedades
Solución del ACP
Propiedades
Las componentes principales del A.C.P. general de la nube
N = (X, M, D) tiene las siguientes propiedades:
1. Son centradas:
ck = 0.
2. ck tiene varianza λk:
var (ck
) = λk.
3. Cada par de ellas tiene correlación cero:
∀k, l : r(ck
, cl
) = 0.