algebra lineal y vectores aleatorios

1. INTRODUCCIÓN
1. Álgebra lineal y vectores aleatorios
2. Distribución normal multivariante
ANÁLISIS DE LA MATRIZ DE COVARIANZAS
3. Componentes principales
4. Análisis factorial
5. Correlaciones canónicas
CLASIFICACIÓN
6. Análisis discriminante
7. Análisis de conglomerados
ANÁLISIS MULTIVARIANTE
1

2. 1. ÁLGEBRA LINEAL
Y VECTORES ALEATORIOS
 Vectores
 Ortogonalización de Gram-Schmidt
 Matrices ortogonales
 Autovalores y autovectores
 Formas cuadráticas
 Vectores y matrices aleatorias
 Matriz de datos
2

3. ALGEBRA LINEAL
Vectores
Matriz de datos: p variables observadas en n objetos
3
nxp
np
n
n
n
p
p
p
X
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x


























3
2
1
3
33
32
31
2
23
22
21
1
13
12
11
p

en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np
n
n
n
p
p
p
X
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x


























3
2
1
3
33
32
31
2
23
22
21
1
13
12
11
p

en
Objeto_1
Objeto_n
Variable_1 Variable_p

4. ALGEBRA LINEAL
Vectores
Dados vectores











p
x
x
x 
1











p
y
y
y 
1
se define:
1. Suma de dos vectores














p
p y
x
y
x
y
x 
1
1
4

5. ALGEBRA LINEAL
Vectores
2. Producto de un escalar por un vector














p
x
c
x
c
x
c 
1
3. Producto escalar de dos vectores
p
p
p
i
i
i y
x
y
x
y
x
y
x
y
x
y
x 





 


1
1
1
'
,
5

6. ALGEBRA LINEAL
Vectores
4. Norma de un vector
Propiedades





p
i
i
x
x
x
x
x
x
1
2
2
/
1
)
'
(
'
z
x
b
y
x
a
bz
ay
x ,
,
, 


x
y
y
x ,
, 
0
0
,
0
, 


 x
x
x
y
x
x
x x
x x
6

7. ALGEBRA LINEAL
Vectores
5. Distancia entre dos vectores
6. Ángulo entre dos vectores
y
x
y
x
d 

)
,
(
y
x
y
x 
y
x
y
x 
7



y
x
y
x,
cos 

y
x
y
x 



 0
cos
0
, 



8. ALGEBRA LINEAL
Vectores
7. Ortogonalidad
8. Ortonormalidad
 
n
u
u
u ,
,
, 2
1  j
i
u
u j
i ,


 
n
u
u
u ,
,
, 2
1  es ortonormal si es ortogonal
y todos los vectores tienen norma 1, es decir, i
ei 
1
es ortogonal si
8

9. ALGEBRA LINEAL
Vectores
Ejemplo
9

cos
)
(
)
,
(
)
(
?
)
(
)
(
,
)
(
3
0
1
2
0
1
v
v
u
d
iv
v
u
iii
u
ii
v
u
i
v
u



























10. ALGEBRA LINEAL
Vectores
9. Desigualdad de Cauchy-Schwartz
y
x
y
x 
,
Consecuencia:
10
1
cos
1
1
,
1
,










y
x
y
x
y
x
y
x
y
x


11. ALGEBRA LINEAL
Vectores
Un conjunto de vectores  
n
u
u
u ,
,
, 2
1 
es linealmente independiente si
n
n
i
i
i c
c
c
u
c 







2
1
1
0
(la única manera de construir una combinación lineal
igual a 0 es que todos los coeficientes sean 0)
11

12. ALGEBRA LINEAL
Vectores
Proposición Todo conjunto ortogonal es
 
n
u
u
u ,
,
, 2
1 
linealmente independiente:
ortogonal   
n
u
u
u ,
,
, 2
1  l.i.

0
0
,
0
,
,
0
1
1
1
1










j
j
j
j
j
j
n
n
j
n
n
c
u
u
u
u
c
u
c
u
c
c
u
u
c
u
c


Dem.-
12

13. ALGEBRA LINEAL
Vectores
Proyección de x sobre y
13
y
y
y
x
y
y
y
y
x
x
pry 2
,
,
,
)
( 


14. ALGEBRA LINEAL
Vectores
Ejemplo
14
?
)
(
1
1
2
3
0
1
x
pr
y
x
y
























15. ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
 V subespacio vectorial de
p

si V es espacio vectorial,
;
,
, 



 b
a
y
V
v
u
es decir, si V
bv
au 

 Dado A =








 

n
i
i
i
i c
u
c
A
span
1
:
 
n
u
u
u ,
,
, 2
1 
Propiedades
subespacio
un
es
A
span
ii
A
span
A
i
)
(
)
(
)
( 
15
;
 p
V

16. ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Proposición
 
n
i
u
u
span
v
n
i
u
v
,
,
,
,
1
1 






 
0
,
,
,
,
,
1
1
1





 

i
n
i
i
n
i
i
i
n
u
v
c
u
c
v
v
u
u
u
span
u 
Dem.-
16

17. ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Método de Gram-Schmidt
1
1
1
1
1
1
1
1
2
2
2
2
3
1
1
1
1
3
3
3
1
1
1
1
2
2
2
1
1
,
,
,
,
,
,
,
,
,
,














n
n
n
n
n
n
n
n u
u
u
u
x
u
u
u
u
x
x
u
u
u
u
u
x
u
u
u
u
x
x
u
u
u
u
u
x
x
u
x
u


Sean
Dado un conjunto de vectores l.i., se puede
construir otro conjunto ortogonal que genere el
mismo espacio
linealmente independientes
 
n
x
x
x ,
,
, 2
1 
17

18. ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Entonces:
   
  ortogonal
es
u
u
ii
u
u
span
x
x
span
i
n
n
n
,
,
)
(
,
,
,
,
)
(
1
1
1


 
18

19. ALGEBRA LINEAL
Matrices ortogonales
Matrices ortogonales
 Anxn; inversa A-1: A A-1 = A-1A = I.
 A’ transpuesta de A.
 Qnxn es ortogonal si Q’Q = QQ’ = I.
(las columnas de una matriz ortogonal son vectores ortonormales)











mn
m
m
n
mxn
a
a
a
a
a
a
A






2
1
1
12
11
19

20. ALGEBRA LINEAL
Matrices ortogonales
Propiedades
Qy
Qx
y
x
20
x
Qx
iii
Qy
Qx
y
x
ii
y
x
Qy
Qx
i
ortogonal
matriz
Q
y
x p






)
(
)
(
,
,
)
(
;
,

21. ALGEBRA LINEAL
Autovalores y autovectores
Anxn;
x
Ax
que
tal
x
vector
un 



 0
x
 autovalor de A
x es un autovector asociado a .

0
0
)
(
,
0
0
,
0
0
,
0

















I
A
x
I
A
x
Ix
Ax
x
x
Ax
x




Polinomio
característico
Ecuación
característica
21

22. ALGEBRA LINEAL
Autovalores y autovectores
Ejemplo
Autovalores y autovectores de
22











1
5
5
1
A

23. ALGEBRA LINEAL
Autovalores y autovectores
Propiedades
2
1
2
1
2
2
1
1
2
1
.
.
,
)
(
)
(













i
l
son
x
y
x
autovalor
con
x
autovalor
con
x
ii
trA
i n

Diagonalización de matrices
ji
ij
nxn a
a
A
A
simétrica
A 


 '















nn
n
n
nxn
a
a
a
a
a
a
A








1
12
1
12
11
23

24. ALGEBRA LINEAL
Autovalores y autovectores:
diagonalización
A simétrica











































n
n
n
nxn
e
e
e
e
e
e
A


 2
1
2
1
2
1
0
0



 existen autovalores reales
n

 ,
,
1  con autovectores asociados n
e
e ,
,
1 
Ortonormales tales que
P P’
D
A=PDP’, siendo D diagonal y P ortogonal
(Toda matriz simétrica es diagonalizable)
24

25. ALGEBRA LINEAL
Ejemplo
Diagonalizar
25











1
5
5
1
A
Autovalores y autovectores:
diagonalización

26. ALGEBRA LINEAL
Autovalores y autovectores:
representación espectral

Sea
n

 ,
,
1 
con autovectores ortonormales n
e
e ,
,
1  tales que
A es simétrica existen autovalores reales
'
'
2
2
2
'
1
1
1 n
n
n e
e
e
e
e
e
A 

 


 















nn
n
n
nxn
a
a
a
a
a
a
A








1
12
1
12
11
26

27. ALGEBRA LINEAL
Ejemplo
Descomposición espectral de
27











1
5
5
1
A
Autovalores y autovectores:
representación espectral

28. ALGEBRA LINEAL
Formas cuadráticas

Anxn simétrica;
 

 

 
  












































n
j
i
i
n
j
j
i
ij
n
i
n
j
n
i
i
ij
j
i
ij
n
n
n
n
j
i
ij
n
nn
n
nn
n
n
n
x
x
a
x
a
x
x
a
x
x
a
x
x
a
x
x
a
x
a
x
a
x
x
x
a
a
a
a
a
a
x
x
x
x
f
1 1
1 1 1
2
1
1
2
1
12
2
2
1
11
2
1
1
12
1
12
11
2
1
2
)
(













n
x 
 ,











n
x
x
x 
1
f(x)=x’ A x es una forma cuadrática
28

29. ALGEBRA LINEAL
Formas cuadráticas
Ejemplo
Expresar matricialmente la forma cuadrática
Escribir en forma cuadrática
29
3
2
3
1
2
1
2
3
2
2
2
1
3
2
1 5
4
6
3
2
5
)
,
,
( x
x
x
x
x
x
x
x
x
x
x
x
f 





  


















2
1
2
1
2
1
1
5
5
1
)
,
(
x
x
x
x
x
x
f

30. ALGEBRA LINEAL
Formas cuadráticas
Como Anxn es simétrica, es diagonalizable,
se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:
  ,
0
0
'
)
(
1
2
1
1
1 
























n
i
i
i
n
n
n y
y
y
y
y
Dy
y
x
f 





se tiene
2
1
2
1
1
2
)
( n
n
n
i
i
i y
y
y
y
f 







 
30

31. Formas cuadráticas
x1
x2 y2
y1
e2
e1 2
λ
c
1
λ
c
ALGEBRA LINEAL 31
y los autovectores
x’Ax=c2 representa geométricamente una elipse
en
2
2
2
2
2
1
1
2
2
'
'
'
c
y
y
c
x
PDP
x
c
Ax
x







; los autovalores son 2
1 
 
normalizados son e1 y e2
2


32. Formas cuadráticas
ALGEBRA LINEAL 32
Ejemplo
Representar, hallar ejes, hallar expresión reducida
  9
1
5
5
1
2
1
2
1 


















x
x
x
x

33. Formas cuadráticas
Clasificación de formas cuadráticas
ALGEBRA LINEAL 33
Sea f(x) = x’ A x
 f es definida positiva si
 f es semidefinida positiva si
 f es semidefinida negativa si
 f es definida negativa si
 f es indefinida si
0
)
(
,
0 

 x
f
x
0
)
(
, 

 x
f
x n
0
)
(
,
0 

 x
f
x
0
)
(
0
)
( 2
1
2
1 




 x
f
y
x
f
que
tal
x
y
x n
n
0
)
(
, 

 x
f
x n

34. Formas cuadráticas
Sean los autovalores de A
 f es definida positiva
 f es semidefinida positiva
 f es semidefinida negativa
 f es definida negativa
 f es indefinida
ALGEBRA LINEAL
0
,
,
0
1 

 n

 
0
,
,
0
1 

 n

 
0
,
,
0
1 

 n

 
0
,
,
0
1 

 n

 
0
,
0 



 j
i 

34
n

 ,
,
1 

35. Formas cuadráticas
B es raíz de A si A=BB ;
ALGEBRA LINEAL



n
i
i
i e
e
A
1
'

Raíz cuadrada de una matriz
A definida positiva;
B=A1/2 ; A=A1/2 A1/2
Si A es simétrica y diagonalizable, A=PDP’ con
descomposición espectral
35

36. Formas cuadráticas
ALGEBRA LINEAL
Raíz cuadrada de una matriz
'
'
0
0
'
0
0
1
1
2
/
1
1
i
i
n
i
i
n
n
e
e
P
P
A
P
P
A
Sea 


























 






'
1
'
/
1
0
0
/
1
1
1
1
i
i
n
i i
n
e
e
P
P
A 


















Nota:
36

37. Descomposición singular de una matriz
ALGEBRA LINEAL
i

Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
V
U
A
k















0
0
0
0
0
1



es un valor singular de A, si 2
i
 es autovalor de AA’.
Descomposición singular
Sea A una matriz mxn; k

 ,
,
1  valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
37

38. Vectores y matrices aleatorias
2
2
)]
(
[
)
(
)
(
aleatoria
variable
i
i
i
i
ii
i
i
i
X
E
X
E
X
V
X
E
X































mn
m
m
n
n X
X
X
X
X
X
X
X
X







2
1
1
12
11
1
;
Vector
aleatorio
Matriz
aleatoria
31

39. Vectores y matrices aleatorias
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
1
1
11
Y
E
X
E
Y
X
E
Y
iii
B
X
AE
AXB
E
ii
X
E
X
E
X
E
X
E
A
X
AE
AX
E
i
mxn
mn
m
n






















Propiedades
Sea Xmxm y sean Akxm y Bnxr matrices de constantes.
Entonces:
39

40. Vectores y matrices aleatorias























)
(
)
( 1
1
n
n X
E
X
E
EX 




Se llama vector de medias a:
y covarianza entre dos variables a
Se puede definir la matriz de covarianzas de X como:
)].
)(
[(
)
,
( j
j
i
i
j
i
ij EX
X
EX
X
E
X
X
Cov 



















nn
n
n
X
VX









1
1
11
40

41. Vectores y matrices aleatorias
Proposición
'
)
(
)
(
)
(
)
(
)
(
constantes
de
matriz
una
Sea
C
C
CX
V
ii
X
CE
CX
E
i
Cmxn



41
c
c
X
c
V
ii
c
X
c
E
i
VX
EX
n
i
c
c
c
c
X
X
X i
p
p
p
































'
)
'
(
)
(
'
)
'
(
)
(
;
constantes
,...,
1
con
y
Sea
1
1




)'
)(
( 
 


 X
X
E
Proposición
Proposición
X1
Xn

42. Vectores y matrices aleatorias
ALGEBRA LINEAL
Ejemplo
42









































4
2
2
6
0
1
2
2
1
2
3
2
1
2
1
2
1
2
1

X
X
Y
X
X
Y
X
X
Y
X
X
X

43. Vectores y matrices aleatorias
,
1
1
1
2
1
2
21
1
12






















p
p
p
p
r
r
r
r
r
r

Matriz de correlaciones
,
2
/
1
2
/
1 

 V
V

en forma matricial:
donde V es la matriz de varianzas:






















2
2
1
11
0
0
0
0
p
pp
V






donde ;
jj
ii
ij
ij
r




43

44. Vectores y matrices aleatorias










































)
2
(
)
1
(
1
1
1
;
X
X
X
X
X
X
X
X
X
X
p
r
r
p



Partición de un vector aleatorio








 )
2
(
)
1
(



 Vector de medias:
Sea
 Matriz de covarianzas: 













22
21
12
11
)
,
(
)
,
(
)
(
)
(
)
2
(
)
1
(
)
2
(
)
1
(
'
21
12
)
2
(
22
)
1
(
11
j
i X
X
Cov
X
X
Cov
X
V
X
V









, donde
44

45. Matriz de datos
45
nxp
np
n
n
n
p
p
p
X
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x


























3
2
1
3
33
32
31
2
23
22
21
1
13
12
11
p

en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np
n
n
n
p
p
p
X
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x


























3
2
1
3
33
32
31
2
23
22
21
1
13
12
11
p

en
Objeto_1
Objeto_n
Variable_1 Variable_p
n
x
x
n
x
x
n
i
ip
p
n
i
i 
 


 1
1
1
1 

46. Matriz de datos
46











p
x
x
x 
1
 Vector de medias:
 Matriz de varianzas y covarianzas:
donde 










pp
p
p
n
s
s
s
s
S





1
1
11
n
x
x
x
x
s j
kj
n
k
i
ki
ij /
)
(
)
(
1


 

 Matriz de correlaciones: 2
/
1
2
/
1 

 n
n
n V
S
V
R , donde











pp
n
s
s
V
0
0
11


47. Matriz de datos
;
.
.
.
,
,
,
; 2
1
1
d
i
i
X
X
X
X
X
X n
p













Proposición
n
X
X
n
i
i


 1
Dado
47






n
n
S
E
iii
n
X
V
ii
X
E
i
n
1
)
(
)
(
/
)
(
)
(
)
(
)
( 

48. Matriz de datos
48
La matriz de datos se puede representar como:
 Diagrama de dispersión, n puntos en el espacio p

x1
x2
p=2
x1
x2
x3
p=3
Como para p>3 es imposible representarlo se hacen
diagramas de dispersión múltiple de dos variables:

49. Matriz de datos
49
 Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en n
nxp
np
n
n
n
p
p
p
X
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x


























3
2
1
3
33
32
31
2
23
22
21
1
13
12
11
p

en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np
n
n
n
p
p
p
X
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x


























3
2
1
3
33
32
31
2
23
22
21
1
13
12
11
p

en
Objeto_1
Objeto_n
Variable_1 Variable_p
Y1 Y2 Y3 Yp
Para cuatro variables:











34
33
32
31
24
23
22
21
14
13
12
11
x
x
x
x
x
x
x
x
x
x
x
x
X
Y1 Y2 Y3 Y4
Y1 Y
4
Y
3
Y
2

50. Matriz de datos
50
 y forma el mismo ángulo con todos
los ejes.











1
1
1
1 
nx
n

1
Vector de unos: n unos
Propiedades:
 es el vector unitario que forma el mismo
ángulo en todas las direcciones.
n
/
1

51. Matriz de datos
51
 Coordenada en cualquier dirección de la proyección
de un vector sobre el vector













 

i
i
i
n
j
ij
i
i
x
x
x
n
x
y
y
pr 
1
/
1
1
1
,
1
1
,
)
(
1
1
1
yi
1
i
x

52. Matriz de datos
52



































1
1
1
1


 i
ni
i
i
ni
i
i
i x
x
x
x
x
x
x
d
Vector de desviaciones a la media:

53. Matriz de datos
53
Entonces:
ij
jj
ii
ij
jj
ii
ij
j
i
j
i
j
i
ij
j
kj
n
k
i
ki
j
i
ii
i
i
ni
i
i
i
r
s
s
s
ns
ns
ns
d
d
d
d
d
d
ns
x
x
x
x
d
d
ns
d
x
x
x
x
d




















,
)
,
cos(
)
(
)
(
,
)
(
...
)
(
1
2
2
2
1

54. Matriz de datos
54



































pp
p
p
p
p
X
E
X
X
X














1
1
11
1
1
;
)
(
;
Varianza generalizada y varianza total:

55. Matriz de datos
55
 Varianza generalizada de X:
 Varianza total de X:
Caso muestral:
 Varianza generalizada muestral:
 Varianza total muestral:
)
det(


pp
traza 
 


 
11
)
(
pp
n s
s
S
traza 

 
11
)
(
)
det( n
n S
S 

56. Matriz de datos
56
Interpretación geométrica
 Área
Varianza generalizada en
p
n
Volumen
S
2

)
1
(
cos
1 2
12
22
11
2
22
11
2
1 r
s
s
n
ns
ns
sen
d
d 


 

p

57. Matriz de datos
57
ALGEBRA LINEAL
Ejemplo
3
1
2
1
3
2
1
2
'
3
2
'
0
1
4
0
1
2
0
1
3
1
0
2
X
X
X
b
X
X
X
c
X
X
X
X
X































58. Matriz de datos
58























































p
p
pp
p
p
n
p
p b
b
b
c
c
c
s
s
s
s
S
x
x
x
X
X
X 








1
1
1
1
11
1
1
;
;
;
;
Combinaciones lineales de las componentes de
una variable
Y las combinaciones lineales:
 Media muestral de c’X:
 Varianza muestral de c’X:
 Covarianza muestral de c’X y b’X:
p
p
p
p
X
b
X
b
X
b
X
c
X
c
X
c








1
1
1
1
'
'
x
c'
c
S
c n
'
b
S
c n
'