2. 1. ÁLGEBRA LINEAL
Y VECTORES ALEATORIOS
Vectores
Ortogonalización de Gram-Schmidt
Matrices ortogonales
Autovalores y autovectores
Formas cuadráticas
Vectores y matrices aleatorias
Matriz de datos
2
7. Vectores
Propiedades
x, ay + bz = a x, y + b x, z
x, y = y , x
x, x ≥ 0
y
x
x, x = 0 ⇔ x = 0
4. Norma de un vector
x = x ' x = ( x ' x )1 / 2 =
p
xi2
∑
i =1
ALGEBRA LINEAL
7
x
10. Vectores
7. Ortogonalidad
{u1 , u 2 , , u n }
es ortogonal si u i ⊥ u j
∀ i, j
8. Ortonormalidad
{ 1 , e 2 ,, e n } es ortonormal si es ortogonal
e
y todos los vectores tienen norma 1, es decir, ei = 1 ∀i
ALGEBRA LINEAL
10
11. Vectores
Ejemplo
−1
u = 0
2
1
v = 0
−3
(i ) < u , v >
(ii ) u
(iii ) u ⊥ v ?
(iv ) d (u , v )
(v ) cos θ
ALGEBRA LINEAL
11
12. Vectores
Un conjunto de vectores { u1 , u 2 , , u n }
es linealmente independiente si
n
∑c u
i =1
i
i
= 0 ⇒ c1 = c 2 = = c n =0
(la única manera de construir una combinación lineal
igual a 0 es que todos los coeficientes sean 0)
ALGEBRA LINEAL
12
16. Ortogonalización de Gram-Schmidt
V⊂
p
; V subespacio vectorial de
ℜ
p
si V es espacio vectorial,
∀
es decir, si u , v ∈ V y ∀a, b ∈ ℜ ; au + bv ∈ V
Dado A = {u1 , u 2 , , u n }
n
span A ≡ ci ui
∑
1
i =
: ci ∈
ℜ
Propiedades
(i ) A ⊂ span A
(ii ) span ( A) es un subespacio
ALGEBRA LINEAL
16
17. Ortogonalización de Gram-Schmidt
Proposición
v ⊥ ui
i = 1, , n ⇒
⇒ v ⊥ span { u1, , un }
Demostración
u ∈ span { u1 , , un }
n
n
i =1
i =1
u , v = v, ∑ ci ui = ∑ ci v, ui = 0
ALGEBRA LINEAL
17
22. Autovalores y autovectores
Anxn; λ autovalor de A
⇔ ∃ x ≠ 0 tal que Ax = λ x
x es autovector asociado a λ
x
∃x ≠ 0, Ax − λ x = 0 ⇔
∃x ≠ 0, Ax − λ Ix = 0 ⇔
∃x ≠ 0, ( A − λ I ) x = 0 ⇔
A−λ I = 0
Polinomio
característico
Ecuación
característica
ALGEBRA LINEAL
22
29. Formas cuadráticas
x1
n
x=
x ∈ℜ ,
Anxn simétrica;
f(x)=x’ A x es una forma cuadrática xn
⇓
a12 a1n x1
x2
f ( x) = ( x1 x2
=
ann xn
2
= a11 x12 + + ann xn + a12 x1 x2 + + aij xi x j + + an −1n xn −1 xn =
n
n
a11
a21
xn )
a
n1
n
n
n
= ∑∑ aij xi x j = ∑ a x + 2∑∑ aij xi x j
i =1 j =1
i =1
2
ij i
i =1 j =1
i< j
ALGEBRA LINEAL
29
30. Formas cuadráticas
Ejemplo
Expresar matricialmente la forma cuadrática
2
2
f ( x1 , x2 , x3 ) = 5 x12 − 2 x2 + 3x3 − 6 x1 x2 + 4 x1 x3 − 5 x2 x3
Escribir en forma cuadrática
f ( x1 , x2 ) = ( x1
1 2 x1
x2 )
2 − 2 x
2
ALGEBRA LINEAL
30
31. Formas cuadráticas
Como Anxn es simétrica, es diagonalizable,
se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:
0 y1 n
λ 1
f ( y ) = y ' Dy = ( y1 yn )
= ∑ λ i yi2 ,
0
y i =1
λ n n
se tiene
n
f ( y ) = ∑ λ i yi2 = λ 1 y12 + + λ n yn2 .
i =1
ALGEBRA LINEAL
31
32. Formas cuadráticas
x’Ax=c2 representa geométricamente una elipse
ℜ 2 ; los autovalores son λ 1> λ 2 y los autovectores
en
normalizados son e1 y e2.
x' Ax = c 2
x' PDP ' x = c 2 ⇒ λ 1 y12 + λ 2 y22 = c 2
x1
y1
c
λ1
e1
y2
e2
x2
c
λ2
ALGEBRA LINEAL
32
34. Formas cuadráticas
Clasificación de formas cuadráticas
Sea f(x) = x’ A x
f es definida positiva si ∀ x ≠ 0,
f ( x) > 0
∀ x ∈ n, f ( x) ≥ 0
f es semidefinida positiva si
n
f es semidefinida negativa si ∀ x ∈ , f ( x) ≤ 0
f es definida negativa si ∀ x ≠ 0, f ( x) < 0
f es indefinida si
∃ x1 ∈
n
y ∃ x2 ∈
n
tal que f ( x1 ) > 0 y f ( x2 ) < 0
ALGEBRA LINEAL
34
35. Formas cuadráticas
Sean λ 1, , λ n los autovalores de A
f es definida positiva ⇔ λ 1> 0, , λ n > 0
f es semidefinida positiva ⇔ λ 1≥ 0, , λ n ≥ 0
f es semidefinida negativa ⇔ λ 1≤ 0, , λ n ≤ 0
f es definida negativa ⇔ λ 1< 0, , λ n < 0
f es indefinida ⇔ ∃λ i > 0, ∃λ j < 0
ALGEBRA LINEAL
35
36. Raíz cuadrada de una matriz
Raíz cuadrada de una matriz:
A semidefinida positiva;
B es raíz de A si A=BB;
B=A1/2 ; A=A1/2 A1/2
Si A es simétrica y A=PDP’ con
descomposición espectral
entonces:
n
A = ∑ λ i ei e'
i =1
ALGEBRA LINEAL
36
37. Formas cuadráticas
Raíz cuadrada de una matriz:
Nota:
0
1/ λ 1
A − 1 = P
0
1/ λ
n
1
P' = ∑ ei ei '
i=1 λ i
n
0
λ 1
Sea A = P
P'
0
λ n
λ1
0
P' =
⇒ A1/ 2 = P
0
λ n
n
= ∑ λ i ei ei '
i=1
ALGEBRA LINEAL
37
38. Descomposición singular de una matriz
Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
2
λ i es un valor singular de A, si λ i es autovalor de AA’.
Descomposición singular
Sea A una matriz mxn; λ 1, , λ k valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
0
λ 1
0
A=U
V
0
λk
0
0
ALGEBRA LINEAL
38
39. Vectores y matrices aleatorias
X i variable aleatoria
µ i= E( X i )
σ ii = σ i2 = V ( X i ) = E[ X i − E ( X i )]2
X1
X =
X
p
Vector
aleatorio
;
X 11 X 12 X 1n
Χ=
X
X m 2 X mn
m1
Matriz
aleatoria
31
40. Vectores y matrices aleatorias
Se llama vector de medias a:
µ 1 E( X1)
EX = µ = =
µ E( X )
p
p
y covarianza entre dos variables a
σ ij = Cov ( X i , X j ) = E[( X i − EX i )( X j − EX j )].
Se define la matriz de covarianzas de X como:
σ11
VX = ∑ = ∑ X =
σ
p1
σ1 p
σ pp
40
41. Vectores y matrices aleatorias
X1
c1
X = , c = constantes; EX = µ , VX = Σ. Entonces :
X
c
p
p
(i ) E (c' X ) = c' µ
(ii ) V (c' X ) = c' Σc
Cmxp matriz de constantes. Entonces :
(i ) E (CX ) = CEX .
(ii ) V (CX ) = CΣC '.
42. Vectores y matrices aleatorias
Ejemplo
X1
X =
X
2
− 1
µ =
0
Y1 = 2 X 2 − X 1
Y2 = X 1 − X 2
Y = X − 2 X
2
1
3
6 − 2
∑=
− 2 4
ALGEBRA LINEAL
42
43. Vectores y matrices aleatorias
Propiedades
Sea Xmxn y sean Akxm y Bnxr matrices de constantes.
Entonces:
E ( X 11 )
(i ) E ( AX ) = AE ( X ) = A
E( X )
m1
(ii ) E ( AXB ) = AE ( X ) B
(iii ) Ymxn ⇒ E ( X + Y ) = E ( X ) + E (Y )
E ( X 1n )
E ( X mn )
43
44. Vectores y matrices aleatorias
Matriz de correlaciones
1
r21
ρ =
r
p1
r12
1
rp 2
r1 p
r2 p
,
1
σij
rij =
;
σii σ jj
donde
ρ = V −1/ 2 ∑V −1/ 2 ,
en forma matricial:
donde V es la matriz de varianzas:
σ11
V =
0
0 σ12
=
σ pp 0
0
2
σp
44
45. Vectores y matrices aleatorias
X1
X (1)
r
= X
X =
X r +1 X ( 2 )
X
p
Partición de un vector aleatorio
X1
Sea X = ;
X
p
µ (1)
Vector de medias: µ = ( 2 )
µ
∑11 ∑12
, donde
∑=
Matriz de covarianzas:
∑
∑22
21
∑11 = V ( X (1) )
∑22 = V ( X ( 2 ) )
(1)
( 2)
∑12 = ∑'21 = Cov ( X (1) , X ( 2 ) ) = Cov ( X i , X j )
45
46. Matriz de datos
Objeto_1
Objeto_n
x11
x21
x
31
x
n1
x12
x22
x32
x13
x23
x33
xn 2
xn 3
n
Variable_11
∑ xi
x1 =
i =1
n
x1 p
x2 p
x3 p = X nxp
xnp
en
ℜ
p
n
Variable_p
∑ xip
xp =
i =1
n
46
47. Matriz de datos
x1
Vector de medias: x =
x
p
s11
Matriz de varianzas y covarianzas: S n =
n
s
donde sij = ∑( xki − xi )( xkj − x j ) / n
p1
k=
1
Matriz de correlaciones: R = Vn
s11
Vn =
0
−1 / 2
S n Vn
−1 / 2
s1 p
s pp
, donde
0
s pp
47
55. Matriz de datos
Proposición
X1
Dado X = ; X 1 , X 2 , , X n
X
n
p
X =
(i )
∑X
E( X ) = µ
(ii ) V ( X ) = ∑/ n
n −1
(iii ) E ( S n ) =
∑
n
i =1
i.i.d . ;
i
n
55
56. Matriz de datos
La matriz de datos se puede representar como:
Diagrama de dispersión, n puntos en el espacio
p=2
p=3
x2
x1
ℜ
p
x3
x2
x1
Como para p>3 no es posible representarlo, se utilizan
diagramas de dispersión múltiple con pares de
variables.
56
57. Matriz de datos
Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en
Objeto_1
x11 x12 x13 x1 p
Objeto_n
x21
x
31
x
n1
x22
x32
xn 2
x23
x33
xn 3
x2 p
x3 p = X nxp
xnp
Y1 Y2 Y3
Yp
Para cuatro variables:
Variable_1
Variable_p
x11
X = x21
x
31
Y1
x12
x13
x22
x32
x23
x33
Y2
Y3
x14
x24
x34
Y4
Y1
n
en
ℜp
Y4
Y3
Y2
57
58. Matriz de datos
Vector de unos:
Propiedades
1=
1
nx1 = n unos
1
1
n y forma el mismo ángulo con todos
los ejes.
1/
n
es el vector unitario que forma el mismo
ángulo en todas las direcciones.
58
59. Matriz de datos
Proyección de un vector sobre el vector
n
pr1 ( yi ) =
yi ,1
1,1
1=
∑x
j =1
ij
n
1:
xi
⋅1 = xi 1 =
x
i
yi
1
xi 1
59
60. Matriz de datos
Vector de desviaciones a la media:
x1i − xi x1i
1
d i = = − xi
x − x x
1
ni i ni
60
61. Matriz de datos
Entonces:
•
•
d i = ( x1i − xi ) + ... + ( xni − xi ) ⇒ d i
2
2
2
= nsii
n
d i , d j = ∑ ( xki − xi )( xkj − x j ) = nsij
k =1
• cos(d i , d j ) =
di , d j
di d j
=
nsij
nsii ns jj
=
sij
sii s jj
= rij
61
63. Matriz de datos
Varianza generalizada de X: ∑ = det(∑)
Varianza total de X:
traza (∑) = σ11 + + σ pp
Varianza generalizada muestral:
Varianza total muestral:
S n = det( S n )
traza ( S n ) = s11 + + s pp
63
64. Matriz de datos
Interpretación geométrica
Área =
2
= d1 d 2 senθ = ns11 ns22 1 − cos 2 θ = n s11s22 (1 − r12 ) = n | S n |
p
Varianza generalizada en
Volumen 2
Sn =
np
64
68. Matriz de datos
Combinaciones lineales de las componentes de
una variable
X1
x1
s11 s1 p
c1
b1
X = ; x = ; S n = ; c = ; b =
X
x
s s
c
b
pp
p
p
p1
p
p
c' X = c1 X 1 + + c p X p
y las combinaciones lineales: b' X = b X + + b X
1 1
p
p
Media muestral de c’X: c' x
Varianza muestral de c’X: c' S n c
Covarianza muestral de c’X y b’X:
c' S nb
68
69. Matriz de datos
Ejemplo
2
3
X =
2
4
0 1
1 0
1 0
1 0
X1
X = X2
X
3
c' X = 2 X 1 − 3 X 2
b' X = X 1 − 2 X 3
ALGEBRA LINEAL
69