Recomendados
Más contenido relacionado
Similar a Linear algebra.pptx
Similar a Linear algebra.pptx (20)
Linear algebra.pptx
- 3. 3 Solution of least square with regression term 𝒙 = (𝒙1, … , 𝒙𝑁)𝑇 ∈ ℝ𝑁×𝑀 𝒘 = (𝑤0, … , 𝑤𝑀−1)𝑇 ∈ ℝ𝑀×1 ∅ = (∅0, … , ∅𝑀−1)𝑇 ∈ ℝ𝑀×1 𝒕 = (𝑡1, … , 𝑡𝑁)𝑇 ∈ ℝ𝑁×1 𝐸 𝒘 = 1 2 𝑛=1 𝑁 {𝑡𝑛 − 𝒘𝑇 ∅(𝒙𝑛)}2 + λ 2 𝒘𝑇 𝒘 ∇𝐸 𝒘 = 𝑛=1 𝑁 {𝑡𝑛 − 𝒘𝑇 ∅(𝒙𝑛)}(−∅ 𝒙𝑛 𝑇 ) + λ𝒘𝑇 0 = − 𝑛=1 𝑁 𝑡𝑛∅ 𝒙𝑛 𝑇 + 𝑛=1 𝑁 𝒘𝑇 ∅(𝒙𝑛)∅(𝒙𝑛)𝑇 + λ𝒘𝑇 𝐼 𝑛=1 𝑁 𝑡𝑛∅ 𝒙𝑛 𝑇 = 𝑛=1 𝑁 𝒘𝑇 ∅(𝒙𝑛)∅(𝒙𝑛)𝑇 + λ𝒘𝑇 𝐼 𝒕𝑇 𝜱 = 𝒘𝑇 (𝜱𝑇 𝜱 + λ𝐼) 𝒘 = (𝜱𝑇 𝜱 + λ𝐼) −1 𝜱𝑇 𝒕
- 4. 4 The inverse 행렬 𝐴 ∈ ℝ𝑛×𝑛의 역행렬은 𝐴−1으로 표기하고 𝐴−1𝐴 = I = 𝐴𝐴−1를 만족하는 유일한 행렬이다. • 만약 행렬 𝐴 가 𝐴−1 이 존재하면 invertible 또는 non-singular이라고 한다. 그렇지 않은 경우를 non-invertible 또는 singular 라고 한다. 행렬 𝐴, 𝐵 ∈ ℝ𝑛×𝑛 에 대하여 다음의 성질을 만족한다 : • (𝐴−1)−1 = 𝐴 • (𝐴𝐵)−1 = 𝐵−1 𝐴−1 • (𝐴−1 )𝑇 = (𝐴𝑇 )−1
- 5. 5 Orthogonal matrix 두 벡터 𝑥, 𝑦 ∈ ℝ𝑛 가 𝑥𝑇𝑦 = 0이면 orthogonal 이라고 한다. 벡터 𝑥 ∈ ℝ𝑛 가 𝑥 2 = 1이면 normalized 라고 한다. 정방행렬 𝑈 ∈ ℝ𝑛×𝑛가 𝑈𝑇 = 𝑈−1를 만족할 때, orthogonal이라고 한다. 𝑈𝑈𝑇 = 𝑈11 ⋯ 𝑈1𝑛 ⋮ ⋱ ⋮ 𝑈𝑛1 ⋯ 𝑈𝑛𝑛 𝑈11 ⋯ 𝑈𝑛1 ⋮ ⋱ ⋮ 𝑈1𝑛 ⋯ 𝑈𝑛𝑛 = 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 1 orthogonal matrix의 성질 중 하나는 벡터 𝑥에 U를 곱해도 벡터의 길이가 변하지 않 는다는 것이다. 𝑈𝑥 2 = 𝑥 2
- 6. 6 Orthogonal matrix 𝑈𝑥 2 2 = 𝑈𝑥 𝑇 𝑈𝑥 = 𝑈11𝑥1 + ⋯ + 𝑈1𝑛𝑥𝑛 ⋮ 𝑈𝑛1𝑥1 + ⋯ + 𝑈𝑛𝑛𝑥𝑛 𝑇 𝑈11𝑥1 + ⋯ + 𝑈1𝑛𝑥𝑛 ⋮ 𝑈𝑛1𝑥1 + ⋯ + 𝑈𝑛𝑛𝑥𝑛 = (𝑈11𝑥1 + ⋯ + 𝑈1𝑛𝑥𝑛)2+ ⋯ + (𝑈𝑛1𝑥1 + ⋯ + 𝑈𝑛𝑛𝑥𝑛)2 = 𝑈11 2 + ⋯ + 𝑈𝑛1 2 𝑥1 2 + ⋯ + 𝑈1𝑛 2 + ⋯ + 𝑈𝑛𝑛 2 𝑥𝑛 2 = 𝑥1 2 + ⋯ + 𝑥𝑛 2 = 𝑥𝑇 𝑥 = 𝑥 2 2
- 7. 7 projection 벡터의 집합 {𝑥1, 𝑥2, … , 𝑥𝑛}의 span은 {𝑥1, 𝑥2, … , 𝑥𝑛}의 linear combination을 다 모아놓 은 집합이다. 𝑠𝑝𝑎𝑛 𝑥1, 𝑥2, … , 𝑥𝑛 = 𝑣 ∶ 𝑣 = 𝑖=1 𝑛 𝛼𝑖𝑥𝑖 , 𝛼𝑖 ∈ ℝ 벡터 𝑦의 span 𝑥1, … , 𝑥𝑛 으로의 projection은 y와의 거리가 가장 가까운 벡터이다. 𝑃𝑟𝑜𝑗 𝑦; 𝑥1, … , 𝑥𝑛 = 𝑎𝑟𝑔𝑚𝑖𝑛𝑣∈𝑠𝑝𝑎𝑛( 𝑥1,…,𝑥𝑛 ) 𝑦 − 𝑣 2 𝑦 𝑠𝑝𝑎𝑛 𝑣
- 8. 8 Range and nullspace 행렬 𝐴 ∈ ℝ𝑚×𝑛 의 range는 𝐴의 열벡터들의 span이다. 𝑅(𝐴)로 표기한다. 𝑅(𝐴) = 𝑣 ∈ ℝ𝑚 : 𝑣 = 𝐴𝑥, 𝑥 ∈ ℝ𝑛 𝐴𝑥 = 𝐴11 ⋯ 𝐴1𝑛 ⋮ ⋱ ⋮ 𝐴𝑚1 ⋯ 𝐴𝑚𝑛 𝑥1 ⋮ 𝑥𝑛 = 𝐴11 ⋮ 𝐴𝑚1 𝑥1 + ⋯ + 𝐴1𝑛 ⋮ 𝐴𝑚𝑛 𝑥𝑛 행렬 𝐴 ∈ ℝ𝑚×𝑛 의 nullspace는 𝐴와 곱해서 0벡터가 되는 벡터들의 집합이다. 𝑁(𝐴)로 표기한다. 𝑁(𝐴) = 𝑥 ∈ ℝ𝑛 : 𝐴𝑥 = 0 𝑤: 𝑤 = 𝑢 + 𝑣, 𝑢 ∈ 𝑅 𝐴𝑇 , 𝑣 ∈ 𝑁 𝐴 = ℝ𝑛이고 𝑅 𝐴𝑇 ∩ 𝑁 𝐴 = 0 . 이 때, 𝑅 𝐴𝑇 와 𝑁 𝐴 는 orthogonal complements이다.