1.
1
Linear Algebra

2.
2
Vector space

3.
3
Solution of least square with regression term
𝒙 = (𝒙1, … , 𝒙𝑁)𝑇
∈ ℝ𝑁×𝑀
𝒘 = (𝑤0, … , 𝑤𝑀−1)𝑇
∈ ℝ𝑀×1
∅ = (∅0, … , ∅𝑀−1)𝑇
∈ ℝ𝑀×1
𝒕 = (𝑡1, … , 𝑡𝑁)𝑇
∈ ℝ𝑁×1
𝐸 𝒘 =
1
2
𝑛=1
𝑁
{𝑡𝑛 − 𝒘𝑇
∅(𝒙𝑛)}2
+
λ
2
𝒘𝑇
𝒘
∇𝐸 𝒘 =
𝑛=1
𝑁
{𝑡𝑛 − 𝒘𝑇
∅(𝒙𝑛)}(−∅ 𝒙𝑛
𝑇
) + λ𝒘𝑇
0 = −
𝑛=1
𝑁
𝑡𝑛∅ 𝒙𝑛
𝑇
+
𝑛=1
𝑁
𝒘𝑇
∅(𝒙𝑛)∅(𝒙𝑛)𝑇
+ λ𝒘𝑇
𝐼
𝑛=1
𝑁
𝑡𝑛∅ 𝒙𝑛
𝑇
=
𝑛=1
𝑁
𝒘𝑇
∅(𝒙𝑛)∅(𝒙𝑛)𝑇
+ λ𝒘𝑇
𝐼
𝒕𝑇
𝜱 = 𝒘𝑇
(𝜱𝑇
𝜱 + λ𝐼)
𝒘 = (𝜱𝑇
𝜱 + λ𝐼)
−1
𝜱𝑇
𝒕

4.
4
The inverse
행렬 𝐴 ∈ ℝ𝑛×𝑛의 역행렬은 𝐴−1으로 표기하고 𝐴−1𝐴 = I = 𝐴𝐴−1를 만족하는 유일한
행렬이다.
• 만약 행렬 𝐴 가 𝐴−1
이 존재하면 invertible 또는 non-singular이라고 한다.
그렇지 않은 경우를 non-invertible 또는 singular 라고 한다.
행렬 𝐴, 𝐵 ∈ ℝ𝑛×𝑛
에 대하여 다음의 성질을 만족한다 :
• (𝐴−1)−1 = 𝐴
• (𝐴𝐵)−1
= 𝐵−1
𝐴−1
• (𝐴−1
)𝑇
= (𝐴𝑇
)−1

5.
5
Orthogonal matrix
두 벡터 𝑥, 𝑦 ∈ ℝ𝑛 가 𝑥𝑇𝑦 = 0이면 orthogonal 이라고 한다.
벡터 𝑥 ∈ ℝ𝑛
가 𝑥 2 = 1이면 normalized 라고 한다.
정방행렬 𝑈 ∈ ℝ𝑛×𝑛가 𝑈𝑇 = 𝑈−1를 만족할 때, orthogonal이라고 한다.
𝑈𝑈𝑇
=
𝑈11 ⋯ 𝑈1𝑛
⋮ ⋱ ⋮
𝑈𝑛1 ⋯ 𝑈𝑛𝑛
𝑈11 ⋯ 𝑈𝑛1
⋮ ⋱ ⋮
𝑈1𝑛 ⋯ 𝑈𝑛𝑛
=
1 ⋯ 0
⋮ ⋱ ⋮
0 ⋯ 1
orthogonal matrix의 성질 중 하나는 벡터 𝑥에 U를 곱해도 벡터의 길이가 변하지 않
는다는 것이다.
𝑈𝑥 2 = 𝑥 2

6.
6
Orthogonal matrix
𝑈𝑥 2
2
= 𝑈𝑥 𝑇 𝑈𝑥 =
𝑈11𝑥1 + ⋯ + 𝑈1𝑛𝑥𝑛
⋮
𝑈𝑛1𝑥1 + ⋯ + 𝑈𝑛𝑛𝑥𝑛
𝑇
𝑈11𝑥1 + ⋯ + 𝑈1𝑛𝑥𝑛
⋮
𝑈𝑛1𝑥1 + ⋯ + 𝑈𝑛𝑛𝑥𝑛
= (𝑈11𝑥1 + ⋯ + 𝑈1𝑛𝑥𝑛)2+ ⋯ + (𝑈𝑛1𝑥1 + ⋯ + 𝑈𝑛𝑛𝑥𝑛)2
= 𝑈11
2
+ ⋯ + 𝑈𝑛1
2
𝑥1
2 + ⋯ + 𝑈1𝑛
2
+ ⋯ + 𝑈𝑛𝑛
2
𝑥𝑛
2
= 𝑥1
2 + ⋯ + 𝑥𝑛
2
= 𝑥𝑇
𝑥
= 𝑥 2
2

7.
7
projection
벡터의 집합 {𝑥1, 𝑥2, … , 𝑥𝑛}의 span은 {𝑥1, 𝑥2, … , 𝑥𝑛}의 linear combination을 다 모아놓
은 집합이다.
𝑠𝑝𝑎𝑛 𝑥1, 𝑥2, … , 𝑥𝑛 = 𝑣 ∶ 𝑣 =
𝑖=1
𝑛
𝛼𝑖𝑥𝑖 , 𝛼𝑖 ∈ ℝ
벡터 𝑦의 span 𝑥1, … , 𝑥𝑛 으로의 projection은 y와의 거리가 가장 가까운 벡터이다.
𝑃𝑟𝑜𝑗 𝑦; 𝑥1, … , 𝑥𝑛 = 𝑎𝑟𝑔𝑚𝑖𝑛𝑣∈𝑠𝑝𝑎𝑛( 𝑥1,…,𝑥𝑛 ) 𝑦 − 𝑣 2
𝑦
𝑠𝑝𝑎𝑛
𝑣

8.
8
Range and nullspace
행렬 𝐴 ∈ ℝ𝑚×𝑛
의 range는 𝐴의 열벡터들의 span이다. 𝑅(𝐴)로 표기한다.
𝑅(𝐴) = 𝑣 ∈ ℝ𝑚
: 𝑣 = 𝐴𝑥, 𝑥 ∈ ℝ𝑛
𝐴𝑥 =
𝐴11 ⋯ 𝐴1𝑛
⋮ ⋱ ⋮
𝐴𝑚1 ⋯ 𝐴𝑚𝑛
𝑥1
⋮
𝑥𝑛
=
𝐴11
⋮
𝐴𝑚1
𝑥1 + ⋯ +
𝐴1𝑛
⋮
𝐴𝑚𝑛
𝑥𝑛
행렬 𝐴 ∈ ℝ𝑚×𝑛 의 nullspace는 𝐴와 곱해서 0벡터가 되는 벡터들의 집합이다. 𝑁(𝐴)로
표기한다.
𝑁(𝐴) = 𝑥 ∈ ℝ𝑛
: 𝐴𝑥 = 0
𝑤: 𝑤 = 𝑢 + 𝑣, 𝑢 ∈ 𝑅 𝐴𝑇 , 𝑣 ∈ 𝑁 𝐴 = ℝ𝑛이고 𝑅 𝐴𝑇 ∩ 𝑁 𝐴 = 0 .
이 때, 𝑅 𝐴𝑇 와 𝑁 𝐴 는 orthogonal complements이다.