Más contenido relacionado
Similar a 論文紹介 Deterministic Independent Component Analysis (8)
論文紹介 Deterministic Independent Component Analysis
- 2. 自己紹介
• 福地 一斗
• 筑波大学D1
• 佐久間研究室: 機械学習におけるプライバシー
• 研究分野:
• 機械学習:特に学習理論 (公平配慮学習における理論)
- 3. 紹介する論文
• Deterministic Independent Component Analysis
Ruitong Huang, András György, Csaba Szepesvári
• 証明付き資料はここから
• http://www.ualberta.ca/~szepesva/publications.html
• Learning Theoryトラックでの発表
• 独立成分分析(ICA)をさらに一般化した問題を考案
• その問題の理論解析
• 解析をもとにしたアルゴリズムの導出
- 4. 独立成分分析 (ICA)
モデル
𝑋 = 𝐴𝑆 + 𝜖
𝑋 ∈ ℝ 𝑑: 観測変数
𝑆 ∈ ℝ 𝑑
: 𝑑個の独立成分
𝐴 ∈ ℝ 𝑑×𝑑: 混合行列
𝜖 ∈ ℝ 𝑑
~ 𝒩(0, Σ): ガウシアンノイズ
𝑇個の𝑋のiidサンプルから𝑆および𝐴を求める問題
- 5. Deterministic ICA
モデル 𝑡 ∈ 𝑇 = 1,2, … , 𝑇
𝑥 𝑡 = 𝐴𝑠 𝑡 + 𝜖 𝑡
𝑥: ℕ → ℝ 𝑑: 観測変数
𝑠: ℕ → [−𝐶, 𝐶] 𝑑
: 𝑑個の独立成分
𝐴 ∈ ℝ 𝑑×𝑑: 混合行列
𝜖: ℕ → ℝ 𝑑
: ノイズ
𝑇個の系列𝑥(𝑡) から𝑠(𝑡)および𝐴を求める問題
ただし,Assumption 2.1 + Assumption 2.3
- 8. どの範囲まで扱えるのか?
Assumption 2.1
• 𝑠 𝑡 , 𝜖 𝑡 は漸近的に経験期待値0
• 𝜖 𝑡 の構造が簡単 (ガウスノイズでなくてもよい)
• 2,3次元モーメントが抑えられている
• 尖度が漸近的に0
Assumption 2.3
• 𝑠 𝑡 , 𝜖 𝑡 は漸近的に4次モーメントまで独立
𝑠(1) 𝑠(2) 𝑠(3) 𝑠(4) 𝑠(5)
マルコフ性を持つような𝑠 𝑡 も扱うことが可能
- 13. DICAアルゴリズム
HKICA 収束速度は𝛾 𝐴に大きく依存
𝛾 𝐴 = min
𝑖,𝑗:𝑖≠𝑗
𝜙 𝑇 𝐴𝑖
𝜓 𝑇 𝐴𝑖
2
−
𝜙 𝑇
𝐴𝑗
𝜓 𝑇 𝐴𝑗
2
𝐴は問題設定によるため𝛾 𝐴をコントロールできない
𝐴をコントロールしやすい行列𝑅に置き換えられないか?
𝛾 𝑅 = min
𝑖,𝑗:𝑖≠𝑗
𝜙 𝑇 𝑅𝑖
𝜓 𝑇 𝑅𝑖
2
−
𝜙 𝑇
𝑅𝑗
𝜓 𝑇 𝑅𝑗
2
- 17. 𝑂 1 𝑇 よりはやくなる?
線形混合信号 Mix. 1, Mix. 2から元の信号を復元
時系列データを独立成分へ分解
𝐷4 𝜇, 𝜈 𝑇 ≤ 𝑂 1 𝑇
𝑔 𝑇 は元の信号やノイズに依存
- 19. 実験
• 6次元の信号の人工データ
• 𝐴を複数用意: 𝐴1, … , 𝐴4
• 𝐴1にくらべ𝐴4は1/𝛾 𝐴が大きい
• また, 対角行列𝐴 = 𝑅も用意
• 元の信号
• ランダムに +1, −1 を設定した信号𝑞(𝑡)
• 周期の異なるサイン波sin 𝑝𝑖 𝑡
𝑝 = ( 2, 5, 7, 11, 13, 19)
• 信号𝑠𝑖 𝑡 = 𝑞 𝑡 𝑖 ⋅ sin 𝑝𝑖 𝑡
• サンプル数𝑇 = 20000
- 22. まとめ
• Deterministic ICA
• iidでないような時系列データにも対応したICA
• ガウシアンノイズ出なくてもよい
• DICAアルゴリズム
• コレスキー分解を使ってHKICAを改良
• 再帰版や修正版によって高い性能