Más contenido relacionado La actualidad más candente (20) Más de Daichi Kitamura (10) 音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sound media signal processing and its applications2. 講演概要
2
• 自己紹介
• 独立成分分析による信号源分離
– 統計的独立性とは?(数学的な準備)
• 確率密度関数,高次統計量,無相関と独立,中心極限定理,カートシス等
– 独立成分分析とそのアルゴリズム
• ICAの歴史
• ICAの図解
• 独立性最大化による推定方法
• 独立成分分析の金融への応用
• まとめ
できるだけ数式を使わずに!
無理でした!
3. 講演概要
3
• 自己紹介
• 独立成分分析による信号源分離
– 統計的独立性とは?(数学的な準備)
• 確率密度関数,高次統計量,無相関と独立,中心極限定理,カートシス等
– 独立成分分析とそのアルゴリズム
• ICAの歴史
• ICAの図解
• 独立性最大化による推定方法
• 独立成分分析の金融への応用
• まとめ
4. 自己紹介
• 名前: 北村大地(Daichi Kitamura)
• 年齢: 25(1990年3月11日生まれ),博士後期課程2年
• 経歴:
• 趣味: 旅行,サバゲー,猫,ギター,・・・
• Twitter:
– @UDN48_udon
4
香川高等専門学校(旧高松工業高等専門学校)(16 ~ 22)
電気情報工学科→専攻科(創造工学専攻), 学士(工学)
奈良先端科学技術大学院大学(22 ~ 24)
情報科学研究科, 修士(工学)
総合研究大学院大学(24 ~ 27)
複合科学研究科(情報学専攻),博士(情報学)取得を目指す
ギリシャ,
サントリーニ島
サバゲー
10. 独立成分分析
10
• Independent component analysis: ICA
– 信号源(source)が混合された多次元観測信号に対して,統計的
独立性を用いて混合前の信号源を推定
– 潜在的かつ独立な原因・特徴を見つける
• 信号源分離,特徴量抽出
• 本講演では
– ICAに必要な数学的基礎知識
– 簡単な動作原理の解説
– 金融への応用の可能性
ICA
混合系 分離系
信号源 観測信号 推定信号
等を取り扱います
11. 講演概要
11
• 自己紹介
• 独立成分分析による信号源分離
– 統計的独立性とは?(数学的な準備)
• 確率密度関数,高次統計量,無相関と独立,中心極限定理,カートシス等
– 独立成分分析とそのアルゴリズム
• ICAの歴史
• ICAの図解
• 独立性最大化による推定方法
• 独立成分分析の金融への応用
• まとめ
13. 数学的な準備
13
• 確率とは?
– 物事の起こりやすさを数値化したもの
• あくまでもモデルであり真の確率はわからない
• (理想的な)サイコロの確率
• いろいろな確率密度関数
0.00
0.05
0.10
0.15
0.20
0 1 2 3 4 5 6 7
確率
サイコロの目
確率密度関数
確率変数(サイコロの目)の確率を
分布関数としてとらえたもの
確率変数に関して積分すると1
0
0.1
0.2
0.3
0.4
0.5
-5 -4 -3 -2 -1 0 1 2 3 4 5
0
0.1
0.2
0.3
0.4
0.5
0.6
-5 -4 -3 -2 -1 0 1 2 3 4 5
0
0.05
0.1
0.15
0.2
-5 -4 -3 -2 -1 0 1 2 3 4 5
ガウス分布(正規分布) ラプラス分布 一様分布
14. 数学的な準備
14
• 確率密度関数はどのように定義されるか
– モーメント(積率)
• n次モーメント
– 1~N次までのモーメントがあればどんな確率密度関数も表現可
• 逆に言うと,1~N次までのモーメントで確率密度関数が一意に決まる
– ただしNが無限な確率密度関数もある
• ガウス分布の場合
– 1次モーメントは分布の平均に一致,2次モーメントは分散に対応,3次モーメント
以降は定数 → ガウス分布は平均と分散しかパラメータがない
• 一般的な分布の場合はもっと多くの統計量を持つ(Nが無限)
– 平均(1次),分散(2次),歪度(3次),尖度(4次),・・・
ここから先は高次統計量と呼ばれる
0
0.2
0.4
0.6
0.8
0 1 2 3 4 5 6 7 8 9 10
平均2,分散2,歪度0.7,
尖度0.5の連続ポアソン分布
簡単に捉えると・・・
歪度(skewness)は左右の非対称度
尖度(kurtosis)は分布の裾の長さ を表す
ガウス分布は歪度0で尖度3(固定)
15. 数学的な準備
15
• 「統計的に独立」とは?
– 2つの確率変数 と が独立なとき が成立
• 結合分布 は二つの確率変数に対する確率
– 例えばXとYのサイコロの出目が , である確率は
– XとYのサイコロが「統計的に独立」なら
• と が独立でない場合はどうなるか
– 例えば「Xのサイコロが5が出るときは必ずYのサイコロは1が出る」という場合
– XとYは統計的に独立でないので
– 直観的には「一方の確率変数の値(結果)からもう一方の確率変
数の値が全く説明できないとき,両者は独立」
• 独立でない場合,「Xのサイコロが5だからYのサイコロは絶対に1になる!」
ということがいえたりする
• 普通のサイコロ2個ならそんなことはありえない
16. 数学的な準備
16
• 「統計的に独立」とは?
– 無相関(相関がないこと)と独立は異なる
• 独立は無相関よりも強い仮定
• 独立ならば必ず無相関だが,無相関だからといって独立とは限らない
– 「相関がある」とは?
• と の間に相関がある場合
– 「 が大きい値の時は も大きい値を取りがち」→「正の相関がある」
無相関
独立
1-1
-1
1
1-1
-1
1
1-1
-1
1
相関あり
(もちろん独立でない)
無相関
(だが独立でない)
独立
(もちろん無相関)
灰色部分は値を持ち,
白部分は確率0
17. 数学的な準備
17
• 「統計的に独立」とは?
– 「相関あり」か「無相関」かは2次の統計量に対応
• 分散共分散行列が単位行列であれば無相関
– 「非独立」か「独立」かは2次以上の高次統計量に対応
• 高次統計量に対する相関が0であれば独立
• したがって独立なら絶対に無相関(2次の統計量も含むので)
1次統計量
(平均)
∞
2次統計量
(分散)
統計量の次数
2次統計量
(共分散)が
相関無し
∞
無相関なとき
1次統計量
(平均)
∞
2次統計量
(分散)
統計量の次数
2次以上の統
計量が全て
相関無し
∞
独立なとき
3次統計量
…
18. 数学的な準備
18
• 統計的信号処理とは?(ICAを含む)
– すべての信号は何らかの確率密度関数から生成されている(と
考える)
– 確率密度関数はわからないが,観測したサンプルからモーメント
を計算することはできる
• 確率密度関数がガウス分布だと仮定すれば,モーメントから平均,分散が
計算できて分布が決まる→ガウス分布モデル
– 本当にガウス分布に従う例(ガウス分布モデルが最適な例)
• 測定誤差,白色雑音,学校の試験の点数(本当か?)
• 自然の中に多く存在(ガウス分布至上主義,ガウス様すごい)
– 因子分析(factor analysis)もガウスモデル
神のみぞ知る 我々が観測できる信号
ガウス分布と仮定
確率過程と呼ぶ
実際は観測データから近似可能
32. • 番目の話者の信号を とする
– 振幅値[-1, 1] を取る離散信号
– 時間の添え字 は ,約3.3秒
数学的な準備
32
見事なガウス
歪度: 0.05
尖度: 3.36
34. 数学的な準備
34
• ガウス分布にどれくらい近いか(あるいは遠いか)の尺度
– 高次統計量(3次以降のモーメント)
• ガウス分布は3次以降のモーメントが定数(歪度: 0,尖度: 3,・・・)
– 音響信号のように零平均の信号を取り扱う場合,歪度は基本的
に0なのであてにはならない
– そこで尖度(カートシス)をつかう
– 確率変数 の平均を ,分散を
とすると,尖度(カートシス)は
分散=平均値周りの2次モーメント
平均値周りの4次モーメント
平均値周りの2次モーメントの2乗
ただし,ガウス分布のカートシスが3ではなく0になるように定義する主義もあるので
混同に注意(本講演では上記の定義でガウス分布のカートシスを3とします)
36. 数学的な準備
36
• なぜカートシスなのか?
– 高次統計量(3次以降のモーメント)全てを使えばよいのでは?
• 確かにその通りだが実用的な問題がある
– 高次の統計量(5次,6次,7次,・・・)は値として非常に不安定
• 真の確率密度関数の高次統計量を精度よく推定するには膨大なサンプル
が必要になる
– カートシスも4次の統計量なので実はだいぶ不安定
• 平均0分散1の標準ガウス分布から生成した1000万個の乱数値に対して,
1個だけ200という値を混ぜた場合,カートシスは3から大きく外れて161.8と
いう値になる
• 高次統計量は外れ値に非常に敏感
• 安定した評価のためには非常に多くのサンプルがある方が望ましい
– とはいえ,非ガウス性を測る最も簡単な尺度
– ICAにおける重要な値
37. 講演概要
37
• 自己紹介
• 独立成分分析による信号源分離
– 統計的独立性とは?(数学的な準備)
• 確率密度関数,高次統計量,無相関と独立,中心極限定理,カートシス等
– 独立成分分析とそのアルゴリズム
• ICAの歴史
• ICAの図解
• 独立性最大化による推定方法
• 独立成分分析の金融への応用
• まとめ
38. 独立成分分析とそのアルゴリズム
38
• ICAの歴史
– 1980年代: フランスの研究者らが中心
• 非線形無相関化(PCAの非線形版?),高次統計量(やはりPCAの拡張)
– 1990年代中盤から世界的に広がる
• 脳波解析,電波干渉除去,音源分離などの分野から発展
• 理論的枠組みの充実,効率的な最適化アルゴリズムなどが次々提案
• 国際会議ICA: 1999年から1年半毎に開催(現在はLVA/ICAという名前に)
– 2000年代中盤には理論として成熟
• 音源分離においては十分な性能を安定して発揮できる段階まできている
• 国際的な音源分離キャンペーン(SiSEC,サイセック)等も登場
– 今後の発展の可能性
• 非負値行列因子分解との関連の解明及び融合(私の博士研究内容)
• より高残響な環境での音源分離
• 機械学習手法にインスパイアされた拡張手法の開発 等
40. 独立成分分析とそのアルゴリズム
40
• ICAとはそもそもなんなのか
– 3つの仮定を用いて混合前の複数の独立成分(source)を推定
• 1. 独立成分は互いに統計的に「独立」である
– とはいえ実用上は「完全に独立」でなくてもよく動くことが多い
» 例えばある程度相関のある2つの成分(信号)の混合でも意外とよく分離できる
• 2. 独立成分は非ガウスな分布から生成されている
– 我々が興味のある特徴的な信号(音声,脳波,電波,株価変動?)は「完全なガ
ウス分布」に従うことは恐らくない
• 3. 未知の混合行列は「正方行列」である
– これだけは大きな問題
– 推定したい成分(信号,要因)の数だけ観測が必要
» 例えば4人の話者の混合を分けたい場合,4つのマイクで録音した観測信号が
必要になる
» 例えば為替を変動させた要因が3つあるのであれば,3つの為替データ(円米
ドル,円ユーロ,米ドルユーロ等)の観測が必要になる
» すなわち推定したい成分の数はあらかじめわかっていることが前提
46. 独立成分分析とそのアルゴリズム
46
• ICAの動作原理を図解(直観的な理解のため)
– 1. 2つの観測信号(混合信号)を白色化する
• Whitening,sphering等と呼ばれ分散共分散を単位行列化する変換
• 主成分分析(PCA)+分散の正規化で実現可能
– 2. 2つの白色化した信号のカートシスが最大(非ガウス性が最
大)となるような回転行列を探す
• ICAの最適化アルゴリズムによって実現可能
混合前のソース信号 混合後の観測信号
混合行列
白色化後の観測信号
白色化行列
回転後の分離信号
回転行列
分離行列
49. 独立成分分析とそのアルゴリズム
49
• ICAの動作原理を図解(直観的な理解のため)
– 2. 2つの白色化した信号のカートシスが最大(非ガウス性が最
大)となるような回転行列を探す
• 白色化された観測信号が互いに独立になるように回転する
• 2次元における回転行列 は
• 独立になるように回転=ばってんが十字になる角度で回転
– そのような角度 をどうやって求めるのか?
但し は反時
計回りを正と
する
白色化後の観測信号 回転後の分離信号
両信号のカートシス
が最大となる角度,
すなわち両信号が
最も非ガウスになる
角度を見つける!
56. 独立成分分析とそのアルゴリズム
56
• 目的関数を最小化する分離行列 は勾配法で推定
– 目的関数を で偏微分して勾配を求め少しずつ下っていく
勾配:
目的関数
勾配を下る更新:
非線形関数 の意味
混合前の独立成分の分布 を確率変数に
関して微分した関数
神のみぞ知る分布であるし,混合前の信号は
通常手に入らないので決めようがない
しかし実用上は「カートシスがガウス分布より高
いか低いか」で決めて良く,ICAは十分動く
音声のようにカートシスの高い信号には
Sigmoid関数や双曲線正接関数が用いられる
勾配法による最適化のイメージ
57. 講演概要
57
• 自己紹介
• 独立成分分析による信号源分離
– 統計的独立性とは?(数学的な準備)
• 確率密度関数,高次統計量,無相関と独立,中心極限定理,カートシス等
– 独立成分分析とそのアルゴリズム
• ICAの歴史
• ICAの図解
• 独立性最大化による推定方法
• 独立成分分析の金融への応用
• まとめ
60. 独立成分分析の金融への応用
60
• 同一の小売チェーンに属する数点の現金の流れについ
てICAを適用した例(下記)
– 現金の流れに影響を与える「各店に共通な潜在的要因」を探る
– 各店の現金流出入を時系列データ とする
– 独立成分の混合は瞬時混合(時間遅れのない混合)を仮定
– この場合の「要因(独立成分)」とは,現実的には何だろうか?
• 休日,季節の遷移,年毎の流行等の時間的な変動要因
• 競合する他の店(ライバルチェーン店)や他の商品の商品価格変動
• その他,消費者全体のニーズの変化や購買意欲の変化等
– 要因は全ての店舗に独立に影響するが,各店の販促や宣伝の
違い等から影響の程度は異なる
個の要因(独立成分)が混合され,
店舗の現金流入として観測
独
立
K. Kiviluoto and E. Oja, “Independent component analysis for parallel financial time series,” Proc. Int. Con. on
Neural Information Processing, vol. 2, pp. 895-898, 1998.
67. 講演概要
67
• 自己紹介
• 独立成分分析による信号源分離
– 統計的独立性とは?(数学的な準備)
• 確率密度関数,高次統計量,無相関と独立,中心極限定理,カートシス等
– 独立成分分析とそのアルゴリズム
• ICAの歴史
• ICAの図解
• 独立性最大化による推定方法
• 独立成分分析の金融への応用
• まとめ
68. まとめ
68
• 独立成分分析(independent component analysis: ICA)
– 高次統計量に基づいた独立性最大化による信号分離
• PCAは2次統計量にのみ基づいた無相関化
– 白色化(無相関化+分散の正規化)と非ガウス性最大化
– 今後金融への応用も期待される?機械学習ブームに勝てるのか?
– PCAよりも良い潜在的な特徴量(要因)を見つけることができる
• 未紹介ですが画像処理分野の顔画像認識等においても,特徴量抽出で
ICAが使われPCAより良いという報告があります
– 音源分離界隈で1995年~2010年まで非常に研究された手法
• 今は?
白色化
非ガウス性
最大化
私がやっておりますよ!