Enviar búsqueda
Cargar
独立成分分析 ICA
•
0 recomendaciones
•
1,960 vistas
Daisuke Yoneoka
Seguir
Murphy Ch12.
Leer menos
Leer más
Datos y análisis
Denunciar
Compartir
Denunciar
Compartir
1 de 10
Descargar ahora
Descargar para leer sin conexión
Recomendados
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Taro Tezuka
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
非ガウス性を利用した因果構造探索
非ガウス性を利用した因果構造探索
Shiga University, RIKEN
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Fujimoto Keisuke
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
Ken'ichi Matsui
Recomendados
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Taro Tezuka
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
非ガウス性を利用した因果構造探索
非ガウス性を利用した因果構造探索
Shiga University, RIKEN
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Fujimoto Keisuke
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
Ken'ichi Matsui
Granger因果による時系列データの因果推定(因果フェス2015)
Granger因果による時系列データの因果推定(因果フェス2015)
Takashi J OZAKI
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
ベータ分布の謎に迫る
ベータ分布の謎に迫る
Ken'ichi Matsui
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
線形計画法入門
線形計画法入門
Shunji Umetani
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
Deep Learning JP
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
Deep Learning JP
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
独立成分分析とPerfume
独立成分分析とPerfume
Yurie Oka
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
Daichi Kitamura
Más contenido relacionado
La actualidad más candente
Granger因果による時系列データの因果推定(因果フェス2015)
Granger因果による時系列データの因果推定(因果フェス2015)
Takashi J OZAKI
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
ベータ分布の謎に迫る
ベータ分布の謎に迫る
Ken'ichi Matsui
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
線形計画法入門
線形計画法入門
Shunji Umetani
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
Deep Learning JP
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
Deep Learning JP
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
La actualidad más candente
(20)
Granger因果による時系列データの因果推定(因果フェス2015)
Granger因果による時系列データの因果推定(因果フェス2015)
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
ベータ分布の謎に迫る
ベータ分布の謎に迫る
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
線形計画法入門
線形計画法入門
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
研究効率化Tips Ver.2
研究効率化Tips Ver.2
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
スペクトラル・クラスタリング
スペクトラル・クラスタリング
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Destacado
独立成分分析とPerfume
独立成分分析とPerfume
Yurie Oka
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
Daichi Kitamura
tokyor29th
tokyor29th
Mikiya Tanizawa
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
CMSI計算科学技術特論A(11) 行列計算における高速アルゴリズム2
CMSI計算科学技術特論A(11) 行列計算における高速アルゴリズム2
Computational Materials Science Initiative
Optimal divergence diversity for superresolution-based nonnegative matrix fac...
Optimal divergence diversity for superresolution-based nonnegative matrix fac...
Daichi Kitamura
正準相関分析
正準相関分析
Akisato Kimura
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Shota Kubo
再発事象の解析をやってみる
再発事象の解析をやってみる
Atsushi Hayakawa
Juliaを使った機械学習
Juliaを使った機械学習
Aki Ariga
121218 zansa13 for web
121218 zansa13 for web
Zansa
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
Daichi Kitamura
フリーソフトウェアを通じた多変量解析講習
フリーソフトウェアを通じた多変量解析講習
h_yama2396
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
Zansa
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
Kameoka2017 ieice03
Kameoka2017 ieice03
kame_hirokazu
Destacado
(17)
独立成分分析とPerfume
独立成分分析とPerfume
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
tokyor29th
tokyor29th
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
CMSI計算科学技術特論A(11) 行列計算における高速アルゴリズム2
CMSI計算科学技術特論A(11) 行列計算における高速アルゴリズム2
Optimal divergence diversity for superresolution-based nonnegative matrix fac...
Optimal divergence diversity for superresolution-based nonnegative matrix fac...
正準相関分析
正準相関分析
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
Zansa第12回資料 「ソーシャルゲームでは、データがユーザーを理解する!」
再発事象の解析をやってみる
再発事象の解析をやってみる
Juliaを使った機械学習
Juliaを使った機械学習
121218 zansa13 for web
121218 zansa13 for web
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
フリーソフトウェアを通じた多変量解析講習
フリーソフトウェアを通じた多変量解析講習
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
【Zansa】第12回勉強会 -PRMLからベイズの世界へ
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
Zansa アト テクノロシ-ー業界の分析という仕事について http://zansa.info/materials-11.html
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Kameoka2017 ieice03
Kameoka2017 ieice03
Más de Daisuke Yoneoka
MCMC法
MCMC法
Daisuke Yoneoka
PCA on graph/network
PCA on graph/network
Daisuke Yoneoka
Sequential Kernel Association Test (SKAT) for rare and common variants
Sequential Kernel Association Test (SKAT) for rare and common variants
Daisuke Yoneoka
Higher criticism, SKAT and SKAT-o for whole genome studies
Higher criticism, SKAT and SKAT-o for whole genome studies
Daisuke Yoneoka
Deep directed generative models with energy-based probability estimation
Deep directed generative models with energy-based probability estimation
Daisuke Yoneoka
Supervised PCAとその周辺
Supervised PCAとその周辺
Daisuke Yoneoka
Sparse models
Sparse models
Daisuke Yoneoka
ML: Sparse regression CH.13
ML: Sparse regression CH.13
Daisuke Yoneoka
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎
Daisuke Yoneoka
Murphy: Machine learning A probabilistic perspective: Ch.9
Murphy: Machine learning A probabilistic perspective: Ch.9
Daisuke Yoneoka
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
Daisuke Yoneoka
第二回統計学勉強会@東大駒場
第二回統計学勉強会@東大駒場
Daisuke Yoneoka
第四回統計学勉強会@東大駒場
第四回統計学勉強会@東大駒場
Daisuke Yoneoka
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
第三回統計学勉強会@東大駒場
第三回統計学勉強会@東大駒場
Daisuke Yoneoka
第一回統計学勉強会@東大駒場
第一回統計学勉強会@東大駒場
Daisuke Yoneoka
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Daisuke Yoneoka
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Daisuke Yoneoka
Rで学ぶデータサイエンス第1章(判別能力の評価)
Rで学ぶデータサイエンス第1章(判別能力の評価)
Daisuke Yoneoka
Más de Daisuke Yoneoka
(19)
MCMC法
MCMC法
PCA on graph/network
PCA on graph/network
Sequential Kernel Association Test (SKAT) for rare and common variants
Sequential Kernel Association Test (SKAT) for rare and common variants
Higher criticism, SKAT and SKAT-o for whole genome studies
Higher criticism, SKAT and SKAT-o for whole genome studies
Deep directed generative models with energy-based probability estimation
Deep directed generative models with energy-based probability estimation
Supervised PCAとその周辺
Supervised PCAとその周辺
Sparse models
Sparse models
ML: Sparse regression CH.13
ML: Sparse regression CH.13
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎
Murphy: Machine learning A probabilistic perspective: Ch.9
Murphy: Machine learning A probabilistic perspective: Ch.9
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
第二回統計学勉強会@東大駒場
第二回統計学勉強会@東大駒場
第四回統計学勉強会@東大駒場
第四回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
第三回統計学勉強会@東大駒場
第三回統計学勉強会@東大駒場
第一回統計学勉強会@東大駒場
第一回統計学勉強会@東大駒場
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第1章(判別能力の評価)
Rで学ぶデータサイエンス第1章(判別能力の評価)
独立成分分析 ICA
1.
ICA: 独立成分分析 Daisuke Yoneoka March
2, 2015 Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 1 / 10
2.
Notations Latent: zt ∈
RL Observed: xt ∈ RD t は時間でとりあえず時間異存なし Cocktail party problem, blind signal separation, blind source separation とも 呼ばれる. Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 2 / 10
3.
ICA 導入 xt =
W Zt + εt という構造 W は D × L の mixing matrix or generative weights εt ∼ N(0, Ψ), ただし簡単化のために ∥Ψ∥ = 0 目標は p(zt|xt, θ) を求めること! (僕の考えた)PCA と ICA の違い: PCA: 信号の強さ (固有値の大きさ) に注目し、それらは相関 = 0 ICA: 信号が独立に分離できることを重視している でも Varimax しながらの PCA と何が違うのかわからない... Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 3 / 10
4.
Prior に Non
Gauss を PCA とその周辺では z の prior に Gaussian を仮定していた. p(zt) = ΠL j=1N(zij|0, 1) 独立と無相関の違い:(一般的に言って) 独立は無限のクロスモーメント=0 で, 無相関は二次のモーメントが 0 PCA の Gaussian の場合は, 3 次以上のモーメントが 0 なので, 独立=無相関 結果として回転に対する不定性を残す ICA は Non Gaussian を仮定することで回転に対する不定性を除く. p(zt) = ΠL j=1pj(zij) 順序に対する不定性と power に対する不定性は, それでも残る W ∗ = P ΛW で P は permutation, Λ は強さを変換する行列 Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 4 / 10
5.
推定法概説 基本的には Information bottleneck
というか相互情報量を最小化していく. I(z) = H(zt) − H(z) I(z) は相互情報量で Kullback Leibler distance H(z) = − g(z) log g(z)dz はエントロピー x を中心化と白色化 (ie.E[xxT ] = I) で,z の分散は 1 にしておくと cov(x) = E[xxT ] = WE[zzT ]WT より W は orthogonal に限定できる 他にも H(zt) の代わりに Negentropy を使うこともある (Hyvarinen and Oja (2000)). J(Yj) = H(Zj) − H(Yj) ただし,Zj is a Gaussian random variable with the same variance as Yj. Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 5 / 10
6.
Maximum likelihood estimation x
= W z より, px(xt) = px(W zt) = pz(zt)|det(W −1 )| = pz(V xt|det(V )|), ただし V −1 = W T が iid とすると, 対数尤度は 1 T log p(D|V ) = log |det(V )| + 1 T j t log pj(vT j xt) 第一項は V が orthogonal なので定数 第二項を V が orthogonal という制約下で最小化すれば良い Gradient descent: 遅い Natural descent: MacKay, 2003 Newton method or EM. Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 6 / 10
7.
FastICA (Hyvarinen and
Oja (2000)) 要は, Newton 方を ICA 用に変更?簡単化のために z は一次元で, しかもその分布 が分かるとする. G(z) = − log p(z) で, g(z) = d dz G(z) かつ β = −2λ とすると f(v) = E[G(vT x)] + λ(1 − vT x) ∇f(v) = E[xg(vT x)] − βv H(v) = E[xxT g ′ (vT x)] − βI 次のような近似を考える: E[xxT g ′ (vT x)] ≈ E[xxT ]E[g ′ (vT x)] = E[g ′ (vT x)] これによってヘシアンが簡単になるので Newton 法は v∗ = E[xg(vT x)] − E[g ′ (vT x)]v が簡単になる vnew = v∗ ∥v∗∥ で更新すれば OK Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 7 / 10
8.
Non Gaussianって何使えばいいの? Super-Gaussian (leptokurtic):
ラプラス分布とかがこのクラス. 中心が尖っ て裾長. Sub-Gaussian (platykurtic): 負の尖度を持つクラス. kurt(z) = E[(Z − E[Z])4 ] σ4 − 3 Skewed distribution: ガンマ分布なんかがこのクラス. skew(z) = E[(Z − E[Z])3 ] σ3 Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 8 / 10
9.
EM for ICA p(z)
を仮定する代わりに正規混合みたいなのを考えてもいいんじゃないか? p(qj = k) = πk p(zj|qj = k) = N(µjk, σ2 jk) p(x|z) = N(W z, Ψ) ポイントは E[zt|xt, θ] が qt での全パターンの summary を考えることでで きる点. かなり expendive な場合は変分法でもできる (Attias 1999). 次に E[zt] を GMM なんかで推定する 最後に pj(zj) = K k=1 πjkN(zj|µjk, σ2 jk) を推定する. Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 9 / 10
10.
その他の推定法 最尤法だけじゃないよ! 詳細は Hyvarinen and
Oja (2000) を御覧ください. エントロピーを最大化じゃなくネジェントロピーの最大化 相互情報量の最小化 相互情報量の最大化 (infomax) Daisuke Yoneoka ICA: 独立成分分析 March 2, 2015 10 / 10
Descargar ahora