Enviar búsqueda
Cargar
PRML第3章@京大PRML輪講
•
12 recomendaciones
•
6,728 vistas
Sotetsu KOYAMADA(小山田創哲)
Seguir
6/24京大PRML輪講(第3回)での発表資料. 第3章〜3.2まで
Leer menos
Leer más
Datos y análisis
Denunciar
Compartir
Denunciar
Compartir
1 de 28
Descargar ahora
Descargar para leer sin conexión
Recomendados
PRML輪読#3
PRML輪読#3
matsuolab
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML輪読#2
PRML輪読#2
matsuolab
Prml
Prml
syou6162
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
Recomendados
PRML輪読#3
PRML輪読#3
matsuolab
Prml3.5 エビデンス近似〜
Prml3.5 エビデンス近似〜
Yuki Matsubara
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML輪読#2
PRML輪読#2
matsuolab
Prml
Prml
syou6162
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
Takeshi Sakaki
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
大阪PRML読書会#1資料
大阪PRML読書会#1資料
Hiromasa Ohashi
Prml 3 3.3
Prml 3 3.3
Arata Honda
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML輪読#4
PRML輪読#4
matsuolab
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
Ryosuke Sasaki
統計的学習の基礎_3章
統計的学習の基礎_3章
Shoichi Taguchi
PRML読み会第一章
PRML読み会第一章
Takushi Miki
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Akihiro Nitta
PRMLrevenge_3.3
PRMLrevenge_3.3
Naoya Nakamura
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
PRML輪読#5
PRML輪読#5
matsuolab
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#1
PRML輪読#1
matsuolab
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
KokiTakamiya
Prml 2.3
Prml 2.3
Yuuki Saitoh
PRML輪読#14
PRML輪読#14
matsuolab
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
Osaka prml reading_3.2-3.3.1
Osaka prml reading_3.2-3.3.1
florets1
Prml sec3
Prml sec3
Keisuke OTAKI
Más contenido relacionado
La actualidad más candente
大阪PRML読書会#1資料
大阪PRML読書会#1資料
Hiromasa Ohashi
Prml 3 3.3
Prml 3 3.3
Arata Honda
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
Nagayoshi Yamashita
PRML輪読#4
PRML輪読#4
matsuolab
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
Ryosuke Sasaki
統計的学習の基礎_3章
統計的学習の基礎_3章
Shoichi Taguchi
PRML読み会第一章
PRML読み会第一章
Takushi Miki
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
Akihiro Nitta
PRMLrevenge_3.3
PRMLrevenge_3.3
Naoya Nakamura
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
PRML輪読#5
PRML輪読#5
matsuolab
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#1
PRML輪読#1
matsuolab
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
KokiTakamiya
Prml 2.3
Prml 2.3
Yuuki Saitoh
PRML輪読#14
PRML輪読#14
matsuolab
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
La actualidad más candente
(20)
大阪PRML読書会#1資料
大阪PRML読書会#1資料
Prml 3 3.3
Prml 3 3.3
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
PRML輪読#4
PRML輪読#4
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
統計的学習の基礎_3章
統計的学習の基礎_3章
PRML読み会第一章
PRML読み会第一章
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRML 3.3.3-3.4 ベイズ線形回帰とモデル選択 / Baysian Linear Regression and Model Comparison)
PRMLrevenge_3.3
PRMLrevenge_3.3
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
PRML輪読#5
PRML輪読#5
PRML 第4章
PRML 第4章
PRML第6章「カーネル法」
PRML第6章「カーネル法」
PRML輪読#1
PRML輪読#1
PRML 2.3 ガウス分布
PRML 2.3 ガウス分布
Prml 2.3
Prml 2.3
PRML輪読#14
PRML輪読#14
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Destacado
Osaka prml reading_3.2-3.3.1
Osaka prml reading_3.2-3.3.1
florets1
Prml sec3
Prml sec3
Keisuke OTAKI
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
Takuto Kimura
【論文紹介】Reward Augmented Maximum Likelihood for Neural Structured Prediction
【論文紹介】Reward Augmented Maximum Likelihood for Neural Structured Prediction
Sotetsu KOYAMADA(小山田創哲)
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
Eric Sartre
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
Destacado
(6)
Osaka prml reading_3.2-3.3.1
Osaka prml reading_3.2-3.3.1
Prml sec3
Prml sec3
Prml2.1 2.2,2.4-2.5
Prml2.1 2.2,2.4-2.5
【論文紹介】Reward Augmented Maximum Likelihood for Neural Structured Prediction
【論文紹介】Reward Augmented Maximum Likelihood for Neural Structured Prediction
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
Stan超初心者入門
Stan超初心者入門
Similar a PRML第3章@京大PRML輪講
[第2版]Python機械学習プログラミング 第10章
[第2版]Python機械学習プログラミング 第10章
Haruki Eguchi
Rabbit challenge machine learning
Rabbit challenge machine learning
TakumaYamauchi1
カステラ本勉強会 第三回 補足
カステラ本勉強会 第三回 補足
ke beck
Model seminar shibata_100710
Model seminar shibata_100710
Kazuya Nishina
PRML輪読#12
PRML輪読#12
matsuolab
PRML輪読#13
PRML輪読#13
matsuolab
論理と計算のしくみ 5.3 型付きλ計算 (前半)
論理と計算のしくみ 5.3 型付きλ計算 (前半)
Lintaro Ina
El text.tokuron a(2019).yamamoto190627
El text.tokuron a(2019).yamamoto190627
RCCSRENKEI
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Masanori Takano
第9回 配信講義 計算科学技術特論A(2021)
第9回 配信講義 計算科学技術特論A(2021)
RCCSRENKEI
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Naoki Hayashi
Tokyo r12 - R言語による回帰分析入門
Tokyo r12 - R言語による回帰分析入門
Yohei Sato
関西CVPRML勉強会 kernel PCA
関西CVPRML勉強会 kernel PCA
Akisato Kimura
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
What if ch11
What if ch11
NorihiroSuzuki2
CMSI計算科学技術特論B(8) オーダーN法1
CMSI計算科学技術特論B(8) オーダーN法1
Computational Materials Science Initiative
人工知能13 deep learning
人工知能13 deep learning
Hirotaka Hachiya
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
Nips yomikai 1226
Nips yomikai 1226
Yo Ehara
Prml12-2
Prml12-2
Tsukasa Fukunaga
Similar a PRML第3章@京大PRML輪講
(20)
[第2版]Python機械学習プログラミング 第10章
[第2版]Python機械学習プログラミング 第10章
Rabbit challenge machine learning
Rabbit challenge machine learning
カステラ本勉強会 第三回 補足
カステラ本勉強会 第三回 補足
Model seminar shibata_100710
Model seminar shibata_100710
PRML輪読#12
PRML輪読#12
PRML輪読#13
PRML輪読#13
論理と計算のしくみ 5.3 型付きλ計算 (前半)
論理と計算のしくみ 5.3 型付きλ計算 (前半)
El text.tokuron a(2019).yamamoto190627
El text.tokuron a(2019).yamamoto190627
みどりぼん読書会 第4章
みどりぼん読書会 第4章
第9回 配信講義 計算科学技術特論A(2021)
第9回 配信講義 計算科学技術特論A(2021)
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Tokyo r12 - R言語による回帰分析入門
Tokyo r12 - R言語による回帰分析入門
関西CVPRML勉強会 kernel PCA
関西CVPRML勉強会 kernel PCA
PRML 5.3-5.4
PRML 5.3-5.4
What if ch11
What if ch11
CMSI計算科学技術特論B(8) オーダーN法1
CMSI計算科学技術特論B(8) オーダーN法1
人工知能13 deep learning
人工知能13 deep learning
W8PRML5.1-5.3
W8PRML5.1-5.3
Nips yomikai 1226
Nips yomikai 1226
Prml12-2
Prml12-2
Más de Sotetsu KOYAMADA(小山田創哲)
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
Sotetsu KOYAMADA(小山田創哲)
【強化学習】Montezuma's Revenge @ NIPS2016
【強化学習】Montezuma's Revenge @ NIPS2016
Sotetsu KOYAMADA(小山田創哲)
KDD2016論文読み会資料(DeepIntent)
KDD2016論文読み会資料(DeepIntent)
Sotetsu KOYAMADA(小山田創哲)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
Sotetsu KOYAMADA(小山田創哲)
強化学習勉強会・論文紹介(第22回)
強化学習勉強会・論文紹介(第22回)
Sotetsu KOYAMADA(小山田創哲)
Principal Sensitivity Analysis
Principal Sensitivity Analysis
Sotetsu KOYAMADA(小山田創哲)
KDD2015論文読み会
KDD2015論文読み会
Sotetsu KOYAMADA(小山田創哲)
KDD2014勉強会 発表資料
KDD2014勉強会 発表資料
Sotetsu KOYAMADA(小山田創哲)
知能型システム論(後半)
知能型システム論(後半)
Sotetsu KOYAMADA(小山田創哲)
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
Más de Sotetsu KOYAMADA(小山田創哲)
(10)
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
【強化学習】Montezuma's Revenge @ NIPS2016
【強化学習】Montezuma's Revenge @ NIPS2016
KDD2016論文読み会資料(DeepIntent)
KDD2016論文読み会資料(DeepIntent)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
強化学習勉強会・論文紹介(第22回)
強化学習勉強会・論文紹介(第22回)
Principal Sensitivity Analysis
Principal Sensitivity Analysis
KDD2015論文読み会
KDD2015論文読み会
KDD2014勉強会 発表資料
KDD2014勉強会 発表資料
知能型システム論(後半)
知能型システム論(後半)
EMアルゴリズム
EMアルゴリズム
PRML第3章@京大PRML輪講
1.
第3章 線形回帰モデル @ 京大PRML輪講 システム科学専攻
石井研 M2 小山田 創哲
2.
目次 1. 線形基底関数モデル 1. 最尤推定と最小二乗法 2. 最小二乗法の幾何学 3.
逐次学習 4. 正則化最小二乗法 5. 出力変数が多次元の場合 2. バイアス-バリアンス分解
3.
回帰 回帰の目標は,xとそれに対応するtの観測 が与えられた時,その観測から新しいxにた いして対応するtの値を予測することである. 本章では線形モデルによる回帰の手法を学ぶ. 今後扱うモデルの基礎として重要
4.
3.1 線形基底関数モデル
5.
問題設定 n 与えられるデータ n 目標 新しい に対して で対応する を予測する. と
6.
線形モデル 但し, は(非線形な)基底関数 パラメータwについて線形
7.
様々な基底関数 n 多項式基底 n ガウス基底 n シグモイド基底
8.
3.1.1 最尤推定と最小二乗法 確率的モデルを立てる データの持つ不確実性はtとxの同時分布によって完 全に記述されるが,新しいxに対応するtを予測す るという目的を考えれば,tのxが与えられた条件 付き分布のモデルを立てるのがここでは自然.
9.
最尤推定(尤度最大化) 対数尤度を計算する. 但し 線形ガウスモデルの条件下で尤度 最大化と二乗和誤差最小化は等価
10.
最尤推定(対数尤度の微分) 対数尤度の勾配を計算し, 0とおいて
11.
最尤推定(結果) 擬似逆行列
12.
3.1.2 最小二乗法の幾何学 Φへの射影 データ点からモデルの張る空間への射影が 最尤推定により定まるモデル (証) Φ^T
(t – 右辺) = 0
13.
より直感的理解 高校生の時にならったこれと実は一緒
14.
3.1.3 逐次学習 SGD(Stochastic Gradient
Decent) により逐次的に学習も可能. xのサンプルが得られる度, wを逐次的に更新
15.
3.1.4 正則化二乗誤差関数 正則化項 ランクを補ってる Weight decay
16.
正則化項いろいろ lasso lassoは解がスパースになりやすい
17.
lasso スパース!
18.
3.1.5 出力が多次元の場合 全く同じ!
19.
3.2 バイアス-バリアンス分解
20.
3-2 のまとめ n 予測yの評価を(理論的に)したい 期待二乗損失 は, に分解できる. bias:
yによる予測の平均と理想的予測の差(の期待値) variance: yによる予測のデータ依存のばらつき(分散) noise: 理想的予測と観測値の差の平均(制御できない) biasとvarianceにはトレードオフありがち
21.
予測の評価 期待二乗損失による評価 これを最小にする理想的y(x)は?(復習) 真の分布は知らないので 実際には計算できない
22.
予測の評価 証明(復習) より =0 で最小
23.
noise 理想的予測をhとおく 期待二乗損失は noise: 理想的予想を しても出てしまう誤差 biasとvarianceに分 解する
24.
biasとvariance データDによってy(x, D)が決まるとする. 第1項の被積分関数 は, Dについて期待値をとって
25.
Bias, variance, noise bias:
yによる予測の平均と理想的予測の差(の期待値) variance: yによる予測のデータ依存のばらつき(分散) noise: 理想的予測と観測値の差の平均(制御できない) biasとvarianceにはトレードオフありがち
26.
λ 大 λ 小 モデル自由度 :
高い モデル自由度 : 低い bias 高い variance 高い variance 低い bias 低い トレードオフ
27.
トレードオフ Test errorと(bias)^2 +
varianceは λの変化に対して非常によく似た動きをする
28.
全体私的まとめ n 線形回帰モデルの最尤推定解はデータ点からモデ ルの張る空間への射影という極めて直感的な形で 与えられた n lassoはスパースな解を与えやすい n 期待二乗損失は取り除けない本質的ノイズ (noise)と,自分の予測と理想的予測との差 (bias),自分の予測のゆらぎ(variance)に分解 できる n biasとvarianceの間にはトレードオフの関係が ありがち n 自分の予測にゆらぎが存在し,期待損失に影響与 えるというのは見落としがちな視点だと思う おわり!ありがとうございました!
Notas del editor
100個のデータセット,それぞれN=25点,M=25,図示しているのは20/100個だけ
Descargar ahora