More Related Content
Similar to ma52006id384 (20)
More from matsushimalab (20)
ma52006id384
- 2. 本日の発表内容 未知パラメータを伴う隠れマルコフモデルの状態推定問題の概要 準備 従来研究 未知パラメータを伴う隠れマルコフモデルの状態推定の目的の整理 状態系列単位で評価する場合 ・定式化 ・ベイズ基準のもとで誤り率を最小にする推定方法 ・ベイズ解を求める DP アルゴリズム ・近似アルゴリズム 状態単位で評価する場合 ・定式化 ・ベイズ基準のもとで誤り率を最小にする推定方法 ・近似アルゴリズム 状態の有無に関して評価する場合 ・定式化 ・ベイズ基準のもとで誤り率を最小にする推定方法 まとめと今後の課題
- 3. 隠れマルコフモデル( HMM )の概要 状態 から状態 への遷移確率 状態 での記号 の生起確率 状態 記号 初期状態が生起し,記号の生起と状態遷移を繰り返す 通常,状態系列は未知で,記号系列が観測される 初期状態 の生起確率
- 5. 準備( 1/2 ) 状態 状態集合 記号 記号の集合 状態 が生起する確率分布( HMM の初期状態の生起確率) 状態 で記号 が生起する確率分布 を支配するパラメータ 真のパラメータ(未知) 状態 から状態 へ遷移する確率を示す確率分布 ( HMM の状態の遷移確率) を支配するパラメータ
- 6. 準備( 2/2 ) 学習データの 番目の系列 番目の系列の 番目の状態 番目の系列の 番目の記号 番目の系列の状態および記号の数 個の学習データ(状態系列 ,記号系列 ともに既知) 新規に状態系列を推定したい系列の組 学習データ と新規の記号系列 を受け取ったもとで, 新規の記号系列に対応する状態系列 を推定する問題 未知パラメータを伴う隠れマルコフモデルの状態推定問題 学習データ 新規のデータ (状態系列 は未知,記号系列 は既知)
- 8. 状態推定の目的の整理 状態 の推定結果 ・単語単位で評価する形態素解析 ・複数のクラスに属する文書の分類及びインデックスの付与 状態 単位で評価 状態系列 中に状態 が含まれるかどうかの推定結果 系列 の推定結果 出力 学習データ 新規の記号系列 入力 ・複数のクラスに属する文書の分類 ・文単位で評価する形態素解析 ・複数のクラスに属する文書の分類及びインデックス付与 用途 状態 の有無に関して評価 状態系列 単位で評価
- 10. ベイズリスク ただし, は事前分布 ベイズ最適な決定関数 . . 定式化(状態系列単位)( 2/2 ) (6) (7)
- 11. ベイズ決定(状態系列単位)( 1/3 ) ベイズ最適な決定 ベイズ基準のもとで状態系列の推定を間違えてしまう確率である誤り率を 最小にする決定 事前分布に共役事前分布であるディレクレ分布を採用することにより積分部分はディレクレ分布のパラメータと頻度情報によって算出可能 . (8)
- 13. 学習データ中で状態 から状態 へ遷移した回数 に対するディレクレ分布のパラメータ ただし, 系列 で状態 で記号 が生起した回数 ただし, , , ベイズ決定(状態系列単位)( 3/3 ) (11) (12)
- 14. ベイズ解を求めるDPアルゴリズム(状態系列単位)( 1/2 ) 新規の記号系列に対応する状態系列の候補を木構造で列挙して,動的計画法(DP)を用いてベイズ解を求める 例 の場合 空列のノード 個 個 深さ 個 各ノードにその系列に対応する事後分布を保持させて,動的計画法を用いて,深さ のノードから遡ってベイズ最適な系列を推定する
- 16. 近似アルゴリズム(状態系列単位)( 1/2 ) 学習データに対する事後分布による予測分布を未知パラメータの推定値として採用し,ビタビアルゴリズムで状態系列を推定する 学習データに対する事後分布による の予測分布 も同様 従来研究と同様にパラメータの推定問題と状態系列の推定問題という二つの問題に分割して検討していることになる -> しかし,ベイズ最適な推定方法を導出する際に出てきた事後分布による予測分布を未知パラメータの推定値として採用しており,推定方法の採用には統計的決定理論に基づく根拠がある ベイズ解における新規系列による頻度更新を無視することに相当 . (14)
- 17. トレリス線図の例 の場合 時点 時点 時点 時点 時点 時点のメトリック( 時点の状態 から 時点の状態 への枝に付与) 時点から 時点まで各時点ごとにトレリス線図上の全状態について次式によって計算( 時点から 時点の状態 までの最尤系列) 学習データに対する事後分布による予測分布を用いた場合の最尤系列を求められる.計算量は系列長に比例 . . 近似アルゴリズム(状態系列単位)( 2/2 ) (15) (16)
- 18. 定式化とベイズ解(状態単位) 損失関数 ただし, は学習データと新規の記号系列を受け取ったもとで状態 の推定結果を返す決定関数 ベイズ最適な決定 . ベイズ基準のもとで状態の推定を間違えてしまう確率である誤り率を最小にする決定は可能だが,計算量は系列長に対する指数オーダ -> 近似アルゴリズムの検討 (17) (18)
- 19. 近似アルゴリズム(状態単位)( 1/2 ) 学習データに対する事後分布による予測分布を未知パラメータの推定値として採用し, BCJR アルゴリズムで状態を推定する . . . (19) (20) (21)
- 20. 近似アルゴリズム(状態単位)( 2/2 ) . . および は以下のように再帰的に計算される 近似解 時点 時点 時点 時点 時点 時点 時点 近似アルゴリズムの計算量は系列長に比例 (22) (23)
- 21. 定式化とベイズ解(状態の有無) 損失関数 ただし, は系列 中に状態 が有れば ,無ければ を返す関数 ベイズ最適な決定 この場合の近似アルゴリズムは BCJR アルゴリズムを利用して導出できる ただし, は状態 が系列 中に無い確率の推定値 . (24) (25) (26)
- 22. まとめ 未知パラメータを伴う隠れマルコフモデルの状態推定問題を ・状態系列単位で評価する場合 ・状態単位で評価する場合 ・状態の有無で評価する場合 という目的別に定式化を実施 状態系列単位で評価する推定問題について ・統計的決定理論に基づきベイズ基準のもとで誤り率を最小にするベイズ決定の導出 ・動的計画法によってベイズ決定を行うアルゴリズムの提案 ・学習データに対する事後分布による予測分布を用いた近似アルゴリズムの提案(ビタビアルゴリズムを適用) 状態単位で評価する推定問題について ・統計的決定理論に基づきベイズ基準のもとで誤り率を最小にするベイズ決定の導出 ・学習データに対する事後分布による予測分布を用いた近似アルゴリズムの提案(BCJRアルゴリズムを適用) 状態の有無で評価する推定問題について ・統計的決定理論に基づきベイズ基準のもとで誤り率を最小にするベイズ決定の導出