香川高等専門学校電気情報工学科卒業研究発表会
2023/03/01 09:00~09:15
時間微分スペクトログラムに基づく
ブラインド音源分離
Blind Audio Source Separation
Based on Time Differential of Spectrograms
綾野翔馬（北村研究室）

研究の背景
• ブラインド音源分離（blind source separation: BSS）
– 複数の音源が混ざり合った信号から各音源の信号を推定
– 各音源の信号や複数音源の混ざり合い方は未知
• マイクの配置や音源位置等の事前情報が不明＝ブラインド
• BSS手法の例
– 周波数領域ICA（FDICA）[P. Smaragdis+, 1998]
– 独立ベクトル分析（IVA）[A. Hiroe+, 2006]
– 独立低ランク行列分析（ILRMA）[D. Kitamura+, 2017]
2
混合系
（未知）
分離系
（推定）
?
?
推定した音源信号
観測した混合信号
音源信号（未知）
いずれの手法も複素スペクトログラムを分離するが
個々の音源の振幅スペクトログラムの仮定を用いている

• 一定の時間毎に信号を切り出し，窓関数をかけて
フーリエ変換を行う
• 時間的に変化するスペクトルを表現できる
時間周波数領域
周波数
時間
・・・
複素スペクトログラム
複素数要素を持つ行列
振幅スペクトログラム
非負（ 以上）の実数要素の行列
短時間フーリエ変換（STFT）
3
時間領域
窓関数
シフト長
フーリエ変換長（窓長）
位相スペクトログラム
以上 未満の範囲の実数要素の行列
離散
フーリエ
変換
時間信号

研究の動機
• 振幅スペクトログラム には音源の構造が現れやすい
• 位相スペクトログラム には音源の構造が現れにくい
4

• IVAやILRMAは音源モデルをもとに分離を行う
– 音源モデルは振幅スペクトログラムをもとに考えられている
– 混合された位相スペクトログラムを分離することは困難
位相スペクトログラム には
混合前の各音源の
特徴は見られない
研究の動機
5
振幅スペクトログラム には
混合前の各音源の
特徴がみられる
ドラム音源とギター音源の
混合音源

• 位相に構造が現れるスペクトログラムが提案されている
– 修正位相スペクトログラムと呼ばれている
[K. Yatabe and Y. Oikawa, 2018]
• 修正位相スペクトログラムの計算方法
– 位相スペクトログラムの時間微分 を用いて位相を回転する
– は複素スペクトログラム と
時間微分複素スペクトログラム を用いて求めることができる
研究の目的
6

研究の目的
7
• 各スペクトログラムの比較
– 修正位相スペクトログラムの位相には横線が多く現れている

• 従来のBSS
研究の目的
8
振幅スペクトログラム に
基づいたモデル
混合
スペクトログラム
分離
スペクトログラム
混合信号
観測信号
音源信号

• 位相情報を考慮したBSS
混合
スペクトログラム
混合修正位相
スペクトログラム
混合信号
音源信号
分離修正位相
スペクトログラム
分離
スペクトログラム
観測信号
研究の目的
9
位
相
回
転
位
相
逆
回
転
振幅スペクトログラム および
位相スペクトログラム に
基づくモデル

• 位相情報を考慮したBSSの問題点
研究の目的
10
位相逆回転
時間微分
位相逆回転
分離後の信号が必要
分離後の時間微分
複素スペクトログラムを
直接計算する方法を検討
分離修正位相
スペクトログラム
分離
スペクトログラム
観測信号

時間微分複素スペクトログラム
• 時間微分複素スペクトログラムについて実験を行う
– 時間微分複素スペクトログラムを求める方法
• 窓関数の時間微分を信号に乗じたものにSTFTに-1を乗じることで
時間微分複素スペクトログラムを得ることができる
• 窓関数の時間微分は解析的に計算可能である
• 複素スペクトログラムの時間微分が分離できるかを調査
11
ハン窓とその時間微分
時間微分複素スペクトログラムの導出

• 従来のBSS（再掲）
時間微分複素スペクトログラムのBSS
12
振幅スペクトログラム に
基づいたモデル
混合
スペクトログラム
分離
スペクトログラム
混合信号
観測信号
音源信号

• 本研究で行う時間微分複素スペクトログラムのBSS
時間微分複素スペクトログラムのBSS
13
逆変換において制約あり
を用いる
混合時間微分
スペクトログラム
分離時間微分
スペクトログラム
混合信号
観測信号
音源信号

すべての点が
含まれる
どのフレームにも
含まれていない点
• 時間微分複素スペクトログラムから時間信号への変換
– どの程度分離できているかを確認するために必須
– 逆STFTを用いて計算
– 但しSTFTのシフト長によっては逆変換が不可能
• 周期的に信号の情報が失われるため
• シフト長を調整することで回避可能
– 例:窓長の1/4，窓長の1/8など
時間微分複素スペクトログラムの逆変換
14
窓関数
シフト

• 独立ベクトル分析 (independent vector analysis: IVA)
– 各周波数ごとの振幅が同期することを仮定
– 各信号源間の独立性を最大化
周波数毎の
分離行列
実験内容
15
観測スペクトログラム 分離スペクトログラム
通常は複素スペクトロ
グラムを入力するが，
本実験では時間微分
複素スペクトログラム
を入力

実験条件
• 音楽10音源・音声10音源の20音源に対し，以下の条件
で分離性能を計算・比較
16
項目 条件
分離アルゴリズム 補助関数型反復ソースステアリング法IVA
サンプリング周波数 16 kHz
窓関数
ハン窓 (複素スペクトログラム)
微分ハン窓 (時間微分複素スペクトログラム)
窓長
512点 (32ms)
1024点 (64 ms)
2048点 (128 ms)
4096点 (256 ms)
8192点 (512 ms)
シフト長
窓長の1/4
(128点, 256点，512点, 1024点, 2048点)
反復回数 100回
分離性能の指標 信号対歪み比(SDR)

• IVAを用いて分離されたスペクトログラムのSDR
実験結果
17

実験結果
• BSSを用いて時間微分複素スペクトログラムを分離可能
– 十分な精度で分離された時間微分複素スペクトログラムを
得ることができる
18

まとめ
• 目的
– 位相を考慮したBSSの実現
• 修正位相スペクトログラムをBSSに導入する方法を検討
• 実験内容
– 時間微分複素スペクトログラムをBSS手法を用いて分離
• 逆変換可能なシフト長を用いる必要がある
• 実験結果
– 既存のBSS手法を用いて時間微分複素スペクトログラムを
分離することができる
• 複素スペクトログラムを用いた場合と比較して高い分離性能を得ること
はできなかったが，同等の分離性能を得られた
• 修正位相スペクトログラムの逆変換の手がかりを得られる 19