双方向LSTMによるラウドネス及びMFCCからの振幅スペクトログラム予測と評価
•
0 recomendaciones•150 vistas
川口翔也, 北村大地, "双方向LSTMによるラウドネス及びMFCCからの振幅スペクトログラム予測と評価," 日本音響学会 2022年秋季研究発表会講演論文集, 1-1-16, pp. 1471–1474, 北海道, 2022年9月（査読無）.
![2
研究背景
• 深層学習（deep neural network: DNN）を用いた音色の変換
及び音の生成技術の発達
–Differentiable Digital Signal Processing（DDSP） [Engel+, 2020]
–変分自己符号化器を用いた楽器音の解析や生成 [Luo+, 2019]
• 変分自己符号化器（variational auto-encoder: VAE）[Kingma+, 2013]
を用いた音色の変換及び音の生成
–ピアノとギターの中間の音色
–新しい楽器音
ピアノ ギター
変換
ピアノの情報 ピアノ
生成
・音の高さ
・音量
・音色
…etc](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Más de Kitamura Laboratory
Más de Kitamura Laboratory (20)
双方向LSTMによるラウドネス及びMFCCからの振幅スペクトログラム予測と評価
- 1. 双方向LSTMによるラウドネス及びMFCCからの 振幅スペクトログラム予測 ☆川口翔也（北村研究室）， 北村大地（香川高専） 日本音響学会2022年秋季研究発表 2022年9月14日 Amplitude spectrogram prediction and evaluation from MFCC and loudness using bidirectional LSTM. 1-1-16
- 2. 2 研究背景 • 深層学習（deep neural network: DNN）を用いた音色の変換 及び音の生成技術の発達 –Differentiable Digital Signal Processing（DDSP） [Engel+, 2020] –変分自己符号化器を用いた楽器音の解析や生成 [Luo+, 2019] • 変分自己符号化器（variational auto-encoder: VAE）[Kingma+, 2013] を用いた音色の変換及び音の生成 –ピアノとギターの中間の音色 –新しい楽器音 ピアノ ギター 変換 ピアノの情報 ピアノ 生成 ・音の高さ ・音量 ・音色 …etc
- 5. 5 本論文の主題 • DNNを用いた振幅スペクトログラムの予測 –入力： • 音の高さ（ピッチ）： C3~B5の3オクターブの内1音 • 音色（MFCC）: 楽器音の特徴量を示す • 音量（ラウドネス）: 時間フレーム毎の音の大きさ（振幅値） –出力：振幅スペクトログラム
- 6. 6 入力特徴量 • メル周波数ケプストラム係数（mel-frequency cepstral coefficient： MFCC） –音の高さと音量を可能な限り除去した純粋な音色の特徴量 • ラウドネス –振幅スペクトログラムの時間ごとの振幅の総和 MFCC 振幅スペクトログラム 振幅スペクトログラム ラウドネス Time [s] Frequency [kHz] Time [s] Coefficient Time [s] Time [s] Frequency [kHz] Volume
- 7. 7 多層パーセプトロン • 多層パーセプトロン（multi-layer perceptron: MLP） –最も基本的なDNN –入力層，中間層（隠れ層）3層以上,出力層からなる
- 8. 8 再帰型ニューラルネットワーク • 再帰型ニューラルネットワーク（recurrent neural network: RNN） –長・短期記憶（long-short term memory: LSTM）ユニットを用いた双方向 再帰型ニューラルネットワーク(bidirectional RNN using LSTM: BiLSTM) –ゲート付き回帰型ユニット(gated recurrent unit: GRU)を用いた双方向 再帰型ニューラルネットワーク（bidirectional RNN using GRU: BiGRU） Time
- 9. 9 実験条件 • 損失関数：DNNの出力値と正解値の誤差関数 –平均二乗誤差（mean squared error: MSE） –Multiscale spectral loss（MSS） • DDSP[Engel+, 2020]で用いられていた誤差関数 入力振幅スペクトログラム 予測振幅スペクトログラム
- 10. 10 実験条件 • MLＰの構成
- 17. 17 実験結果 DNN-type Loss Piano1 Piano2 Guitar1 Guitar2 MLP MSE MSS BiLSTM MSE MSS BiGRU MSE MSS
- 18. 18 評価 • MFCC相対二乗誤差（MFCC relative squared error: MRSE） –入力振幅スペクトログラムのMFCCと予測振幅スペクトログラム のMFCCの相対誤差 Good Good Poor Poor -60 -50 -40 -30 -20 -10 0 MLP-type BiLSTM-type BiGRU-type MRSE [dB] MSE loss MSS loss -60 -50 -40 -30 -20 -10 0 MLP-type BiLSTM-type BiGRU-type MRSE [dB] MSE loss MSS loss ピアノ ギター