2019年1月22日 音響・超音波サブソサイエティ合同研究会 招待講演

1. スピーカアレイを用いた
空間フーリエ変換に基づく局所再生
岡本拓磨
情報通信研究機構
1
22th Jan. 2019, US/EA conf.@Doshisha Univ.
Spatial Fourier transform-based localized sound zone generation
with loudspeaker arrays
USとの併催により陽に記述

2. My motivation for localizing sound zone
Comparison of localized sound field methods
Spatial Fourier transform-based sound field control
Spatial Fourier transform-based localized sound zone
generation
Challenges and prospects
Concluding remarks
Extra
Outline
2

3. Takuma OKAMOTO, Ph.D.
学歴
1997.4-2000.3：静岡県立沼津東高等学校
2000.4-2004.3：東北大学工学部機械知能系：振動インテンシティ(BC3～4)
2004.4-2009.3：東北大学情報科学研究科(学部的には電気情報系)
- 博士学位論文：包囲型マイクロホンアレイを用いた音空間情報の解析と抽出
職歴
2007.11-2009.3：日本学術振興会特別研究員(DC2)
2009.4-2012.3：東北大学ポスドク研究員：スピーカアレイの研究を開始
2012.4-現在：情報通信研究機構：研究員
- 2012.4-2014.3：マイクロホン・スピーカアレイを用いた立体音響処理
＠超臨場感グループ
- 2014.4-現在：音声コミュニケーション技術(主に音声合成)
＠先進的音声翻訳研究開発推進センター
局所再生の研究：2011.10～現在
My research history
3

4. マスク信号を用いた加算型サウンドスポットシステム
動機
多数のスピーカを用いて音場再現以外で何かできないか!?
(非常に単純な)原理
部屋の中心で位相が合う音声信号+無相関なノイズ信号
→スピーカの近くではノイズしか聞こえないが，部屋の
中心ではSN比が逆転して音声が聞こえるようになる
発案から実装まで(1時間程度)
MATLABによる音源作成+PureDataを用いた再生
My motivation for localizing sound zone
4
・・・・・・
ri
s(t)
z−(D0−r1/c)
z−(D0−ri/c)
z−(D0−rN /c)
・・・・・・
n1(t)
ni(t)
nN (t)
・・・・・・
r1
rN
rN
ri
r1
Target spot
SNR − 20 dB
EMM 2011，ASJ 2012S(粟屋潔学術奨励賞受賞)
!"#$%&"'()
*"#$%&"'()
"
"
!+ !,-. !, !/-. / /-. ,
!,
/
,
/
/-,
/-+
/-0
/-1
/-.
/-2
音声明瞭度(SII)
157 chスピーカアレイ
＠東北大
実際に聞いた時の感動は未だに衝撃的

5. 局所再生・マルチスポット再生・近傍再生
局所再生
音の聞こえるエリアと聞こえないエリアを形成
マルチスポット再生
音複数の領域でそれぞれ別々の音が聞こえる
→局所再生の重ね合わせにより実現可能
近傍再生
音複スピーカの近くでのみ音が聞こえ，離れる
と聞こえなくなく
反射音のある環境でも適用できる可能性
→波面ではなく音圧差を重視した方式
マルチ音場再生
複数の領域でそれぞれ別々の波面を同時に制御
→音圧差ではなく，波面の再現を重視した方式
Localized sound zone generation methods
5
Bright zone
(Listening area)
Dark zone
(Quiet area)
局所再生
こんにちは
Hello
你好
Japanese
area
English
area
Chinese
area
マルチスポット再生
マルチ音場再生Brightzone
(Listeningarea)
Darkzone
(Quietarea)
近傍再生
ポイント：如何に「音の聞こえないエリア」を形成するか

6. 原理
遅延和型ビームフォーミング(マイクロホンアレイ)
目的方向・位置からの位相が揃うように各マイクロホン信号に遅延処理
遅延型ビームフォーミング(スピーカアレイ)
目的方向・位置での位相が揃うように各スピーカ信号に遅延処理
特徴
目的方向のパワーを最大化させる
目的外方向でもパワーが高い方向がでてしまう
→サイドローブ
如何にサンドローブを抑えるかが課題
Introduction to beamforming
6・・・・・・
ri
s(t)
z−(D0−r1/c)
z−(D0−ri/c)
z−(D0−rN /c)
・・・・・・
r1
rN
rN
ri
r1
Target spot
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
!
"s
d
Microphone 2
Microphone 1wave
front
x2
x1
マイクロホン間の到来時間差
同一係数
マイクロホンアレイ スピーカアレイ
相反則
目的方向
メインローブ
サイドローブ

7. 原理
超音波領域のキャリア波を可聴領域で振幅変調→110 dB以上で再生
音の空気の比線形性により可聴領域信号が聞こえる
特徴
指向性は抜群
鏡面反射も可能(←可聴音では回折・拡散効果により鏡面反射伝搬は難しい)
空気の非線形性に基づく→制御が難しい→音質改善が課題
音圧レベルへの懸念(この帯域を可聴域とする動物等)
Introduction to parametric array
7
(a): Source sound signal
(Audible sound wave)
(b): Carrier wave
(Ultrasound wave)
×
(c): Amplitude modulated wave
(Ultrasound wave)
Parametric
array
Wall
O.K.
O.K.
??

8. 最小二乗解(least squares: LS)に基づく音場制御
各スピーカ-制御点間の伝達関数行列の逆特性を
直接算出
制御点の音圧を直接制御する
局所再生：(1)空間相関行列を用いた方式
(2)無音領域の音圧を0とする方式
メリット
マイクロホン(=制御点)，スピーカ配置は自由
→境界音場制御：
制御閉領域境界上の音圧と音圧勾配を同時制御
問題点
音響逆問題は極めて悪条件→解は極めて不安定
正則化パラメータ決定のための反復計算が必要 8
...
...
...
...
G(ω)
P (ω)D(ω)
P (ω) = G(ω)D(ω)
↓
D(ω) = G+
(ω)P (ω)
：順問題(畳み込み演算)
：逆問題(逆畳み込み演算)
例：BoSCシステム
Pressure matching-based
sound field control
Loudspeakers
Controlpoints

9. 時間領域フーリエ変換
時間領域の信号を周波数領域の信号に分解
特徴
各周波数成分は直交
→それぞれ独立に制御可能
畳み込みの定理：時間領域の畳み込み演算→周波数領域の乗算
Fourier transform in time domain
9
F(ω) =
∞
−∞
f(t)ejωt
dt順変換： f(t) =
1
2π
∞
−∞
F(ω)e−jωt
dω逆変換：
y(t) = x(t) ∗ h(t) Y (ω) = X(ω)H(ω)
ω = 2πf
F
短時間フーリエ変換
パワースペクトル：20 log10 |F(ω)|
時間信号：f(t)

10. 音場の空間フーリエ変換(例：2次元音場)
定義(まずは説明のため の場合)
10
Spatial Fourier transform
波面を各方向から到来する平面波成分に分解(直交展開)
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
!! !" # " !
!!
!"
#
"
!
$%&'()%*+,
-+./(0123
空間フーリエ変換
kx = 0 kx = ω/ckx = −ω/c kx = −ω/2c kx = ω/2c
各方向の平面波の重み
(角度スペクトル)
収録音場
音圧分布(複素数)
基底平面波
時間領域
フーリエ変換
ω = 2πf
波数：
˜P (kx, y = 0, ω) =
∞
−∞
P(x, y = 0, ω)e−jkxx
dx
x
：(複素数)P(x, y = 0, ω)
y = 0
p(x, y, t)：実数

11. 音場の球面調和展開(例：3次元内部音場)
順変換
逆変換
11音場を指向性ごとに分解(直交展開)
各指向性の重み
(球面調和スペクトル)
収録音場
r
Spatial Fourier transform
in spherical coordinates
−1−2−3−4 0
0
1
1
2
2
3
3
4
4
y
x
z
r = [r, θ, φ]T
φ
θ
r
r = x2 + y2 + z2
θ = tan−1 x2 + y2
z
φ = tan−1 y
x
デカルト座標系と球面座標系
半径 上の音圧分布
球面調和関数球ベッセル関数
ˇAm
n =
1
jn(kr)
2π
0
π
0
S(r, θ, φ)Y m
n (θ, φ)∗
sin θdθdφ
S(r, θ, φ) =
∞
n=0
n
m=−n
jn(kr) ˇAm
n Y m
n (θ, φ)
r
m
n
k =
ω
c
=
2πf
c

12. 角度スペクトルに基づく音場の内装・外装
2次元音場の角度スペクトル( )
ある線上の音圧からそれ以外の位置の音場を内装・外装可能
球面調和スペクトルに基づく音場の内装・外装
3次元音場の球面調和スペクトル
ある球上の音圧からそれ以外の位置の音場を内装・外装可能
Spatial Fourier transform-based
sound field inter-extrapolation
12
˜P (kx, y, ω) =
∞
−∞
P(x, y, ω)e−j(kxx+
√
k2−k2
xy)
dx = ˜P (kx, y = 0, ω) ej
√
k2−k2
xy
˜P (kx, y, ω) = ˜P (kx, y′
, ω) ej
√
k2−k2
x(y−y′
)
ˇAm
n =
1
jn(kr)
2π
0
π
0
S(r, θ, φ)Y m
n (θ, φ)∗
sin θdθdφ =
ˇSm
n (r)
jn(kr)
ˇSm
n (r) =
jn(kr)
jn(kr′)
ˇSm
n (r′
)
y′
y
y = 0
r′
r
音場の空間フーリエ変換が波動方程式より導出されているため
ˇSm
n (r) =
hn(kr)
hn (kr′)
ˇSm
n (r′
)
内部音場(到来音場) 外部音場(放射音場)

13. 2.5D spectral division method (SDM)
直線アレイによる音場(Single layer potential)
軸方向に空間フーリエ変換
時空間周波数(=波数)領域の各スピーカの
駆動信号
時間周波数領域の駆動信号(逆変換)
13
˜P(kx, y, 0, ω) = ˜D(kx, ω) · ˜G(kx, y, 0, ω)
→ 時空間周波数領域では乗算
x
˜D(kx, ω) =
˜P(kx, yref , 0, ω)
˜G(kx, yref , 0, ω)
J. Ahrens et al. 2010.
→ 時間周波数領域では畳み込み
y = yref
x
y
Secondary source D(x, 0, ω)
P(x, yref , ω)
˜G(kx, yref , 0, ω) =
j
4
H0(kxyref )
P(x, ω) =
∞
−∞
D(x0, ω)G3D(x, x0, ω)dx0
F
制御線上の平面波成分 を制御する方式
G3D(x, x0, ω) =
exp(jk|x − x0)
4π|x − x0|
Spatial Fourier transform-based
sound field synthesis with a linear array
フーリエ変換における
畳み込みの定理
˜P(kx)
D (x0, ω) =
1
2π
k
−k
˜D (kx, ω) ejkxx
dkx

14. HOAの解析的方式
球面アレイによる音場(Single layer potential)
球面調和展開
球面調和スペクトル領域の駆動信号
時間周波数領域の駆動信号(逆変換)
3D higher order Ambisonics (HOA)
14
→球面調和スペクトル領域では乗算
J. Ahrens et al. 2008.
→ 時間周波数領域では畳み込み
F
S(r, θ, φ) =
2π
0
π
0
D(R)G(r, R) sin θdθdφ
ˇSm
n (r) =
4π
2n + 1
ˇDm
n (R) ˇG0
n(r<, R)
G0
n(r<, R) = jk
2n + 1
4π
jn(kr)hn(kR)
R
x
y
z
球面内の指向性成分 を制御する方式
G(r, R) =
exp(jk|r − R)
4π|r − R|
ˇAm
n
ˇDm
n (R) =
2n + 1
4π
ˇSm
n (r)
˘G0
n (r<, R)
=
ˇAm
n
jkhn(kR)
D(R, θ, φ) =
⌊kR⌋
n=0
n
m=−n
ˇD(R)Y m
n (θ, φ)

15. 2.5次元音場制御
スピーカアレイ配置は2次元，スピーカの放射特性は3次元の音場制御
制約：基準線/円上の音圧のみ制御可能
What is “2.5D” sound field control?
15
アレイ形状
音源
放射特性
実装
2次元再生
線音源
難
円筒放射
2次元
基準円
点音源 点音源
2次元 3次元
球状放射 球状放射
難易
3次元再生2.5次元再生

16. 伝搬成分とエバネッセント成分
伝搬成分
角度スペクトル：平面波に分解可能な領域( )
球面調和スペクトル：平面波を再構築するのに必要な領域( )
エバネッセント成分：伝搬成分以外の領域( ， )
1波長程度で指数関数的に減衰
→逆問題においては非常に不安定
空間フーリエ変換に基づく音場制御
安定した駆動信号←伝搬成分のみで駆動信号を計算可能
音圧制御方式：エバネッセント成分を分離不可能
空間フーリエ変換方式：分離が可能
Propagation and evanescent components
16
G3D(x, x0, ω) =
exp(jk|x − x0)
4π|x − x0|
kx ≤ |k|
n ≤ ⌊kR⌋
n > ⌊kR⌋kx > |k|
D (x0, ω) =
1
2π
k
−k
˜D (kx, ω) ejkxx
dkx D(R, θ, φ) =
⌊kR⌋
n=0
n
m=−n
ˇD(R)Y m
n (θ, φ)
k =
ω
c
=
2πf
c

17. 制御理論
音圧制御型多点制御法：制御点が必要
制御点における音圧を直接制御
伝達関数行列の逆行列：逆畳み込みに相当
→不安定演算のため正則化が必要→物理的妥当性なし
空間フーリエ変換に基づく方式(SDM，HOA)：制御点不要(2.5次元制御除く)
空間フーリエ変換座標の中心付近の音場を制御
畳み込みの定理による効率的演算
エバネッセント成分の除去に基づく解の安定性
→波動方程式から導かれる物理的妥当性
アレイ形状
音圧制御型多点制御法
任意の形状が可能
空間フーリエ変換に基づく方式(SDM，HOA)
平面/直線，球形/円形といったフーリエ変換できる形状に限定
Comparison with
pressure matching-based approach
17

18. 音場の空間フーリエ変換
[4] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustic
Holography. London, UK: Academic Press, 1999.
空間フーリエ変換に基づく音場制御
[3] J. Ahrens, Analytic Methods of Sound Field Synthesis. Berlin: Springer,
2012. (HPにMATLABコードあり)
http://www.soundfieldsynthesis.org
[5] 羽田, “音の波数領域信号処理‒平面波・円調和・球面調和関数展 開とアレー信号
処理‒,” IEICE Fundamentals Review, vol. 11, no. 4, pp. 243‒255, Apr. 2018.
Related books
18

19. 何故音圧直接制御よりも空間フーリエ変換??
波面の伝搬が考えやすい(=力学ベース←「機械系出身」的には考えやすい)
音圧直接制御：離散的制御→逆行列演算等の数値解法→物理的根拠なし
空間フーリエ変換方式：連続分布制御→解析解算出可能
波動方程式より算出→物理的根拠あり
何故局所再生??
音場再現：実装した際の効果がわかり辛い
実際に原音場に行けば体験可能
局所再生：実装した際の効果が非常にわかりやすい
実環境では起こらない現象←物理数学演算によってのみ創出できる
My research focus
19

20. 局所再生・マルチスポット再生・近傍再生
局所再生
音の聞こえるエリアと聞こえないエリアを形成
マルチスポット再生
音複数の領域でそれぞれ別々の音が聞こえる
→局所再生の重ね合わせにより実現可能
近傍再生
音複スピーカの近くでのみ音が聞こえ，離れる
と聞こえなくなく
反射音のある環境でも適用できる可能性
→波面ではなく音圧差を重視した方式
マルチ音場再生
複数の領域でそれぞれ別々の波面を同時に制御
→音圧差ではなく，波面の再現を重視した方式
Localized sound zone generation methods
20
Bright zone
(Listening area)
Dark zone
(Quiet area)
局所再生
こんにちは
Hello
你好
Japanese
area
English
area
Chinese
area
マルチスポット再生
マルチ音場再生Brightzone
(Listeningarea)
Darkzone
(Quietarea)
近傍再生
ポイント：如何に「音の聞こえないエリア」を形成するか

21. 波数領域空間フィルタの解析的導出
波数領域空間フィルタ
局所領域：
無音領域：
局所位置のシフト
波数領域局所再生空間フィルタ
A method with a linear array
21
x
y
y = yb
Secondary source
Bright
DarkDark
P(x, yb) = 1
P(x, yb) = 0
lb
xb
Shift
˜F(kx, ω) =
˜P(kx, yref , ω)
˜G(kx, yref , ω)
矩形窓でモデル化
P(x, yb) = Π
x
lb
=
1, for |x| ≤ lb/2
0, elsewhere
˜F(kx, ω) =
lb sinc (kxlb/2π) exp(jkxxb)
˜G(kx, yb, ω)
˜P(kx) = lb sinc
kxlb
2π
任意の位置 に
任意の幅 の
局所再生を実現
[xb, yb]T
lb→
P(x, yref , ω) = 1
P(x, yref , ω) = 0
Fx
˜Pshift(kx) = ˜P(kx) exp(jkxxb) = lb sinc
kxlb
2π
exp(jkxxb)
ICASSP 2014，JASA 2017

22. DEMO: with an actually implemented
linear loudspeaker array
22
ICASSP 2014

23. Experiments with an implemented array
23
JASA 2017

24. 5手法での比較
DS：遅延型ビームフォーミング
CM：コントラスト最大化法
J.-W. Choi et al. JASA 2002
LS：音圧直接制御法
SFT：空間フーリエ変換を用いた方式
rect.：矩形窓型フィルタ
Hann：Hann窓型フィルタ 24
Results
JASA 2017
!" #$ %" "&'()*+,-./ "&'()0122/
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
z = 0 [m]
!"#$%&' ( (&'
y [m]
)(
)%&'
)%
)*&'
*
*&'
%
%&'
(
x[m]
)+*
)('
)(*
)%'
)%*
)'
*
0 1 2 3 4 5
Temporal frequency [kHz]
0
5
10
15
20
25
30
35
40
Brighttodarkratio[dB]
DS CM LS SFT (rect.) SFT (Hann)

25. 矩形窓とHann窓との比較
矩形窓のフーリエ変換=sinc関数
Hann窓のフーリエ変換=sinc関数の重ね合わせ
変換結果(=制御線上での平面波成分)の比較
Hann窓の方がサイドローブが少ない
→アレイと並行でない平面波成分が少ない
→制御線以外でも波が漏れ出しにくい
空間フーリエ変換に基づく方式の特徴
制御精度を物理的に解釈できる
Result analysis
25
-40 -30 -20 -10 0 10 20 30 40
kx
0
5
10
15
20
25
30
35
40
45
|˜F(kx,k)|
SFT (rect.) SFT (Hann)
∞
−∞
Prect (x, lb) ejkxx
dx =
lb/2
−lb/2
ejkxx
dx =
lb sin (kxlb/2)
(kxlb/2)
= lb sinc
kxlb
2π
∞
−∞
PHann (x, lb) ejkxx
dx =
lb/2
−lb/2
cos (πx/lb) ejkxx
dx =
lb/2
−lb/2
ejπx/lb
+ e−jπx/lb
2
ejkxx
dx
=
lb
2
sinc
1
2
+
kxlb
2π
+
lb
2
sinc
1
2
−
kxlb
2π
JASA 2017

26. 円筒調和スペクトル領域の空間フィルタの解析的導出
伝達関数の円筒調和展開
円筒調和スペクトル領域の音圧を矩形窓でモデル化
円筒調和スペクトル領域の駆動信号
A method with a circular array
26
WASPAA 2015
Gopen(r, r0, ω) =
ejk|r−r0|
4π|r − r0|
=
∞
n=−∞
1
2π
∞
−∞
j
4
Jn(krr0)H(1)
n (krr)dkzejkz(z−z0)
ejn(φ−φ0)
˚Gopen,n(r > r0, ω)
Gbaffled(r, r0, ω) =
∞
n=−∞
1
2π
∞
−∞
−H
(1)
n (krr)
2πkrr0H
(1)′
n (krr0)
dkzejkz(z−z0)
ejn(φ−φ0)
˚Gbaffled,n(r > r0, ω)
for r > r0
y
x
z
r0
rref
Φ
φs
P(rref , φ, 0, ω) = 1
P(rref , φ, 0, ω) = 0
!"#$%&'()
*#+,-.%&'()
/+#012"#%3'1(4%3'1#0)
5)6)#)(0)%0+#02)
˚Pn(Φ, φS, ω) = Φsinc
nΦ
2π
e−jnφs
˚Fn(r0, rref , Φ, φs, ω) =
Φsinc(nΦ/2π)e−jnφs
2πr0
˚Gn(rref > r0, ω)

27. Results
27
WASPAA 2015
open baffled
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
0 1 2 3 4 5
Temporal Frequency [kHz]
0
5
10
15
20
25BDR[dB]
Spatial Nyquist Frequency
LS method (open)
LS method (baffled)
Beamforming (open)
Beamforming (baffled)
Proposed (open)
Proposed (baffled)
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
LSBeamformingSFT
BDR(ω) = 20log10
rb
|P(rb, ω)| /Φb
rd
|P(rd, ω)| /Φd
FBF,open =
N
n=−N
Φsinc(nΦ/2π)ejn(φl−φS)
2πj−nJn(kr0)
FBF,baffled
=
N
n=−N
kr0H′
n(kr0)Φsinc(nΦ/2π)ejn(φl−φs)
4j(1−n)
f = 3000 Hz
with Φ = π/2, r0 = 0.25 m and rref = 1.0 m
Open Baffled

28. 局所再生・マルチスポット再生・近傍再生
局所再生
音の聞こえるエリアと聞こえないエリアを形成
マルチスポット再生
音複数の領域でそれぞれ別々の音が聞こえる
→局所再生の重ね合わせにより実現可能
近傍再生
音複スピーカの近くでのみ音が聞こえ，離れる
と聞こえなくなく
反射音のある環境でも適用できる可能性
→波面ではなく音圧差を重視した方式
マルチ音場再生
複数の領域でそれぞれ別々の波面を同時に制御
→音圧差ではなく，波面の再現を重視した方式
Localized sound zone generation methods
28
Bright zone
(Listening area)
Dark zone
(Quiet area)
局所再生
こんにちは
Hello
你好
Japanese
area
English
area
Chinese
area
マルチスポット再生
マルチ音場再生Brightzone
(Listeningarea)
Darkzone
(Quietarea)
近傍再生
ポイント：如何に「音の聞こえないエリア」を形成するか
ビームフォーミングやパラメトリックアレイでは実現できない方式!!

29. 直線・円形スピーカアレイを用いた近傍再生
エバネッセント波に基づく方法(H. Itou et al., 2011, 2012.)
2.5次元再生でも鉛直方向にも伝搬しない：◯ ←反射音環境でも実装可能
1波長程度で急激に減衰：× ←減衰距離を制御可能，高周波数聴取不可能
高次のスペクトル再生→要多チャネル：△
円形アレイと直線アレイの併用に基づく方式(ICASSP 2015，JIHMSP 2017)
減衰距離を制御可能：○
鉛直方向にも伝搬しない：◯
アレイ形状が複雑：△
2.5次元再生と実音源の差分に基づく方法(JIHMSP 2017，IWAENC 2018)
減衰距離を制御可能：○
円形アレイの場合少ないチャネル数で実装可能：○
鉛直方向に伝搬してしまう：×
Localized sound zone generation
29
空間フーリエ変換方式のみで実現可能

30. y
x
z
r0
D
L(x,ω)
˜P
C
+
L(r>
r0,kx,ω)=
0
˜P
C
+
L(r<
r0,kx,ω)=
0
D
C(r0,ω)
Array combination approach
着目点
円筒音源の放射パターンは内側と外側で異なる
→外側のみを相殺すれば内側は残る
円形音源の外側の放射音圧を
直線音源で相殺
直線音源の音波は軸対象
→ 方向に非依存
↓
円形音源による音場= 方向に非依存
円形音源の駆動関数→ 方向に非依存
φ
φ
φ
DC(r0, ω) =



S(ω) (x = 0)
0 (x = 0)
S(ω)：音源信号
ICASSP 2015 & JIHMSP 2017

31. Driving functions of both sound sources
円形・直線音源の駆動関数と放射音場
円形音源の駆動関数
円形音源による放射音場
直線音源による音場 = 円形音源外側の放射音場の逆位相
直線音源の駆動関数：距離に非依存
放射音場
Fx
˜DC,0(r0, ω) = 1S(ω) = 1
ICASSP 2015 & JIHMSP 2017
˜PC,0(r > r0, kx, ω) = −
jπr0
2
J0(krr0)H
(2)
0 (krr)˜PC,0(r < r0, kx, ω) = −
jπr0
2
J0(krr)H
(2)
0 (krr0)
˜PL(r, kx, ω) = − ˜PC,0(r > r0, kx, ω)
˜DL(kx, ω) =
− ˜PC,0(r, kx, ω)
˜G(r, kx, ω)
=
jπr0
2 J0(krr0)H
(2)
0 (krr)
−j
4 H
(2)
0 (krr)
= −2πr0J0(krr0)
˜PC+L(r > r0, kx, ω) = ˜PC,0(r > r0, kx, ω) + ˜PL(r, kx, ω) = 0
˜PC+L(r < r0, kx, ω) = −
jπr0
2
J0(krr)H
(2)
0 (krr0) − J0(krr0)H
(2)
0 (krr) = 0
DC (r0, ω) =
S(ω) (x = 0)
0 (x = 0)
= S(ω)δ(x)
r < r0 における近傍再生を実現

32. !"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
Results of sound pressure level
点音源
!"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
f = 5 kHz, r0 = 0.25 mf = 1 kHz, r0 = 0.4 m
ICASSP 2015 & JIHMSP 2017
f = 1 kHz, r0 = 0.25 m f = 3 kHz, r0 = 0.25 m

33. 2.5次元音場制御の次元ミスマッチに基づくエリア再生
直線アレイで仮想音像を波面合成
仮想音像位置で実音源を逆位相再生
ポイント
2.5次元再現の基準距離( )では原音場と一致
では振幅も大きく誤差が大きい
では減衰により誤差が小さい
A method with a linear array
33
Realsoundsource
Dreal(xs,ω)=1Virtualsource
Drep(x, ω)
Dreal(xs, ω) = −1
˜Drep(kx, ω) =
ejkxxs
˜Gx(kx, yref − ys, ω)
˜Gx(kx, yref , ω)
Drep(x, ω)
Realsoundsource
Dreal(xs,ω)=−1
P(x,yref,0,ω)=0
y = yref
Residualwavefield
P(x,y,0,ω)=Prep−Preal
!"#$%&"'()
*"#$%&"'()
"
"
'+,)
- . / 0
!.
!-12
!-
!312
3
312
-
-12
.
!23
!03
!/3
!.3
!-3
3
!"#$%&"'()
*"#$%&"'()
"
"
'+,)
- . / 0
!.
!-12
!-
!312
3
312
-
-12
.
!23
!03
!/3
!.3
!-3
3
点音源 提案法
yref
yref < y
y < yref
駆動関数が距離に依存
JIHMSP 2017
˜P (kx, y, ω) = ˜Prep (kx, y, ω) − ˜Preal (kx, y, ω)

34. 指向性円形スピーカアレイを用いた方式
指向性スピーカアレイの導入：禁止周波数問題を回避
ポイント
0次と1次のみを制御すればよい→少ない素子数で実装可能(実験では9素子)
A method with a circular array
IWAENC 2018
Quiet zone
Listening
zonerref
r1
D0
D1
x
y
S0(r, φ) S1(r, φ)
S0+1(r, φ) 20 log10 |S0+1(r, φ)|

35. 柔軟なアレイ形状への適用
空間フーリエ変換：アレイ形状が面/直線，球/円である必要性
配置やアプリケーションが限定される
→面/直線，球/円以外のアレイ形状・定式化の模索
2.5次元制御における鉛直方向への伝搬抑圧
2.5次元制御：アレイと平行な水平面の音圧のみを制御
鉛直方向への伝搬は制御不能→反射音→局所再生不可
→水平面アレイによる3次元音場制御
3次元近傍再生
3次元音場制御：2.5次元制御に比べて素子数が莫大に必要
少ない素子数では低周波のみしか制御できない
→如何にコンパクトなアレイを構築するか
Challenges and prospects
35ASJ2018S
z = 0 [m]
[dB]-1 0 1 2 3 4
y [m]
-2
-1
0
1
2
x[m]
-40
-35
-30
-25
-20
-15
-10
-5
0
x = 0 [m]
[dB]-1 0 1 2 3 4
y [m]
-2
-1
0
1
2
z[m]
-40
-35
-30
-25
-20
-15
-10
-5
0

36. 原音場を活かしたアクティブマルチスポット音空間再生システム
1. 原音場の英語話者の音場をマイクロホンアレイで収録
2. 収録した原音場をスピーカアレイでキャンセル
3. 機械翻訳した日本語と中国語をそれぞれスポット再生
Extended approach
36
こんにちは
你好
Hello
Cancelling original English field, and
Localizing translated Japanese field
Cancelling original English field, and
Localizing translated Chinese field
Cancelling translated fields, and
Directly passing only original English field
1 2 3
こんにちは
Hello
你好
Japanese
area
English
area
Chinese
area
従来：再生するソースは既知

37. 空間フーリエ変換に基づく局所再生
音場制御，局所再生，ビームフォーミング，パラメトリックアレイとの比較
空間フーリエ変換に基づく音場推定・音場制御・局所再生の原理
実施例：直線・円形スピーカアレイを用いた局所再生・近傍再生
今後の課題と展望(アレイ形状，3次元制御，アクティブマルチスポット再生)
謝辞
本研究の一部はJSPS科研費JP25871208，JP15K21674およびJP18K11387
の助成を受けたものである
25871208：加算型サウンドスポットシステムの高精度化
若手研究B (2013.4-2015.3)
15K21674：多言語音声マルチスポット再生システムの開発
若手研究B (2015.4-2018.3)
15K21674：アクティブマルチスポット音空間再生システムの開発
基盤研究C (2018.4-2021.3)
Concluding remarks
37

38. 日本音響学会2019年春季研究発表会＠電気通信大学
※実行委員長：羽田陽一
3月7日(木)：電気音響[アレー信号処理] 13:00～14:15
岡本，”円形アレイを用いた水平面3次元音場の収録と再現”
3月7日(木)：音声B[合成1] 09:15～10:30
岡本，戸田，志賀，河井，”基本周波数とメルケプストラムを用いたリアルタイ
ムニューラルボコーダに関する検討”
Next presentations
38

39. ベース論文
スピーカアレイを用いた局所再生
[17] J.-W. Choi and Y.-H. Kim, “Generation of
an acoustically bright zone with an illuminated
region using multiple sources,” J. Acoust. Soc.
Am., vol. 111, no. 4, pp. 1695‒1700, Apr. 2002.
マルチ音場再生
[39] Y. J. Wu and T. D. Abhayapala, “Spatial
multizone sound-field reproduction: Theory and
design,” IEEE Trans. Audio, Speech, Lang.
Process., vol. 19, no. 6, pp. 1711‒1720, Aug.
2011.
検索方法
Google Scholar検索→引用元→日付順に並び替え
Bright zone
(Listening area)
Dark zone
(Quiet area)
How to find related papers
39