1. 光源方向推定のための構造色パターンマッチング
浦西 友樹1), 井村 誠孝2)3), 黒田 知宏1), 大城 理2)
1) 京都大学 医学部附属病院 医療情報企画部
2) 大阪大学 大学院基礎工学研究科
3) 関西学院大学 理工学部 人間システム工学科

2. Augmented/Mixed Reality 1
[ARTK] ARToolKit Home Page, http://www.hitl.washington.edu/artoolkit/
[IMD] Interactive Media Design Laboratory, Nara Institute of Science and Technology, http://imd.naist.jp/
ARToolKit [ARTK] Virtual Popup Book [IMD]
実世界と仮想物体の間の3つの整合性
 幾何学的整合性
 光学的整合性
 時間的整合性
マーカを用いることで幾何学的整合性を解決

3. 実世界の光源特性の取得 2
光源方向および色推定 [安室2003]
[安室2003] 安室ら, “立体マーカを用いた実空間における仮想物体の調和的表現”, 映情学誌 2003
[Debevec1998] P. Debevec, “Rendering Synthetic Objects into Real Scenes”, ACM SIGGRAPH 98
Rendering Synthetic Objects
into Real Scenes [Debevec1998]
従来手法では，鏡面球など立体形状のマーカを使用
…立体マーカが適さない場面で使用が困難
Augmented/Mixed Reality における光学的整合性の向上のために
実世界の光源特性の取得は重要な要素

4. 研究目的とアプローチ
http://ja.wikipedia.org/wiki/構造色
3
構造色の特徴
 物理的構造により発色する
 光源特性と視点方向に依存して，観測される色が変化する
…平面形状から光源特性を推定できる?
研究目的
実世界の光源特性を，平面マーカを用いて実時間で推定する
アプローチ ～構造色を観測すると?～

5. 提案手法: 構造色からの光源方向推定
 ARマーカにより視点方向は既知
 回折格子の構造色パターン 𝐼 から光源方向を推定
回折格子マーカ
構造色パターン 𝐼
4
視点方向
𝜃cam, 𝜙cam
光源方向
𝜃light, 𝜙light
𝐼 𝑥, 𝑦 = 𝑓 𝜃cam, 𝜙cam, 𝜃light, 𝜙light

6. パターンマッチングベース光源方向推定
入力パターン
( 𝜃cam, 𝜙cam は既知)
推定光源角度 𝜃est, 𝜙est = argmin
𝑖
diff 𝐼 − 𝑅𝑖
既知の視点 𝜃cam, 𝜙cam に対応する参照パターン 𝑅
𝑅1: 𝜃1, 𝜙1 𝑅2: 𝜃2, 𝜙2 𝑅𝑖: 𝜃𝑖, 𝜙𝑖 𝑅 𝑛: 𝜃 𝑛, 𝜙 𝑛
… …
5
𝜃cam, 𝜙cam
𝜃est, 𝜙est

7. 光源方向の推定手順 6
事前処理
𝑑𝑖
0. 参照パターンの事前撮影
1. 入力パターンの切り出し
2. 明度成分の平滑化
3. 相違度 𝑑 の計算
Referential images
Frame image
𝑅𝑖
𝑅𝑗
𝑑𝑗
…
1
2
3

8. L* 平滑化 (𝐿∗
= 128)元画像
明度成分の平滑化 7
SV 平滑化 (𝑆 = 𝑉 = 255)
SV 平滑化
HSV to RGB
RGB to HSV
L* 平滑化
L*a*b* to RGB
RGB to L*a*b*
光源強度の影響除去のため，
明度成分を平滑化

9. 相違度の計算 8
𝑑𝑖 =
𝑥 𝑦
𝑅𝑖,r 𝑥, 𝑦 − 𝐼r 𝑥, 𝑦
2
+ 𝑅𝑖,g 𝑥, 𝑦 − 𝐼g 𝑥, 𝑦
2
+ 𝑅𝑖,b 𝑥, 𝑦 − 𝐼b 𝑥, 𝑦
2
𝑥
𝑦
参照パターン 𝑅𝑖
𝑥
𝑦
入力パターン 𝐼
相違度 𝑑𝑖 が最小となる 𝑅𝑖 を撮影したときの光源方向 𝜃𝑖, 𝜙𝑖 を，
推定光源方向 𝜃est, 𝜙est とする
𝑑𝑖
RGB 色空間における画素ごとのユークリッド距離の総和

10. 実験 9
回折格子マーカ
カメラ
光源
目的
カメラを固定した環境下で，
光源方向を提案手法により推定できるか?

11. 実験条件 10
0
0.2
0.4
0.6
0.8
1
360 460 560 660 760
Normalizedirradiance
Wavelength [nm]
光源光の分光分布
回折格子マーカ
 一辺50 mm, 周辺部の幅5 mm
 格子周波数: 600 本/mm (直線状に配置)
カメラ
 Sony NEX-5
 4592x3056 pixels

12. 光源方向推定結果 11
入力パターン 𝜃est, 𝜙est
Index 𝜃, 𝜙 元画像 SV 平滑化 L* 平滑化
1 (300, 20) (300, 20) (300, 30) (300, 30)
2 (300, 30) (300, 40) (30, 60) (310, 30)
3 (300, 35) (290, 50) (300, 40) (300, 40)
4 (55, 30) (50, 30) (60, 30) (50, 30)
5 (60, 30) (50, 60) (40, 60) (70, 40)
参照パターン
 𝜃light, 𝜙light をそれぞれ10度刻みで変化させながら撮影
 構造色パターンを目視により確認できた38枚を使用
※ パターン画像は512x512 pixelsに正規化

13. 提案手法による選択例 12
入力パターン2
(300, 30)
参照パターン
(300, 30)
選択された
参照パターン
(310, 30)
元画像
SV 平滑化
L* 平滑化
(30, 60)
(300, 40)

14. 𝜃
視線方向
𝜃 = 180
 構造色が観測された光源方位角は
30 ≤ 𝜃 ≤ 70, 280 ≤ 𝜃 ≤ 310 に限定
方位角は格子の配列方向に依存
格子の配置について要検討
考察 13
 L* 平滑化画像を用いることで，最も安定して光源方向を推定可能
 光源強度の角度依存性や表面形状の影響を最も良好に除去?
 同じ光源方向で撮影した入力パターンと参照パターンが類似しない
構造色の角度依存性が強いため，誤差の影響を強く受ける
参照パターン撮影の高精度化が必要

15. 𝐼 𝑥, 𝑦 = 𝑓 𝜃cam, 𝜙cam, 𝜃light, 𝜙light
まとめ 14
𝐼 𝑥, 𝑦 =
𝑛
𝑓 𝜃cam, 𝜙cam, 𝜃light,𝑛, 𝜙light,𝑛, 𝑠 𝑛 𝜆
回折格子の構造色パターンから光源方向を推定する手法を提案
今後の展望: モデルベース光源特性推定への発展
 光源の分光分布 𝑠 𝜆 も推定可能か?
 𝑛 個の光源を考慮したモデルを構築できるか?