The slide I talked with in CEDEC 2011, Japanese Game Developers' Conference, Sep. 8th 2011.

1. 経年変化のモデリング技術 2011/09/08 金森 由博 (筑波大学) kanamori@cs.tsukuba.ac.jp

2. ご注意 このスライドは CEDEC2011 にて発表した講演のスライドです 動画をご覧になりたい方は、下記 URL にてスライドの zip ファイルをダウンロードして下さい http://kanamori.cs.tsukuba.ac.jp/index-ja.html アプリケーションは公開を検討中です

3. 自己紹介 金森 由博 (かなもり よしひろ) 2009 年 3 月 東京大学で博士号取得（西田研卒） 2009 年 4 月～ 筑波大学大学院・助教 研究テーマ 学生時代・・・CG 全般 変形、シミュレーション、レンダリングなどなど 筑波大 画像処理っぽい CG 流体シミュレーション結果の GPU による 高速レンダリング (Eurographics 2008)

4. 研究室紹介 (1/2) 非数値処理アルゴリズム研究室 (NPAL) CG 系の研究室 教員 3 人、学生 15 人 折り紙の研究で有名な三谷純先生のいる研究室

5. 研究室紹介 (2/2) 研究テーマの例 ポップアップカードのデザインシステム(Computer Graphics International 2011) 画像ベースの髪型デザインシステム(Pacific Graphics 2011) 1枚の画像からの3Dシーン生成システム (IEEE Computer Graphics & Applications) Synthesized A face image

6. 詳しくは・・・ ぜひ「筑波大 NPAL」でググってください

7. この講演の内容 以下の 2 つの研究内容を紹介 “粒子シミュレーションによる 水汚れ画像生成システム“ Smart Graphics 2010 で発表 "アピアランスマップを用いた景観画像のための対話的な経年変化編集システム“ Computer Graphics International 2011 で発表 主として研究を行った 遠藤結城君 (現在 M2)

8. 「経年変化のモデリング」とは？ 見た目の古さ・新しさを制御する技術 「きれいなCG」に足りない写実性を実現 画像はいずれも”Appearance Manifolds for Modeling Time-Variant Appearance of Materials” から抜粋 新しい 古い

9. これまでの経年変化手法 大きく分けて 2 通りのアプローチ 物理シミュレーションによる手法 特定の経年変化をシミュレーションによって再現 物理則に即した変化を再現可能 サンプルベースの手法 画像や測定データなど、実データを利用 実在するサンプルを利用するため、写実的

10. 物理シミュレーションによる手法 サビ [Dorsey 1996] 苔 [Desbenoit 2004] 石の風化 [Dorsey 1999]

11. サンプルベースの手法 (1/2) Gu et al., Time-varying Surface Appearance: Acquisition, Modeling, and Rendering, SIGGRAPH 2006 サンプル素材の反射率の、時間変化を測定 新しい 古い 3D モデルに適用

12. サンプルベースの手法 (2/2) Wang et al., Appearance Manifolds for Modeling Time-Variant Appearance of Materials, SIGGRAPH 2006 1 つのサンプル素材の反射率を測定 3D モデルに適用 経年変化を含むサンプル素材 新しい 古い

13. 我々の研究 2 つのアプローチの両方に取り組む 水汚れ・・・物理シミュレーション 物体表面の凹凸、曲面形状、透視投影を考慮 アピアランスマップ・・・サンプルベース 様々な経年変化をサポート どちらも入力は 3D モデルではなく画像 一般ユーザが手軽に使えるように

14. 粒子シミュレーションによる水汚れ画像生成システム An Interactive Design System for Water Flow Stains on Outdoor Images

15. 研究背景 (1/2) 水汚れ・・・目立ちやすい経年変化のひとつ 建物の壁面、屋外の像など 2011/6/16 CESA Confidential 15 水汚れを含む建物の写真

16. 研究背景 (2/2) 手作業で実現しようとすると・・・ 実写素材の利用 ペイントツールの利用 集めるのが大変 塗るのが大変

17. 我々のシステム 画像を入力として、水汚れを簡単に付加 [Dorsey 1999] の 3D モデル向け手法がベース After Before

18. デモ

19. ベースとなる手法 [Dorsey 1999] 3D モデル表面での粒子シミュレーション 水滴を粒子として表現 ↓ 重力や摩擦力などの影響を受け物体表面を流れる 水の吸収・蒸発 汚れの溶解・沈着 3D モデル表面での 粒子シミュレーション

20. ベースとなる手法 [Dorsey 1999] 3D モデル表面での粒子シミュレーション After Before

21. 我々のアプローチ 既存手法は3D モデルが対象 物体形状や奥行きの情報が既知 提案手法は2D 画像(景観写真の建物)が対象 物体形状や奥行きの情報が未知 物体形状や奥行きの情報を 画像やユーザ入力から推定しシミュレーション

22. 提案システムの特徴 インタフェース・・・簡易操作が可能 シミュレーション 物体表面の凹凸を考慮 曲面形状・透視投影の効果を考慮 Input Output 提案システム

23. 提案システムの特徴 インタフェース・・・簡易操作が可能 シミュレーション 物体表面の凹凸を考慮 曲面形状・透視投影の効果を考慮 Input Output 提案システム

24. ユーザインタフェース インタフェース画面

25. ユーザインタフェース 粒子の流れの制御 (シミュレーション範囲等の指定) インタフェース画面

26. ユーザインタフェース パラメータの調節 (汚れの濃さなど) インタフェース画面

27. ユーザインタフェース 水汚れの色の選択 インタフェース画面

28. 粒子の流れの制御 (1/2) 粒子シミュレーションの開始位置・終端の指定 粒子の初期位置（青線から流れ出す） シミュレーションの終端（緑線に触れると消える）

29. 粒子の流れの制御 (2/2) 曲面形状・透視投影の効果を考慮した流れ コントロールメッシュの利用 [Eisenacher 2008] 曲面形状 透視投影

30. シミュレーションパラメータ (1/2) 水の量 (Water Amount) 吸収率 (Absorptibity) 粒子の大きさ (Particle Size) 小 水跡の数が変化 水跡の太さが変化 水跡の長さが変化 大

31. シミュレーションパラメータ (2/2) 汚れの溶けやすさ (Deposition Resolvability) 粗さの影響度合い (Surface Roughness) 汚れの量 (Deposition Amount ) 小 凹凸部の汚れ量が変化 汚れの濃さが変化 汚れの滲みが変化 大

32. 提案システムの特徴 インタフェース・・・簡易操作が可能 シミュレーション 物体表面の凹凸を考慮 曲面形状・透視投影の効果を考慮 透視図 凹凸のある物体表面

33. 提案システムの特徴 インタフェース・・・簡易操作が可能 シミュレーション 物体表面の凹凸を考慮 曲面形状・透視投影の効果を考慮 透視図 凹凸のある物体表面

34. 画像からの物体表面の凹凸の考慮 タイルの溝のような凹凸部分では汚れが横に拡散し多く沈着 凹凸のある物体表面(実写)

35. 画像からの物体表面の凹凸の考慮 タイルの溝のような凹凸部分では汚れが横に拡散し多く沈着 凹凸部分では画像の輝度が大きく変化 粒子を輝度変化の大きい位置で散乱・減速させる 垂直方向の輝度値の変化 水平方向の輝度値の変化 グレースケール画像

36. 画像からの物体表面の凹凸の考慮 タイルの溝のような凹凸部分では汚れが横に拡散し多く沈着 凹凸部分では画像の輝度が大きく変化 粒子を輝度変化の大きい位置で散乱・減速させる 凹凸考慮なし 凹凸考慮あり 元画像

37. 提案システムの特徴 インタフェース・・・簡易操作が可能 シミュレーション 物体表面の凹凸を考慮 曲面形状・透視投影の効果を考慮 透視図 凹凸のある物体表面

38. メッシュ上での粒子シミュレーション(1/2) ヤコビ行列Jにより画素の座標を計算 p = (x,y) x = (u, v) パラメータ空間 シミュレーション空間 x’ : 1ステップ前のパラメータ座標 : ヤコビ行列 (Bezier 曲面から計算)

39. メッシュ上での粒子シミュレーション(2/2) 視点から遠いほど粒子が同じ画素座標に留まる時間が長くなる 遠くの汚れが濃くなってしまう “粒子の大きさ(水跡の太さ)”も一定 汚れの濃さや粒子の大きさを透視図に合わせて調節

40. 汚れ量や粒子の大きさの調節 メッシュの面積の比率が小さいほど視点から遠くにあるとみなす 各パラメータに以下の係数 ρ(x) を乗ずる コントロールメッシュ det (J(x)): ヤコビアン ρ(x)を可視化した画像（白=1⇔黒=0）

41. 透視図への適用 コントロールメッシュを使用することで透視図に合った水汚れを生成 透視投影の補正あり 透視投影の補正なし

42. 曲面形状への適用 ×2 speed

43. 適用例 (1/3) 壁面上部から粒子を流した結果 3 min Before 512×384 pixel After

44. 適用例 (2/3) レンガ模様 4 min Before 452×491 pixel After

45. 適用例 (3/3) 曲面形状を含む建物 10 min Before 741×494 pixel After

46. ユーザテスト 写実的な水汚れを簡単に作成できるか評価 被験者: 6人 制限時間: 20分以内で満足するまで 編集時間, 結果の写実性に関して提案システムの有効性を確認 Photoshop CS4 ® 参考例 (実写) 入力画像 提案システム

47. まとめ 画像に対話的に水汚れを付加するシステム 粒子シミュレーション 物体表面の凹凸を考慮 透視図や曲面形状を考慮 適用例とユーザテストで有効性を確認 今後の課題 影や模様の影響を受けないシミュレーション 影の除去 [Finlayson 2002] Before After Before After

48. アピアランスマップを用いた景観画像のための対話的な経年変化編集システム Weathering effects with geometric details for images 2011/9/8 CESA Confidential 48

49. 研究のモチベーション 前半の研究は「水汚れ」に特化 様々な経年変化を画像処理で再現したい 49 新しくしたい 古くしたい Before After

50. 既存手法 Xue et al., Image Based Material Weathering, Eurographics2008 画素情報から Appearance Manifold を構築 陰影を含む画像や複雑な形状に適用可能 Before After

51. Appearance Manifold ピクセルの色情報から構築した 3D モデル RGB 色空間ではなく Lab 色空間で計算 51 2 つの色の間の距離が人間の知覚に合っているような色空間 処理する領域をユーザが指定 Appearance Manifold 構築・トラバースが高コスト

52. 我々のアプローチ Appearance Manifold より低コストなAppearance Map [Bandeira 2009] を利用 経年変化による 色の変化だけでなく表面のざらつきの変化 も対応 直感的な編集ツールを提供 ブラシ型編集ツール 経年変化素材の適用

53. 基本的な計算手順 (1/5)

54. 基本的な計算手順 (2/5) アピアランスマップの構築 各画素の情報をLab色空間のab平面にプロット 非風化地点A と風化地点B を指定 ２点をもとに各点の経年変化度合を線形にパラメータ化 B A 線形にパラメータ化 経年変化度合d[0, 1] 緑: 非風化 赤: 風化

55. 基本的な計算手順 (3/5)

56. 陰影マップの計算 陰影マップ・・・物体の形状による陰影 S 経年変化度合 dが同じ画素で平均を取る W(x,y) = E(I(x,y)|d)としてやれば I(x,y) = S(x,y) × W(x,y) を仮定 入力画像の輝度 陰影マップ 経年変化による輝度変化 定数値、経年変化では不変と仮定 陰影マップ E(I(x,y)|d)= E(S(x,y) × W(x,y) |d) = S×E(W(x,y)|d) S(x,y) = I(x,y) / W(x,y) = I(x,y) /E(I(x,y)|d) 経年変化度合d[0, 1] 緑: 非風化 赤: 風化

57. 基本的な計算手順 (4/5) 経年変化の分布マップの時間変化 分布マップ 分布マップ 平滑化 平滑化 ・・・ 加算 加算 分布マップ ×速度(0.025) ×速度(0.025) 伝播マップ 伝播マップ

58. 基本的な計算手順 (5/5)

59. 既存手法の問題点 経年変化による陰影の変化は再現不可 陰影が経年変化の前後で変化しないと仮定している 分離 陰影マップ 合成 時間変化 分布マップから 計算した表面色 入力画像 出力画像

60. 我々のアプローチ Appearance Manifold より低コストなAppearance Map [Bandeira 2009] を利用 経年変化による 色の変化だけでなく表面のざらつきの変化 も対応 直感的な編集ツールを提供 ブラシ型編集ツール 経年変化素材の適用

61. 経年変化による物体表面の凹凸の再現(1/5) 既存手法との比較 提案システム 既存手法[Banderia09]

62. 経年変化による物体表面の凹凸の再現(2/5) 経年変化による物体表面の凹凸は高周波成分が多い 入力画像

63. 経年変化による物体表面の凹凸の再現(2/5) 経年変化による物体表面の凹凸は高周波成分が多い 高周波成分を抽出するためにバイラテラルフィルタ を使用する エッジを保存する平滑化フィルタ 高周波成分 陰影マップ

64. 経年変化による物体表面の凹凸の再現(3/5) 陰影マップにおいて経年変化のある領域(右下図赤領域)をユーザが指定 バイラテラルフィルタによって陰影マップの高周波成分を抽出 経年変化の分布マップが閾値以上になったら赤領域内で経年変化のある領域の高周波成分を元の陰影マップに合成, 加算 入力画像 陰影マップ

65. 経年変化による物体表面の凹凸の再現(4/5) バイラテラルフィルタ 輝度 陰影マップ ピクセル 低周波成分 + 高周波成分

66. 経年変化による物体表面の凹凸の再現(5/5) 陰影マップの輝度変化 + 陰影マップ 高周波成分 経年変化度合d > 0.5 の区間に合成・加算 経年変化による高周波成分 結果画像

67. 経年変化による物体表面の凹凸の再現(5/5) 高周波成分の合成に使用する手法 Painting with texture[Ritter06] テクスチャの輪郭を保持したまま合成できる 入力画像 合成結果 入力マスク画像

68. 我々のアプローチ Appearance Manifold より低コストなAppearance Map [Bandeira 2009] を利用 経年変化による 色の変化だけでなく表面のざらつきの変化 も対応 直感的な編集ツールを提供 ブラシ型編集ツール 経年変化素材の適用

69. ブラシ型インタフェース (1/2) 伝播マップをブラシ領域内で生成 ブラシ 分布マップ ブラシ内で平滑化 ×速度 v (調節可) 伝播マップ 分布マップ

70. ブラシ型インタフェース (2/2) デモ

71. 経年変化の素材テンプレート(1/2) アピアランスマップは別の画像のものを適用できる いくつかの素材をテンプレートとしてインタフェース上に用意 素材テンプレート Before After

72. 経年変化の素材テンプレート(2/2) デモ

73. 適用例 (1/2) ブラシで表面色を編集した後に凹凸を合成 作業時間: 1 分程度 既存手法[Banderia09] 入力画像 提案手法

74. 適用例 (2/2) ブラシで表面色を編集した後に凹凸を合成 作業時間: 1 分程度 既存手法[Banderia09] 提案手法 入力画像

75. まとめ 景観画像における物体の経年変化を対話的に編集するシステム 経年変化による物体表面の凹凸の再現 ブラシ型インタフェース 経年変化素材のテンプレート化 今後の予定 テクスチャ合成の高速化 凹凸を無くす(新しくする)手法の考案

76. ご清聴ありがとうございました

77. 研究紹介 ポップアップカードのデザインシステム Computer Graphics International 2011 で発表

78. 研究紹介 画像ベースの髪型デザインシステム Pacific Graphics 2011 で発表予定

79. 研究紹介 1枚の画像からの3Dシーン生成システム IEEE Computer Graphics & Applications に採録予定

80. 質問＆感想＆アドバイスなどありましたらお願いします Email: kanamori@cs.tsukuba.ac.jp Web: http://kanamori.cs.tsukuba.ac.jp 「筑波大 金森」でググれば出てきます 今日のこの資料は Web で公開予定です