SlideShare a Scribd company logo
1 of 38
Download to read offline
-第21回 名古屋CV・PRML勉強会-




   初めてのグラフカット
                                      平川 翼
                       広島大学 大学院工学研究科	
  




                              2012/11/17	
  @	
  中部大学
グラフカットを勉強することになり…




         日本語で書いてあるし…
         GCの英語論文を読むより楽そう


         チュートリアルなんだから…
         分かりやすく書いてありそう
実際に読んでみた
l  GCの元論文を読んだり
l  SlideshareからGCのスライドを探したり




そして,ようやく
この発表は…


ü  GCを知らない人・
      使ってみたいけどよく分からない人が対象



ü  既にGCを知っている人・
      より理解を深めたい人には簡単かもしれません.



         ご了承ください
コンセプト

ü 難しいことは考えない
 •  まずは二値で…


ü 難しい数式は使わない
 •  劣モジュラ条件
 •  Quadratic Pseudo-Boolean optimization (QPBO)
 •  距離・半距離


ü まずは具体的なイメージを持つ

ü 使えるツールは何でも使う!
用途




最小切断問題 (st-mincut)



グラフカットの適用例
(セグメンテーション)
Image restoration                                  Stereo




http://www.hukgroup.com/           [Ishikawa et al., CVPR 1999]


                  Segmentation                            GrabCut




[Verbeek et al., IJCV 2010]        [Rother et al., ACM 2004]
Image restoration                                 Stereo




http://www.hukgroup.com/           [Ishikawa et al., CVPR1999]


                 Segmentation                             GrabCut




[Verbeek et al., IJCV2010]         [Rother et al., ACM2004]
用途




最小切断問題 (st-mincut)



グラフカットの適用例
(セグメンテーション)
最小切断問題 (st-mincut) ~準備~


           source
                             頂点とそれをつなぐエッジを持つ
       2            8        ようなグラフをイメージする
             2
                             1.  頂点に名前をつける
  v1                    v2
             1               2.  エッジに重みをつける
       5            4
                                有向グラフ
           target
有向グラフの形は…
有向グラフの形は…




    st-mincutの時点では
      どんな形でもOK!
最小切断問題 (st-mincut)


          source
                            sourceとtargetを基準にして,
      2            8        2つの領域に分けるように
                            境界線を引く
            2
 v1                    v2
            1

      5            4         これをst-cutという
          target
じゃあ,何が最小(min)なの?
最小切断問題 (st-mincut)


          source
                            sourceからtargetへ流れ込む
      2            8        エッジの重みの和
            2                  st-cutのコスト
 v1                    v2
            1
                             この場合は…
      5            4
                                8 + 2 + 5 = 15
          target
最小切断問題 (st-mincut)


         source                     source                     source                     source

     2            8             2            8             2            8             2            8
           2                          2                          2                          2
v1                    v2   v1                    v2   v1                    v2   v1                    v2
           1                          1                          1                          1
     5            4             5            4             5            4             5            4

         target                     target                     target                     target


          15                          7                         10                          9
                            最小!
最小切断問題 (st-mincut)


         source                     source                     source                     source

     2            8             2            8             2            8             2            8
           2                          2                          2                          2
v1                    v2   v1                    v2   v1                    v2   v1                    v2
           1                          1                          1                          1
     5            4             5            4             5            4             5            4

         target                     target                     target                     target


          15                          7                         10                          9
                            最小!
最小切断問題 (st-mincut)


         source                     source                     source                     source

     2            8             2            8             2            8             2            8
           2      コストの最も小さいst-cut
                     2    2                                                                 2
v1                    v2   v1                    v2   v1                    v2   v1                    v2
           1                          1                          1                          1
     5            4             5         st-mincut
                                            4    5                      4             5            4

         target                     target                     target                     target


          15                          7                         10                          9
                            最小!
st-mincutはどうやるの?

ü 最大流(maxflow)アルゴリズム
                 というものを用いています


ü  ただし…
     今回は説明しません


ü  なぜなら…
     コンセプトを思い出してください
コンセプト

ü 難しいことは考えない
 •  まずは二値で…


ü 難しい数式は(できるだけ)使わない
 •  劣モジュラ条件
 •  Quadratic Pseudo-Boolean optimization (QPBO)
 •  距離・半距離


ü まずは具体的なイメージを持つ

ü 使えるツールは何でも使う!
GC・st-mincutを行うツールは
             たくさん用意されています!




http://vision.csd.uwo.ca/code/   http://igraph.sourceforge.net/
グラフカットでやっているのは…

         source

     2            8
                           st-mincutによって要素が
           2
v1                    v2
                           sourceのグループなのか,
                           targetのグループなのか
           1
                           を決めているだけ
     5            4

         target
用途




最小切断問題 (st-mincut)



グラフカットの適用例
(セグメンテーション)
グラフカット   ~目的~




 前景と背景をセグメンテーションしたい!

                [Kumar et al ., ECCV 2008]
グラフカット   ~準備~


   各ピクセルが前景らしいか(背景らしいか)
      どうかのコストを持っている




 前景     前景らしい
らしくない
グラフカット   ~準備~


  近傍のピクセルとの色差(RGB, HSV…)を
      コストとして持っている




色差が      色差が
大きい      小さい
グラフカット   ~グラフの作成~

               source




               target

   sourceとtargetの頂点を追加する
グラフカット   ~エッジの重み付け~



     前景




               source→前景・target→背景
               とする




     背景
グラフカット   ~エッジの重み付け~



     前景

           背景らしい
            コスト




           前景らしい
            コスト

     背景
グラフカット   ~エッジの重み付け~



      前景




  色差のコスト



      背景
グラフカット ~segmentation~
                前景




                背景


   このグラフをst-mincutするだけ
完成!
完成!
まとめ

•  グラフカットの応用例
  –  画像復元,セグメンテーション,ステレオ,etc…


•  最小切断問題(st-mincut)
  –  GCはこれが基本であり,全てです


•  GCを用いた前景・背景セグメンテーション
  –  他にもいろいろなことができます
  –  グラフの作り方・重みの付け方は自分次第
ご清聴ありがとうございました

More Related Content

What's hot

モデル高速化百選
モデル高速化百選モデル高速化百選
モデル高速化百選Yusuke Uchida
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 
Triplet Loss 徹底解説
Triplet Loss 徹底解説Triplet Loss 徹底解説
Triplet Loss 徹底解説tancoro
 
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?Fumihiko Takahashi
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for VisionDeep Learning JP
 
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)Yamato OKAMOTO
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII
 
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)Takao Yamanaka
 
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習Deep Learning JP
 
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章Hakky St
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用Yoshitaka Ushiku
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量takaya imai
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明Haruka Ozaki
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential EquationsDeep Learning JP
 
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -tmtm otm
 
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured PredictionDeep Learning JP
 

What's hot (20)

モデル高速化百選
モデル高速化百選モデル高速化百選
モデル高速化百選
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
 
Triplet Loss 徹底解説
Triplet Loss 徹底解説Triplet Loss 徹底解説
Triplet Loss 徹底解説
 
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
 
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
 
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
 
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
 
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデル
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
 
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
 
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
 

Viewers also liked

ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...Toru Tamaki
 
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...Toru Tamaki
 
20110415 Scattering in CG and CV
20110415 Scattering in CG and CV20110415 Scattering in CG and CV
20110415 Scattering in CG and CVToru Tamaki
 
20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告Toru Tamaki
 
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科Toru Tamaki
 
20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱Toru Tamaki
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列Toru Tamaki
 
画像フィルタリング
画像フィルタリング画像フィルタリング
画像フィルタリングToru Tamaki
 
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出Toru Tamaki
 
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部Toru Tamaki
 
実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割yaju88
 
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解くshindannin
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成Yoshitaka Ushiku
 

Viewers also liked (13)

ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
 
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
 
20110415 Scattering in CG and CV
20110415 Scattering in CG and CV20110415 Scattering in CG and CV
20110415 Scattering in CG and CV
 
20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告
 
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
 
20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
 
画像フィルタリング
画像フィルタリング画像フィルタリング
画像フィルタリング
 
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
 
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
 
実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割
 
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成
 

初めてのグラフカット