Próxima SlideShare
CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
- 1. Imaging-based Computational Biomedicine Lab CycleGANによる異種モダリティ画像生成を用いた 股関節MRIの筋骨格セグメンテーション 松岡拓未*1 日朝 祐太*1 大竹 義人*1 高尾 正樹*2 高嶋和磨*2 Jerry L. Prince *3 菅野 伸彦*2 佐藤 嘉伸*1 *1 奈良先端科学技術大学院 先端科学技術研究科 情報科学領域 *2 大阪大学大学院 医学系研究科 *3 Department of Electrical and Computer Engineering, Johns Hopkins University 2018/7/25 JAMIT@筑波
- 2. 研究背景・目的
- 3. [1] J. D. Webb, Comput. Methods Biomech. Biomed. Engin., 2014. [2] H. F. Choi, Vis. Comput., 2014. 背景 3 CT画像 筋骨格モデル 筋骨格領域の自動抽出 患者固有の解析[1,2] • 筋骨格機能解析は動態シミュレーションや治療計画の ため重要 • 患者固有の機能解析のためには，医用画像からの筋骨 格領域の抽出が必要[1, 2] • 手動での筋骨格領域の抽出は一症例当たり専門医で 数十時間を要する
- 4. 4 • これまでに，CNNを用いたCTからの筋骨格セグメンテー ション手法を提案[1] • 高速かつ高精度な抽出が可能 • 不確実性の推定が可能 [1] Y. Hiasa, MI研究会, 2017 CNN Post processing テスト 3D CT 2D slice 2D label 学習 Skin ROI Data augmentation Conv. Deconv. 3D label Uncertainty 背景
- 5. 背景 5 • モダリティによる画像の特徴の違いはセグメンテーショ ンに影響を及ぼす • 他のモダリティから自動セグメンテーションを行うには， 十分に位置合わせされた同患者の（ペアの）画像やモダ リティ毎のラベル作成が必要 位置合わせされた（ペアの）MR画像とCT画像
- 6. • 教師ラベル付きCTデータセットを転用し，ラベル無しMRI データセットからの自動セグメンテーションを行う • データセット間でペアの画像なし • ある種の半教師付き学習 目的 6 ラベルなしMRIデータセットラベル付きCTデータセット
- 7. 関連研究
- 8. 関連研究:CycleGANによる画像生成[1,2] 8 • 識別器が各ドメインの分布を学習し，生成器がドメイン 間の写像を学習 • ペアの学習データを必要としない シマウマ↔馬[1] 夏↔冬[1] MR ↔ CT [2] [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ
- 9. 関連研究:CycleGANによる画像生成[1,2] 9 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような（本物のCT画像のような）画像を生成 , ： 生成器が本物のような 画像を生成するための制約
- 10. 関連研究:CycleGANによる画像生成[1,2] 10 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , ： 生成器が本物のような 画像を生成するための制約 ：対応付けされた画像生成を するための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような（本物のCT画像のような）画像を生成
- 11. 関連研究:CycleGANによる画像生成[1,2] 11 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , ： 生成器が本物のような 画像を生成するための制約 ：対応付けされた画像生成を するための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような（本物のCT画像のような）画像を生成 生成前後で保たれるべき情報の制 約が無い
- 12. • CycleGANと抽出器をEnd-to-endに学習 • 自動セグメンテーション結果と教師ラベルの一致度を考慮し た制約 をCycleGANに導入 12 関連研究:CycleGANを用いた異種モダリティ画像からのセグメンテーション[1] [1] Y. Huo, et al. "Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth." arXiv preprint arXiv:1712.07695 (2017). 𝑖: 画素， 𝑡: 正解ラベル， 𝑥: 入力CT Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ
- 13. • 生成前後の画像の類似度を考慮した制約 を CycleGANに導入 • 生成前後の形状の変化を制約 13 [1] Y. Hiasa, et al. "Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size." arXiv preprint arXiv:1803.06629 (2018). 関連研究：生成前後の類似度を考慮した制約[1] 𝐺𝐶: ２つの画像の勾配の相関 ∈ ∈ Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ
- 14. 実験
- 15. • 実験１ • ラベルデータによる制約と，生成前後の類似度を考慮し た制約の比較 • 実験２ • ラベルデータによる制約の汎化能力に関する調査 15 実験
- 16. 実験データ 16 CT画像 MR画像 症例数 633 312 Field of view Sagittal面で骨頭中心が中心となるように320×約75×320 [mm3] Coronal面サイズ 256×256 [ピクセル] スライス間隔 1.0 [mm] 正解ラベル付き症例数 20症例 10症例 正解ラベル部位 筋肉19種（中殿筋，小殿筋等） 骨盤，大腿骨，仙骨 中殿筋，小殿筋 骨盤，大腿骨 MR画像CT画像
- 17. 17 実験１：ラベルデータを用いた制約と，生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 1. 生成前後の類似度を考慮した制約を用いたセグメンテーション 2. ラベルデータによる制約を用いたセグメンテーション • ただし，学習データ数を公平にするため，CycleGANを事前学習し，正解ラベル付 きCT画像を用いて転移学習した Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ Reconstructed MR Segmenter 𝑆 Label CycleGANの学習 抽出器の学習 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習
- 18. 18 実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 • 評価用データ：正解ラベル付きMR画像10症例 • Dice係数を用いて定量評価 • ネットワークの入出力は2Dのcoronal面
- 19. 19 • 中殿筋のみ，ラベルデータによる制約を用いた場合が 高精度であった． 実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較 類似度 ラベル類似度 ラベル ラベル類似度 骨盤 大腿骨 中殿筋 ラベル類似度 ラベル類似度 ラベル類似度 小殿筋 DICE
- 20. 20 • 典型例（４部位の平均Dice係数が中央値の症例） 症例#4 （骨盤：0.763 ，大腿骨：0.885，中殿筋：0.811，小殿筋：0.609） 実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較 ラベルデータによる制約 症例#4 （骨盤：0.762，大腿骨：0.841，中殿筋：0.793，小殿筋：0.608） 入力MRI 生成CT 推定ラベル 正解ラベル 推定ラベル + MRI 正解ラベル + MRI 類似度を考慮した制約
- 21. 21 • 考察 • 中殿筋のみ，ラベルデータによる制約を用いた場合が高 精度であった． • ラベルデータによる制約を用いたセグメンテーションは， 元論文においても一つの領域の抽出精度しか報告されて おらず，この制約においてすべての領域において精度が 向上する可能性は低いと考えられる． 実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較
- 22. • ラベルデータによる制約を用いて学習し，生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ただし，CycleGANを事前学習し，正解ラベル付きCT画像を用いて転移学 習した 実験２：ラベルデータによる制約の汎化能力に関する調査 22 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
- 23. • ラベルデータによる制約を用いて学習し，生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ネットワークの入出力は2Dのcoronal面 • Dice係数を用いて定量評価 • 評価用データ • 生成MR画像からのセグメンテーション：正解ラベル付きCT20症例で2-fold交差検証 • 本物のMR画像からのセグメンテーション：正解ラベル付きMR10症例 実験２：ラベルデータによる制約の汎化能力に関する調査 23 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
- 24. 24 • 生成MR画像と本物のMR画像で抽出精度に差がある 実験２：ラベルデータによる制約の汎化能力に関する調査 中殿筋骨盤 小殿筋大腿骨 DICE 本物MR生成MR 本物MR生成MR 本物MR生成MR 本物MR生成MR
- 25. 25 • 典型例（４部位の平均Dice係数が中央値の症例） 生成MRI 推定ラベル 正解ラベル推定ラベル+MRI 症例#8’ （骨盤：0.919，大腿骨：0.950，中殿筋：0.891，小殿筋：0.733） 症例#4 （骨盤：0.763 ，大腿骨：0.885，中殿筋：0.811，小殿筋：0.609） 入力MRI 推定ラベル 正解ラベル推定ラベル+MRI 正解ラベル+MRI 正解ラベル+MRI 実験２：ラベルデータによる制約の汎化能力に関する調査 生成MR画像からのセグメンテーション 本物のMR画像からのセグメンテーション 入力MRI
- 26. 26 • 考察 • 生成MR画像と本物のMR画像で抽出精度に差がある • 生成MR画像は元のCT画像の大まかな形状を保っている が，本物のMR画像に含まれるテクスチャや空間周波数 が表現できていない可能性がある 実験２：ラベルデータによる制約の汎化能力に関する調査
- 27. まとめ・今後の予定
- 28. • 生成前後の画像の類似度を考慮した制約とラベルデー タによる制約の比較を行った．類似度を考慮した制約を 用いた場合のほうが高精度なセグメンテーション結果が 得られた． • ラベルデータによる制約を用いた場合，本物のMR画像 と生成MR画像に差があるため汎化能力が低下する可 能性を示した． まとめ 28
- 29. • ラベルデータによる制約を用いた転移学習に利用したラ ベル付きCT画像が20症例のみであったため，精度が低 下したと考えられる．今後，自動セグメンテーションした 300症例を加えるなど，学習データのバリエーションを増 やす必要があると考えられる． • End-to-endの学習において，生成MR画像と本物のMR 画像の差を軽減するアプローチ[1]を取り入れることを検 討したいと考えている． 今後の予定 29 [1] S. Sankaranarayanan, et. al, “Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation”, arXiv:1711.06969 (2017)
Sé el primero en comentar