AI.accelerator デモデープレゼンスライド用 下腹部のMRIのデータに対してDeep Learningの学習結果を使ってセグメンテーションをしたデータから前立腺の3DデータをVRアプリに組み込んだ事例です。

1. Holoeyes Inc.

2. 医師はこのようなシーケンスから頭の中で3次元の構築をしています
https://www.youtube.com/watch?v=ncAkc1yaJPw

3. 肝臓がん術前カンファレンス 都立墨東病院
https://www.youtube.com/watch?v=nrYlsSldXSM&t=9s

4. 前立腺ガン

7. Segmentation

8. Introduction
• 医療画像セグメンテーション
– CT画像やMRIから特定臓器、病変部位を抽出
• 目的
– セグメンテーションの自動化
• 手動/半自動のセグメンテーション
– 自動診断システムの開発
– 指標の定量化
• 盛んな研究分野の一つ
– 機械学習・ディープラーニング技術の発達
– 医療関連

9. 先行研究/公開データセットの調査
• ターゲット
– 前立腺、肝臓、膵臓、歯
• 先行研究
– 2015年以降の16報
• 公開データセット
– 17データセット

10. 先行研究例
• Holger R. Roth, et al. 2015
– 膵臓
– SLIC + CNN
• O. Ronneberger, et al 2015
– 歯科
– UNet

11. 先行研究例
• P. F. Christ, et al. 2017
– 肝臓
– UNet + CRF
• F. Milletari, et al 2016
– 前立腺
– VNet

12. 医療画像セグメンテーションの特徴
• データセット
– セット数が少ない: 大体数十セット
• 論文16報
• 公開データセット 15セット
– PROMISE12, 3DIRCADB
• Data Augmentation
– 数十万オーダにデータを増やす
– 対象の特徴に合わせた手法
• elastic deformationなど
• ネットワーク
– CNN (U-net含む)
– VNet, Cumedなど3次元セグメンテーションもある
• loss関数
– クロスエントロピー, DICE係数など
• データフォーマット
– DICOM形式 / MHD形式
– CT値/MRI信号強度

13. 実験データセット
• PROMISE12
– タイプ: MRI
– 解像度: 320 x 320 x 20
– セット数: 50

15. https://www.youtube.com/watch?v=EeqacNJcEMA
こちらのMRIシーケンスから前立腺を
セグメンテーションします。

16. セグメンテーションシステムの構成
前処理
(正規化)
Data Augmentation
(ヒストグラムマッチング、Image Deformation)
VNet
後処理
(connected component analysis
画像入力
セグメンテーション結果

17. Data Augmentation
• 数十セットの原画像を数十万セットに拡張
• ヒストグラムマッチング
– ヒストグラムを変換し、原画像のコントラスト変える
• Image Deformation
– B-spline変換
• B-splineでの近似曲線のパラメータを変換

18. VNet
• 3Dのセグメンテーションモデル
• ネットワーク
– Down Conv工程とUp Conv工程
– Residual Function
• 学習条件・環境
– 30000 step
– azure GPU K80
– Caffe

19. 後工程
• Connected Component Analysis
– 空間連結
– 非連結領域の除去

20. Segmentation result

21. https://www.youtube.com/watch?v=EeqacNJcEMA
元のMRIシーケンス
セグメンテーションされた前立腺
https://www.youtube.com/watch?v=6cLSFqF6Sgs

22. VR に組み込み
https://www.youtube.com/watch?v=afDmMKMucV4