【SIX2019 】Deep Learningを活用した間取り画像における物体検出

DEEP LEARNINGを活用した
間取り画像における物体検出
株式会社LIFULL
AI戦略室
椎橋怜史
2019.03.05

© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
自己紹介
椎橋怜史（しいばしさとし）
データサイエンティスト
経歴
2016年LIFULL新卒入社
広告予算最適化、レコメンドなどの
機械学習開発
@shiibass

目次
• LIFULL会社紹介
• ABEJA PLATFORM ANNOTATION
• LIFULL事例紹介

会社名
証券コード 2120（東証第一部）
代表者代表取締役社長井上高志
沿革 1997年3月12日設立
2006年10月東証マザーズ上場
2010年3月東証一部へ市場変更
資本金 3,999百万円
発行済株式数 118,789,100株（内、自己株式数73,736株）
連結従業員数 1,251名（内、臨時雇用者数220名、海外子会社125名）
主な株主 LIFULL役員、楽天株式会社（20％）
主な子会社
( )は議決権比率
Trovit Search, S.L. (100％）
株式会社LIFULL Marketing Partners（100％)
LIFULL のご紹介

一人ひとりのご要望を追求し、最適な
住まい探しを提案します。
のご紹介

プライスマップ
不動産価格を機械学習で予測・可視化

かざして検索

© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
ABEJA PLATFORMの全体像

一言で言えば
機械学習開発を効率化するクラウドサービス

ABEJA PLATFORMの機能
ABEJA Platformは開発・運用に必要なパイプラインをサポートする機能が充実しているため、AIの
ビジネスへの実装を短期間で実現し、継続して精度を維持・向上することができます。
取得したデータをスケーラブルにデータレイクへ格納し、
蓄積したデータのバリデーションを実行します。
教師データ作成（アノテーション）を効率的に実現するサ
ービスを提供します。
システムや多数のIoTデバイスとABEJA Platformが接続し、自
動的に負荷分散を行いながらデータの取得を行うことができ
ます。
1
2
3
4
5
取得
蓄積
学習
デプロイ
推論・再学習
GPUを使った学習環境が用意されており効率的にモデルの開発
ができます。チューニング時の学習データ、モデルなどのバー
ジョンをGUIツールで管理することにより、開発の時間短縮を
図れます。
学習ごとに自動的に精度評価を行うことができます。評価後
モデルを選択するだけで、IoTデバイスを含めた本番環境へ自
動的にデプロイを行うことができます。
システムの監視機能が標準装備され、デバイスの故障や異常を
検知します。スケジュール機能により、ユーザの任意のタイミ
ングでモデルの再学習が可能です。

ABEJA PLATFORMのLIFULLでの活用範囲
LIFULLではアノテーション（教師データ作成）機能を利用しています。
取得したデータをスケーラブルにデータレイク
へ格納し、蓄積したデータのバリデーションを
実行します。
教師データ作成（アノテーション）を効率的に
実現するサービスを提供します。
2
蓄積・アノテーション
学習以降のプロセスはLIFULLの環境内で
開発・運用しています。
蓄積・アノテーション

アノテーションとは？

教師データ作成（アノテーション）の例
画像を保存していたとして、
こういう情報も
保管していますか？
• 犬であること
• 犬の種類
• 毛色
• 着ている服
• 犬が何をしている様子なのか123912301273123.jpg

画像を保存していたとして、
こういう情報も
保管していますか？
• 犬であること
• 犬の種類
• 毛色
• 着ている服
画像だけでは足りない
情報がある

明示的に何を表すかをマーク
づけするのがアノテーション
作業
• 犬であること → ”dog”
• 犬の種類 → ”〇〇”
• 毛色 → ”△色”
• 着ている服

教師データ作成にこだわる理由
• 教師データを必要とするタスクが多い
• 画像やテキスト、音声などのデータを持っていても学習させ
るラベルは持っていないケースが多い
• 人力で教師ラベルを作る必要があるケースが多い
• 高性能なモデルの開発にはアルゴリズムだけでなく、データ
の質も重要
• だけどデータ作成の人手が足りない

そのための

ABEJA PLATFORM ANNOTATION
データをアップロードしてアノテーション

ABEJA PLATFORM ANNOTATION
間取り画像の壁やアイコンにアノテーション
水色：寝室
黄色：キッチン
ピンク：壁
トイレ、クローゼット
など

皆さんがいだきそうな疑問を考えてみました

学習で重要なアノテーション作業を
外部に依頼してデータの質ってどうなの？

データの質
• ABEJAではワーカーの作業をレビューしていて、質の
低下を防いでいる
• アノテーションのルールを明確にして、それに従って
作業している

ちゃんとやってくれなかったらどうしよう
学習の精度落ちる

ABEJAのデータ作成業務の質を確認
• チェック用のダミーデータを混ぜて精度確認
• 並行して他社にも同じ作業を依頼
ABEJA、もう1社ともにデータの質は問題ない
丁寧にアノテーションしてくれました
結果的に… 当初想定していたよりも
少ないデータ量で学習ができた

どうしてABEJAにしたの？

アノテーション作業をABEJAに依頼した理由
• 正直、どこでもよかった（ちゃんとやってくれるなら）
• あえて言うなら、安いところがいい
２社試した結果、
もう一社はアノテーション用ツールや先方での作業管
理方法などの準備が大変だった
→ そういう環境を整えているのが
ABEJA Platform Annotationの選定理由になる

AWS SageMaker Ground Truth出たけど？

AWS Sagemaker Ground Truthとは
• ABEJA PLATFORM ANNOTATION類似サービス
• クラウドソーシングも利用可能
• 今外注するならAWSも検討にいれるべき

どっち選ぶ？

決め手になりそうなこと
金額
見積もりを出してみるしかない
データの質
ABEJAはGood,
AWSは使ってないので質は不明。
ワーカーが日本人じゃなかったら要件定義（ルール作成）が難しいかも？
アノテーションタスク
ABEJAの方が対応可能なタスクが多い (2019年1月時点)
- ABEJA : Video, Classify, Detection, Text, Segmentation Selectable, Speech to Text, Image to Text,
Polygon
- AWS : Text, Classify, Detection, Segmentation, Selectable

その他
https://qiita.com/advent-calendar/2018/abejaplatform
• ABEJA PLATFORMの活用についての記事です
• 純粋にMLOpsの技術勉強にもなります

目次
• LIFULL会社紹介
• ABEJA PLATFORM ANNOTATION
• LIFULL事例紹介

間取り図を解析して３Dモデルを作る
間取り図
物体認識・間取り構造推定
参考論文“Raster-to-Vector: Revisiting Floorplan Transformation”
〇m
縮尺・長さ推定
部屋の
３Dモデル

間取り画像のアノテーションを変換
間取り画像→テキストデータ（座標とラベル）
515.0 912.0 657.0 930.0 balcony
583.0 133.0 638.0 152.0 bathroom
661.0 104.0 758.0 247.0 bathtub
204.0 236.0 343.0 262.0 bedroom
← で作成したデータ

人間の骨格認識技術を応用する
Pose Estimation（骨格認識）技術
学習済みモデルも公開されてる
※Human pose estimation via Convolutional Part Heatmap Regressionから抜粋

画像と座標データを学習させて
間取りの骨格を認識
ドアの骨格
壁の交差点の骨格
この形→
predict

ドアの骨格
壁の交差点の骨格
この形→
間取り画像のどこにパーツがあるかをそれぞれ学習させる
predict

学習済みモデルの重みを初期値にして学習
（転移学習）
メリット
• 少ないデータ数で学習可能
• 学習時間の短縮（低コスト）

骨格情報から部屋情報を推定する
人間の骨格は一意（頭→首→胴体など）
部屋構造は一意ではない
ドアの骨格壁の骨格
キッチンカウンターの骨格
などその他いくつか
骨格情報から
矛盾が起きない
部屋構造を推定する

制約充足問題に定式化
機械学習（ML）
・制約なし（基本的には）
・損失関数の最小解を探索
・凸最適化（基本的には）
制約充足問題（CSP）
・制約条件を満たす解を探索
・基本的にNP問題
CSP
最適化
機械学習
教師あり
イメージ↑

制約充足問題の例
虫食い算
A B C D
C A E F+
G D B C A
A~Gは0から9のいずれかで
それぞれ異なる
制約：
0 <= A,B,…, G <= 9, Integer
A != B, A != C,…, F != G
x, y,… ダミー変数
D + F = 10 * x + A
C + E + x= 10 * y + C
…
巨大になればなるほど総当たり計算や
ルールベースロジックは対応しにくくなる

制約充足問題に定式化
• ドアや窓は壁と密着している
• 部屋は四方を壁で囲まれている
• その他
などの制約をすべて満たす解釈方法を探索
壁の骨格ドアの骨格

学習結果
Predict
and
Optimize
Predict …
Optimize …
ディープラーニングで物体を認識
認識したパーツを組み合わせ、無矛盾
な解釈を探索する

将来の展望
Predict
Optimize
3D Rendering ※イメージ

ご清聴、ありがとうございました
Ask the Speakerコーナーでお会いしましょう

【SIX2019 】Deep Learningを活用した間取り画像における物体検出

Recomendados

Recomendados

Más contenido relacionado

Más de LIFULL Co., Ltd.

Más de LIFULL Co., Ltd. (20)

Último

Último (9)

【SIX2019 】Deep Learningを活用した間取り画像における物体検出