Más contenido relacionado
La actualidad más candente (15)
Similar a ソフトウェアジャパン2018 ITフォーラムセッション(4) (20)
ソフトウェアジャパン2018 ITフォーラムセッション(4)
- 1. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2018
協働プロジェクト『空気を読む家』
『空気を読む家』におけるオブジェクト認識技術
2018年02月02日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会 リーダー 荒本道隆
ユーザーエクスペリエンス技術部会 吉田光輝
- 2. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
クラウド・テクノロジー活用部会のご紹介
■背景/活動目的
7年目は、特に音を使った機械学習を中心に、様々な技術について
「実際に触ってみる」を実践した。
8年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前
期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連
の各要素技術の活用に挑戦する。
・測定(センシングなど): Arduino,RaspberryPI を使ったセンシング
・収集(ネットワーク) : 無線LAN, Bluetooth, 電子署名, セキュリティ
・蓄積(KVS, クラウドサービスの利用): RDF, SPARQL, IaaS の利用
・分析(統計処理、オープンデータの利用、アルゴリズム): R, 遺伝的アルゴリズ
ム, ディープラーニング
・出力(ビジュアライゼーション、外部操作): R, D3.js, ロボット, ROS
これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った
ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを
使ったプロトシステムを開発し、運用を行う。
2
- 3. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2017年の主な成果-1
• 情報交換(イベントへの参加、ニュース、その他)
• 「音を使った機械学習」をやってみる < 松井
部会参加者(6人分)の録音データで話者識別
• データサイエンティスト協会の紹介 < 宮本
• ゼロから作るニューラルネット第4章を参考に、Iris分類
• Wekaを導入&触ってみる < 今里
• AIについて < 宮川
• 機械学習について < 今里
• サーバ上のJupyterを触ってみる < 荒本
• Arduinoとクラウドの連携(応答性能向上)手法 < 荒本
• ROS概要 < 佐伯
3
- 4. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2017年の主な成果-2
4
• 持ち回り講師で、書籍を輪読。実際に動かしてもみる
『ゼロから作るDeep Learning』
2章 パーセプトロン < 菅井
3章 ニューラルネットワーク < 蓑島
4章 ニューラルネットワークの学習 < 松井
5章 誤差逆伝播法 < 荒本
6章 学習に関するテクニック
6.1 パラメータの更新 < 新谷
6.3 Batch Normalization < 大越
6.4 正則化 < 市川
6.5 ハイパーパラメータの検証 < 田中
7章 畳み込みニューラルネットワーク < 新谷
• 今年は『仕事ではじめる機械学習』を輪読中
- 5. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
オブジェクト認識技術
- 6. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
やりたいこと
• 今回の『空気を読む家』のテーマ
• 失くしモノや忘れモノ対策
• 対象物が、どの部屋にあるか?
• どの部屋にも無い=家の外にある
• 対象物が、部屋の中のどの位置にあるか?
• 隠れていても、見つけられること
• 対象物が、誰と一緒に移動しているか?
• 身に着けている or カバンに入っている
6
- 7. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実現方法を検討
• 技術で分類
• 電波(RFID, Bluetooth)
• 画像(画像認識, 差分検出, ARマーカー, バーコード)
• その他(加速度, ?)
7
- 8. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
電波を使ったオブジェクト探査
• RFID(Radio Frequency Identifier)
• 概要:ID情報を埋め込んだRFタグを対象物に付ける
• 特徴:RFタグは安価だが、リーダーは高価
• 課題:電池無しのパッシブ型は読みとり距離が3mと短い
• Bluetooth
• 概要:電池を内蔵したタグを対象物に付ける
• 特徴:リーダーとしてスマホが活用できる
• 課題:大体の距離しか分からない
8
製品化されたものが多数ある。
- 9. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
画像を使ったオブジェクト探査
• 画像認識
• 概要:機械学習を利用し、カメラ画像から対象物を見つける
• 特徴:学習させれば、何でも検出可能
• 課題:カメラから遠いと、画像が小さすぎて検出できない
• AITCでも、過去にやった事がある
9
2016年1月期 AITCオープンラボ
「第1回 機械学習勉強会 ~Deep Learningを使って訪問者判定してみた」
ポケットやカバンの中は、分からない。
カメラに写った人が誰かは分かる。
服装で仕事かどうかも分かるかも。
- 10. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
参考:人・仕事判定のための準備
10
2016年1月期 AITCオープンラボ
「第1回 機械学習勉強会 ~Deep Learningを使って訪問者判定してみた」
- 11. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2016年6月23日 デジタルガジェット祭り!
「加速度センサーに挑戦」
その他のオブジェクト探査
• 加速度センサ
• 概要:加速度を2回積分し、移動距離を算出する
• 特徴:出発地点からの移動距離で、現在地点を推測する
• 課題:自作すると、ある程度の大きさになってしまう
• AITCでも、過去にやった事がある
11
精度を上げるのは、かなり大変そう
- 12. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
そこで今回は
• 課題:爪切りを持ち出したのは誰か?
• 要件
• レターボックスに、爪切り、ハサミ、e.t.c…が入っている
• 誰かが爪切りを持ち出して、返し忘れている
• 誰が爪切りを持って行ったかを知りたい
• 制限事項
• RFIDやBluetoothは使わない
• 物体の画像認識は使わない( レターボックスの内部にカメラが設置できない)
12
- 13. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
補足説明
• 「何を持っていったか?」に注力する
• いつ、何を持ち出したかを判定する
• 「誰か?」は今回は実装しない
• すでにやったことがあるので
• WEBカメラを2台同時に使う上での課題がある
• USBのバススピードが不足する場合がある
13
- 14. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
デモ実施
14
- 15. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
種明かし
15
・事前に全アイテムの重さを計る。
・webCamで計りの針を読む。
・重さから足りないアイテムを推定する。
HW
計り
Raspberry Pi 2 B+
WebCam, スピーカー
SW
motion (package)
OpenCV (package)
asound (pckage)
python script(自作)
- 16. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
画像から角度を得る
16
実際の画像
- 17. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
画像から角度を得る
17
蛍光黄色を探す:針
青色を探す:原点
- 18. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
画像から角度を得る
18
青いピクセル群の重心を原点と
する。
黄色のピクセル群から直線を検
出しベクトルを得る。
Y軸とベクトルのなす角を得る。
角度から重さを得る。
- 19. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
苦労した点
画像処理の不安定さ
•周辺の光源、色の影響
•ピクセル郡から幾何的な計算
Raspberry Pi
•WebCamが不安定
•Line Outがノイズまみれ
19
- 20. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
まとめ
• 通信機能を持った計りでも出来たけど
• 今回は、家庭にある安価な計りを使いたかった
• 機械が「人間用の計りの目盛りを読む」を実現
• 重さからオブジェクトを推測
• 高解像度カメラなら、遠くから目盛りが読めるかも
• 計りにARマーカーを付ければ、場所の特定は容易
• 料理のサポートなど、様々な応用が出来そう
• 音声入力との連携も楽しそう
• 今回のシステムの活用例
• 使用履歴を記録
• 使用量を記録
20
- 21. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
AITC クラウド活用部会への参加、
お待ちしてます