Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
実世界における自然言語処理
すべての人にロボットを
株式会社 Preferred Networks
坪井 祐太
自己紹介 – 坪井祐太
• 経歴
• 2002年 奈良先端科学技術大学院大学(NAIST) 修士課程
• ~ 2016年 日本アイ・ビー・エム株式会社
• 2009年 NAIST 博士(工学)- 社会人博士
• 2016年 ~ 株式会社 Pre...
本日の講義の内容
• 実世界におけるインタラクティブな物体指示
• 小休止: 大企業とベンチャーの研究開発
• 全自動お片付けロボット
• パーソナルロボット
3
実世界における
インタラクティブな物体指示
https://projects.preferred.jp/interactive-robot/
言語処理の応用領域の変化
• これまで: テキストや閉じた仮想空間上での処理
• これから: 物理的な実世界での処理
5
言語指示によるロボット実行タスク
👨👨: ねぇ,そこのフワフワした茶色の
ものを下の箱に入れて
🤖🤖: どちらのことでしょうか?
👨👨: ホワイトボード消しの隣の方
🤖🤖: 承知しました
実世界におけるロボット指示の課題
• 課題1: 実世界を表す表現の
多様性
• 課題2: 曖昧性を含んだ表現
7
テディベア 茶色の人形 柔らかさそうなもの
くまを掴んで
上の箱に入っている上下逆さな人形
くまを動かして
茶色のもの 犬の人形?
ネットワーク構成
embedding
MLP
音声入力 (テキストに変換)
CNN
MLP
切り取られた画像
🎤🎤赤いボトルを
上の箱に移して
embedding
LSTM
画像 (RGB)
SSD
目標移動先
LSTM
MLP
目標物体
En...
曖昧性の扱い
• 物体と指示文の組のスコアをヒンジ関数で計算 [Yu+ 2017]
• スコアが閾値以下であれば曖昧であると判断
🎤🎤茶色のフワフワしたものを
右下の箱に入れて
CNN
MLP
CNN
MLPMLP
LSTM
2位 1位3位…
...
データ作成:PFN-PIC
grab the human face
labeled object and …
move the pop red can
from the top …
move the pink horse
plushie …
p...
ロボット環境
• 物体位置への移動は
逆運動学
• 把持はバキューム
ロボット
深度カメラ
バキューム
エンド
エフェクタ
箱
圧力センサ
電磁弁
チューブ
実験結果
• 英語指示で4.7ポイントの向上(39.2%の誤り削減)
• 日本語指示で3.1ポイントの向上(16.3%の誤り削減)
• 言語毎の作業者の国や文化の違い
e.g. 薄板消しは英語では名前,日本語では形状と色で表現
→1つの言語のデ...
1x
拡張現実(AR)による曖昧物体の提示
• 光の円で対象物
体を囲んで点滅
させることで強調
• 移動先を矢印で
提示
ヘッドマウントディスプレイを用いて可視化
まとめ
• 話し言葉指示による曖昧性を含んだ物体ピッキン
グシステムを提案
• 聞き返しによる曖昧性の解消
• 英語指示92.7% (39.2%の誤り削減) ,日本語指示
84.1% (16.3%の誤り削減)
• 拡張現実(AR)による可視化の...
ICRAでBest Paper Award(HRI部門) 受賞
• ICRA
– International Conference
on Robotics and
Automation
– ロボット分野のト
ップ会議
– 個人的には国際会
議で...
小休止: 大企業とベンチャーの研究開発
• 共通点
• 相違点
17
Preferred Networks, Inc. (PFN)
 設 立:2014年3月
 所在地:東京都千代田区大手町(日本)、カリフォルニア州バークレー(米国)
 従業員数:約200名(2019年01月現在)
• 事業内容:
交通システ...
株式会社 Preferred Networks
19
後半
20
全自動お片付けタスク設定
● 一般的な家具のあるリビング
● テーブル・ソファー・本棚
● ゴミ箱・洗濯かご・おもちゃ箱
● 2台のロボットが自律動作して散らか
った部屋を片付ける
● ロボットはToyota HSR(Human
Support...
お片付けロボットを支える技術
• 物体認識(Object Detection)技術
• Human-robot Interaction (HRI) 技術
22
様々な配置
物体認識システム
● センサー類
○ HSRカメラ (RGBD)
○ 4台の天井カメラ (RGB)
● PFDetをベースとして使用
○ Open Images Challengeで2位
○ 64 GPUで並列分散学習(ChainerMN)
物体認識システムの概要・実績
認識モデル
● 対応物体数:~300(家具やロボットなども含む)
● 物体認識精度:0.9 mIoU(segmentation task)
● 照明条件変化や密集した配置に対する頑健性
ロボットシステム
• 片付け...
物体認識システムの頑健性
Thin Dense
典型的なエラー例
マンゴー vs レモン人を物体と誤認識
白飛び
高密度な配置の際の認識抜け
Human–Robot Interaction (HRI) 技術
• HRI関連機能
● 片付け先をリアルタイムで変更
● 部屋の中の物体の検索
● 優先片付け場所の指定
• 使われている技術
– 音声認識・自然言語処理
– ジェスチャー認識
Human–Robot Interaction (HRI) 技術
• HRI関連機能
● 片付け先をリアルタイムで変更
● 部屋の中の物体の検索
● 優先片付け場所の指定
• 使われている技術
– 音声認識・自然言語処理
– ジェスチャー認識
Human–Robot Interaction (HRI) 技術
• HRI関連機能
● 片付け先をリアルタイムで変更
● 部屋の中の物体の検索
● 優先片付け場所の指定
• 使われている技術
– 音声認識・自然言語処理
– ジェスチャー認識
UI / AR
QA about trashing3D room view
CEATEC JAPAN 2018 (Oct 16–19, 2018)
インダストリ/マーケット
部門 準グランプリ
34
全自動お片付けロボットまとめ
● 物体認識とHuman–Robot Interaction技術によって一般
家庭での応用が近い将来現実のものに
● インパクト
● 現実世界の物体管理・操作が可能になる
● 今後の課題
● あらゆる物体の認識
●...
“Robots for Everyone”
CEATEC JAPAN 2018@幕張メッセ
2018年10月16日
パーソナルロボット
• 様々な実世界のタスクをこなし、世界のありとあらゆ
る場所で活躍する
• パーソナルコンピュータのような汎用性・使い勝手・
市場の広がりを持った新たな産業を目指す
37
38
パーソナルロボット実現のために必要とな
る技術領域の例
• Robotics
– Manipulation
– Navigation
– Planning
– Simulation
– Hardware / Mechanics
• Softwa...
Manipulation/Simulation/3D modelingの研究トレンド例
Simulation環境からのDomain Adaptation
• 実ロボットによる訓練データ作成は高コスト
40
図: https://ai.googl...
まとめ
• パーソナルロボットには新しい産業を生み出す可能
– 大型計算機からパーソナルコンピュータへのアナロジー
– 家庭内だけでなく、働き方を変える可能性
• ロボットを実現する技術は総合格闘技
– パーソナルロボットの実現のためにあらゆる...
コンピュータサイエンスの全分野に精通
• 学び続ける
– 天才は努力するものに勝てない
• 新しいことを学ぶのは楽しい
– 努力するものは楽しむものに勝てない
• 自然言語処理(デジタルな記号列だけを処理すること
が多かった)
 ロボティック...
実用化に向けて様々な応用の実現を可能に
するツールの提供を目指す
• 料理の手伝い・配膳・
• 片付け
• 家の中の物を探す・とってくる
• 洗濯・折りたたみ・収納
• 見守り・一緒に遊ぶ
43
Copyright © 2014-
Preferred Networks All Right Reserved.
44
東北大学講義資料 実世界における自然言語処理 - すべての人にロボットを - 坪井祐太 
Próxima SlideShare
Cargando en…5
×

東北大学講義資料 実世界における自然言語処理 - すべての人にロボットを - 坪井祐太 

1.271 visualizaciones

Publicado el

東北大学情報科学研究科における産学連携講義(2019/01/17)の資料です。
ロボットを使うための自然なインターフェースへの取り組みの紹介と、PFNが目指すパーソナルロボット事業について紹介しました。

Publicado en: Tecnología
  • Sé el primero en comentar

東北大学講義資料 実世界における自然言語処理 - すべての人にロボットを - 坪井祐太 

  1. 1. 実世界における自然言語処理 すべての人にロボットを 株式会社 Preferred Networks 坪井 祐太
  2. 2. 自己紹介 – 坪井祐太 • 経歴 • 2002年 奈良先端科学技術大学院大学(NAIST) 修士課程 • ~ 2016年 日本アイ・ビー・エム株式会社 • 2009年 NAIST 博士(工学)- 社会人博士 • 2016年 ~ 株式会社 Preferred Networks • 博士論文の専門分野: 自然言語処理 • 現在: パーソナルロボットの研究開発 2 https://www.kspub.co.jp/book/ detail/1529243.html https://www.morikita.co.jp/books /book/3034
  3. 3. 本日の講義の内容 • 実世界におけるインタラクティブな物体指示 • 小休止: 大企業とベンチャーの研究開発 • 全自動お片付けロボット • パーソナルロボット 3
  4. 4. 実世界における インタラクティブな物体指示 https://projects.preferred.jp/interactive-robot/
  5. 5. 言語処理の応用領域の変化 • これまで: テキストや閉じた仮想空間上での処理 • これから: 物理的な実世界での処理 5
  6. 6. 言語指示によるロボット実行タスク 👨👨: ねぇ,そこのフワフワした茶色の ものを下の箱に入れて 🤖🤖: どちらのことでしょうか? 👨👨: ホワイトボード消しの隣の方 🤖🤖: 承知しました
  7. 7. 実世界におけるロボット指示の課題 • 課題1: 実世界を表す表現の 多様性 • 課題2: 曖昧性を含んだ表現 7 テディベア 茶色の人形 柔らかさそうなもの くまを掴んで 上の箱に入っている上下逆さな人形 くまを動かして 茶色のもの 犬の人形?
  8. 8. ネットワーク構成 embedding MLP 音声入力 (テキストに変換) CNN MLP 切り取られた画像 🎤🎤赤いボトルを 上の箱に移して embedding LSTM 画像 (RGB) SSD 目標移動先 LSTM MLP 目標物体 End-to-endの深層学習を用いた画像・言語理解により, 単語や文法の事前設定・ルールを必要としないモデル
  9. 9. 曖昧性の扱い • 物体と指示文の組のスコアをヒンジ関数で計算 [Yu+ 2017] • スコアが閾値以下であれば曖昧であると判断 🎤🎤茶色のフワフワしたものを 右下の箱に入れて CNN MLP CNN MLPMLP LSTM 2位 1位3位… スコアの差を計算
  10. 10. データ作成:PFN-PIC grab the human face labeled object and … move the pop red can from the top … move the pink horse plushie … put the box with a 50 written on it that is … 1180シーン画像 (約26000物体) 約100種類(日用品)の物体 英語:91,590文,日本語:77,770文 (クラウドソーシングにより,各画像に対して最低3人が文章を付与) おにぎりを作るやつを 横に動かして なんか白い丸いもの を右に … 手前のオレンジのボ ールを … MONOの隣の水色の 箱を斜めに … https://github.com/pfnet-research/picking-instruction にて公開中
  11. 11. ロボット環境 • 物体位置への移動は 逆運動学 • 把持はバキューム ロボット 深度カメラ バキューム エンド エフェクタ 箱 圧力センサ 電磁弁 チューブ
  12. 12. 実験結果 • 英語指示で4.7ポイントの向上(39.2%の誤り削減) • 日本語指示で3.1ポイントの向上(16.3%の誤り削減) • 言語毎の作業者の国や文化の違い e.g. 薄板消しは英語では名前,日本語では形状と色で表現 →1つの言語のデータを集めて翻訳では不十分 物体移動タスクの対象物体精度 聞き返しなし 聞き返しあり 英語指示 88.0% 92.7% 日本語指示 81.0% 84.1%
  13. 13. 1x
  14. 14. 拡張現実(AR)による曖昧物体の提示 • 光の円で対象物 体を囲んで点滅 させることで強調 • 移動先を矢印で 提示 ヘッドマウントディスプレイを用いて可視化
  15. 15. まとめ • 話し言葉指示による曖昧性を含んだ物体ピッキン グシステムを提案 • 聞き返しによる曖昧性の解消 • 英語指示92.7% (39.2%の誤り削減) ,日本語指示 84.1% (16.3%の誤り削減) • 拡張現実(AR)による可視化の試み
  16. 16. ICRAでBest Paper Award(HRI部門) 受賞 • ICRA – International Conference on Robotics and Automation – ロボット分野のト ップ会議 – 個人的には国際会 議で論文賞は初 16
  17. 17. 小休止: 大企業とベンチャーの研究開発 • 共通点 • 相違点 17
  18. 18. Preferred Networks, Inc. (PFN)  設 立:2014年3月  所在地:東京都千代田区大手町(日本)、カリフォルニア州バークレー(米国)  従業員数:約200名(2019年01月現在) • 事業内容: 交通システム、産業用ロボット、バイオヘルスケアなど 18
  19. 19. 株式会社 Preferred Networks 19
  20. 20. 後半 20
  21. 21. 全自動お片付けタスク設定 ● 一般的な家具のあるリビング ● テーブル・ソファー・本棚 ● ゴミ箱・洗濯かご・おもちゃ箱 ● 2台のロボットが自律動作して散らか った部屋を片付ける ● ロボットはToyota HSR(Human Support Robot) ● 片付け先はあらかじめ決まって いるが人の指示でも変えたい
  22. 22. お片付けロボットを支える技術 • 物体認識(Object Detection)技術 • Human-robot Interaction (HRI) 技術 22
  23. 23. 様々な配置
  24. 24. 物体認識システム ● センサー類 ○ HSRカメラ (RGBD) ○ 4台の天井カメラ (RGB) ● PFDetをベースとして使用 ○ Open Images Challengeで2位 ○ 64 GPUで並列分散学習(ChainerMN)
  25. 25. 物体認識システムの概要・実績 認識モデル ● 対応物体数:~300(家具やロボットなども含む) ● 物体認識精度:0.9 mIoU(segmentation task) ● 照明条件変化や密集した配置に対する頑健性 ロボットシステム • 片付け速度:分速1.9物体(CEATECでの実績) • 把持成功率:~90%
  26. 26. 物体認識システムの頑健性 Thin Dense
  27. 27. 典型的なエラー例 マンゴー vs レモン人を物体と誤認識 白飛び 高密度な配置の際の認識抜け
  28. 28. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識
  29. 29. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識
  30. 30. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識
  31. 31. UI / AR QA about trashing3D room view
  32. 32. CEATEC JAPAN 2018 (Oct 16–19, 2018)
  33. 33. インダストリ/マーケット 部門 準グランプリ 34
  34. 34. 全自動お片付けロボットまとめ ● 物体認識とHuman–Robot Interaction技術によって一般 家庭での応用が近い将来現実のものに ● インパクト ● 現実世界の物体管理・操作が可能になる ● 今後の課題 ● あらゆる物体の認識 ● 様々な環境への一般化 ● 簡単にセットアップできる仕組み ● 安全性
  35. 35. “Robots for Everyone” CEATEC JAPAN 2018@幕張メッセ 2018年10月16日
  36. 36. パーソナルロボット • 様々な実世界のタスクをこなし、世界のありとあらゆ る場所で活躍する • パーソナルコンピュータのような汎用性・使い勝手・ 市場の広がりを持った新たな産業を目指す 37
  37. 37. 38
  38. 38. パーソナルロボット実現のために必要とな る技術領域の例 • Robotics – Manipulation – Navigation – Planning – Simulation – Hardware / Mechanics • Software engineering – System architecture – Network architecture – Continuous integration ● Vision ○ Object recognition/tracking ○ Pose estimation ○ 3D modeling ● Human–Robot Interaction ○ Speech recognition/ synthesis ○ Dialog understanding/generation ○ UI / AR / VR ○ Human recognition
  39. 39. Manipulation/Simulation/3D modelingの研究トレンド例 Simulation環境からのDomain Adaptation • 実ロボットによる訓練データ作成は高コスト 40 図: https://ai.googleblog.com/2018/06/scalable- deep-reinforcement-learning.html シミュレーション環境を 実環境に変換 図:https://arxiv.org/abs/170 9.07857 シミュレーション・実環 境を正規化された表現に 変換 図:https://arxiv.org/abs/1 812.07252
  40. 40. まとめ • パーソナルロボットには新しい産業を生み出す可能 – 大型計算機からパーソナルコンピュータへのアナロジー – 家庭内だけでなく、働き方を変える可能性 • ロボットを実現する技術は総合格闘技 – パーソナルロボットの実現のためにあらゆる技術を結集させる 必要がある – ソフトウェア技術者の活躍の場も大いにある 41
  41. 41. コンピュータサイエンスの全分野に精通 • 学び続ける – 天才は努力するものに勝てない • 新しいことを学ぶのは楽しい – 努力するものは楽しむものに勝てない • 自然言語処理(デジタルな記号列だけを処理すること が多かった)  ロボティックス センサー・マニュピレータ(アナログデジタル) 42 孔子 論語(雍也第六の二十)
  42. 42. 実用化に向けて様々な応用の実現を可能に するツールの提供を目指す • 料理の手伝い・配膳・ • 片付け • 家の中の物を探す・とってくる • 洗濯・折りたたみ・収納 • 見守り・一緒に遊ぶ 43
  43. 43. Copyright © 2014- Preferred Networks All Right Reserved. 44

×