9. Hand Object Detectorによる検出
手の状態と物体を検出
Understanding Human Hands in Contact at Internet Scale
Hand Side, Hand State, Bounding Boxを付与
N: 接触なし(No Contact)
S: 自身に触れている(ex: 胸に手を当てる)
O: 他人に触れている
P: Portableな物体に触れている
F: Portableでない物体に触れている
(ex; テーブルなど)
9
画像:https://github.com/ddshan/hand_object_detector
10. システム概要
Faster RCNN(FRCNN) + Lossの追加による学習
RCNN: Region based Convolutional Neural Networks
10
出典:https://github.com/ddshan/hand_object_detector
14. 手の状態を文として出力
モデルの出力からテンプレート文を作成
テンプレート:
{Hand Side} Hand: {Hand Statusに応じた文}
No Contact ⇒ No Contact
Self Contact ⇒ Self Interaction
Other person ⇒ Contacting with another person
Portable Object ⇒ Contacting with {EfficientNetによる分類結果}
Stationary Object ⇒ Contacting with stationary object
Stationary Objectの分類はうまくいかない
(ほとんどのStationary Objectは見切れている)
14