表情変化速度の頻度解析による特徴量の抽出(22-13).pdf

表情変化速度の頻度解析による

特徴量の抽出
22/08/25 TakaKawa
22-13

自己紹介
2
⃝名前：TakaKawa

⃝バックグラウンド：

・某私立大学応用化学科卒業

物理化学研究室にて、炭素材料グラフェンの電気物性を研究

→物性物理を学ぶにつれ、数理モデルの考え方を社会現象の解明に生かしたいと思う
ようになる。

・某国立大学情報科学研究科修了（工学修士）

複雑系科学研究室にて、表情の変化速度について表情認識APIを用いて研究。

→挫折。社会人になってから、空き時間に研究を継続。今回の研究紹介につながる。

⃝興味のある分野

・計算社会科学会/社会物理学研究会/日本顔学会/日本物理学会領域11…

• 「人間の感情/社会の動き」を自然科学的に定量化する手段として、表情の動きに着目。

• 前回、MicrosoftのFace APIを使い、表情の変化速度(=表情速度)の出現頻度がべき分布で
あることを述べた。

• 同じ表情の表出でも、表情の挙動によって感情推定が異なると疑い、挙動の定量化とし
て、べき指数を使用できないか検討を実施。

• その結果、表情速度の揺らぎ(表情値の増減)が細かいほど、べき指数bが小さいことを確
認。

• 表情変化の揺らぎは、FaceAPIが曖昧な表情を認知仕切れないことに由来する考察し、
べき指数の逆数1/bが表情の”曖昧さ/不安定さ”を定量化する指標になることを提案する。
SUMMARY
3

• “人間の感情” / ”社会の動き” や “意見” / “貨幣”などの抽象的な概念を
物理学と同様に、自然科学として定量的に議論することは可能か？
1. 自然科学としての人間行動（計算社会科学）-Background-
4
Fig. 計算社会科学の関連領域
Ref.『計算社会科学入門』(2021)
⃝計算社会科学とは？
「新たに利用できるようになったデータや技術(1)を駆使
し、個人や集団、そして社会をこれまでにない解像度
とスケール(2)で定量的に研究する学際領域」

(『計算社会科学入門』(2021))
(1) SNS(Twitter/Facebook)、ウエアラブルセンサ等

(2) 84カ国2400万人2年分約6億件のツイートを解析[1]
個人的な疑問
[1]Golder, S.A., M.W.Macy, Science, 333(6051), 1878-1881 (2011).

1-1. オピニオンダイナミクスモデル -Background-
5
• 社会における”意見”形成のダイナミクスのモデル([1]Ishii, 2019)
Φ(Ij(t), Ii(t)) =
1
1 + exp(β|Ii − Ij | − b)
Ii(t), Ij(t)：人間 i, jの意見。大きいほど賛成。差が小さいほど合意。合意形成の

ダイナミクス
合意形成しない

ダイナミクス
Dij ：人間 iからみる人間 jの信頼を意味する係数。(Dij≠Djiもありうる)
：IiとIjに差があるほど、0に近づく。

→意見が大きく異なる二人は相互作用しない。
DAB < 0
DBA < 0
意見
I(t)
A
B
t
DAB > 0
DBA > 0
意見
I(t)
A
B
t
・口コミ等の情報から映画/イベントのヒット現象を解析し、社会全体でのメディア
の影響C、個人間の信頼度Dを予測。

・意見形成のように、社会の感情形成をモデルかできないか？
Fig. N=2の合意/不合意の計算例
[1] A. Ishii,Proceeding of 19th International Conference on Group Decision and Decision and Negotiation in 2019 aJoint GDN-
EWG/BOR meeting. Springer LNBIP., 351, 193-204 (2019).
外部

マスメディア
Opinion Ii
i
Fig. Opinion Dynamicsの概念図
：意志の強さ(大きいほど意見Ii(t)は変化しにくい)
m
dIi(t)
dt
= CiA(t)+ΣN
j=1DijΦ(Ij(t), Ii(t))(Ij(t) − Ii(t))
m
意志の強さ外部メディアの影響 Ii(t)とIj(t)が遠いとゼロになる関数

1-2. 腕の動きの測定 -Background-
6
Activity Count k[min−1
]
Cumulative
Distribution
P(k) =
exp[−k / kT ]
kT
Cumulative
distribution
C'(k)
Activity Count k[min−1
]
24時間に近づくにつれ
kT : Activity

Temperature
歩行
,

走行
,

対話…
7am
9pm
○ウエアラブルセンサによるActivity Count(=腕の揺れ回数/min)の測定([1]Yano, 2013)
Fig. Activity Countの累積分布

(a)リストバンド型ウエアラブルセンサ[2] (b)7am-9am, 1h毎 (c)1日当たり
[1] K. Yano, MIND, BRAIN AND EDUCATION, 7, 1, 19-29 (2013).

[2] http://monoist.atmarkit.co.jp/mn/articles/1302/01/news080.html
・腕の揺れ(=骨格筋の運動作用)の観測により、人間の行動をkTで定量化。

・表情筋も骨格筋であるため、同様の解析ができないか？
(a)
(b) (c)

2-1 表情研究 -Background-
7
○Facial Action Coding System(FACS) 1960s
・FACSは、表情の部分的表出であるAction Unit (AU)の組み合わせで記述。

・画像認識以前は、定量的な測定ではなく、資格取得者により判断された。
AU6, AU12
Happiness
e.g.
Fig. 表情筋とHappinessのAction Unit[1]
[1] IMOTIONS HP https://imotions.com/blog/facial-expression-analysis/
(a) AUに由来する表情筋 (b) HappinessのAU(AU3+AU6)

2-2 表情値 / 表情速度 -Background-
8
○Microsoft Face API[1]
表情モード：Anger(A), Contempt(C), Fear(F), Disgust(D),

Happiness(H), Neutral(N), Sadness(Sa), Surprise(Su)
・FACSに基づき、深層学習により学習された顔認識AI

・検出された各表情を、 ”表情モード”、

各表情モードの度合いを、 “表情値”、

表情値の時間変化を、 “表情速度” と呼ぶことにする。
表情値
( A + C + D + F + H + Sa + Su + N = 1 )
vA(t) =
dA(t)
dt
表情速度
表情値
vC(t) =
dC(t)
dt
vD(t) =
dD(t)
dt
vF(t) =
dF(t)
dt
vH(t) =
dH(t)
dt
vSa
(t) =
dSa(t)
dt
vSu
(t) =
dSu(t)
dt
表情値 X(t) : A, C, D, F, N, H, Sa, Su
Fig. Face APIによる表情認識例
[1] Microsoft HP https://docs.microsoft.com/en-us/xamarin/xamarin-forms/data-cloud/azure-cognitive-services/emotion-recognition

2. 表情速度の出現頻度の確率密度分布 -Background-
9
絶対値を取り、

両対数プロット
lnp = − bln|v| + lna
○表情速度の出現頻度の確率密度分布
無表情 or 他の表情→笑顔[1]
or
笑顔→無表情 or 他の表情[1]
or
H = Happiness
マイナス領域プラス領域
・各表情速度に対し、出現頻度の確率密度しプロット

・+/-領域で対称な構造をとり、表情速度は極端に0付近に集中

・絶対値は両対数プロットで線形性を示すため、べき分布である。
v =
dH
dt
=(笑顔の表情速度)
Fig. dH/dtの出現頻度確率密度分布
p = a|v|−b
[1]画像は全て下記から引用。Keisha and Andrew: Why Did You Marry Me? | Glamour」https://www.youtube.com/watch?v=IT8Z6JIusdw

10
（例）

表情観察より、同じHappinessの表出でも、

60-70sの方が、悲しみの印象が強い。
Happiness
の平均値
1/b
60-70s 0.94 ?
210-220s 0.75 ?
※動画<1>
Fig. サンプル「Andrew-Ali」に関する例[1]
60s - 70s(Ave.=0.94) 210s - 220s(Ave.=0.75)
3. 表情の挙動と感情推定について
・同じ表情モードの表出でも、表情速度の挙動によって感情推定が異なる？
Table Happinessと1/bの比較イメージ
[1]画像は全て下記から引用。

「Ali and Andrew Part 1: Why Did You Cheat on Me? | The And | Glamour」

https://www.youtube.com/watch?v=CfdlIMlPmuA&t=83s
表情値
X
Time[s] Time[s]
表情値
X

4. Purpose & Measurement
11
（目的）

・表情速度の頻度分布のべき指数が何を示しているか確認をするため、対話サンプルから①表情値の時
系列変化②べき指数b③表情解析で頻繁に用いられる表情値の平均1)を比較評価。

（評価概要）

・動画サンプルを静止画に切り出し、Face APIで8表情を測定し時系列にプロット。

・Neutral以外に対し、10s毎の表情速度の出現確率密度分布しフィッティングし、

べき指数を時系列にプロット。

・特徴のあるいくつかの10s間において、べき指数と表情値の挙動を比較。

（サンプル）

・サンプル名：Andrew-Ali 測定時間：10s-433s

"Ali and Andrew Part 1: Why Did You Cheat on Me? | The And | Glamour"[1] 7:26 (Youtube)
Fig. Andrew-Ali[1]
[1]「Ali and Andrew Part 1: Why Did You Cheat on Me? | The And | Glamour」


1) App.を参照。

パラメータ算出方法備考
表情解析で頻繁に使用[1,2]。
vの出現回数の減少勾配

(測定時間,vの出現回数には依存しない)
4. About Parameters
12
⃝ パラメータの算出方法について
1/b
vH = |
dH
dt
|
H = Happiness
p =
1
(1/a)
v
− 1
(1/b)
H
・1/bが大きいほど、減少勾配が緩く

vが大きい領域で比率が高い
μH
Fig. 10s間の表情値の時系列変化
Time[s]
H
vH
μH =
Σn
i Hi
n
にフィッティング
表情値の平均値
頻度分布の

べき指数1)
1) 「2.表情速度の出現頻度の確率密度分布-Background-」を参照

5-1. Sample Overview: Andrew-Ali
13
Time[s] Contents
10-66 Why did Andrew cheat on Ali so many times?
66-203 Why did Andrew do that(cheating)?
203-252 What does Ali remember when they meet for the
fi
rst time ?
252-281 What does Andrew cherish about their time together?
281-379 What is Ali’s memory from their time together ?
379-433 What if Ali can change one thing about their relationship?
・サンプル名：Andrew-Ali[1]

・内容：破局したカップルの当時を振り返る会話

：時間：7m26s

・FPS：24 [1/s]
Fig. Andrewの各表情の値（0~1）
Table 動画中の各表情値の割合
Ratio(%) Andrew Ali
A 1.6 0.0
C 2.3 2.1
D 0.4 0.2
F 0.4 0.1
H 80.8 89.8
Sa 4.0 6.3
Su 10.2 1.5

Table 動画の内容
Fig. Aliの各表情の値（0~1）
[1]
表情値
X
Time[s]
表情値
X
Time[s]

5-2. Sample Overview: 1/b vs 表情値平均の時系列変化
14
⃝Happinessのべき指数1/bと表情値の平均値µHの時系列変化の比較
・多くの区間で、1/bとµHが連動しているが、部分的に増減が異なる下記区間を比較。

・µHが同等で1/bが大きく異なる区間・・・① (Andrew) 220-230s / 310-320s

②-1 (Ali) 60-70s / 220-230s, ②-2 (Ali) 70-80s / 210-220s

・1/bとµHの増減が真逆の区間・・・③ (Andrew) 210-220s / 220-230s

④ (Ali) 210-220s / 220-230s
①
②
③-1
③-2
④
フィッティングNG区間
Fig. Andrew |dH/dt|のべき指数1/bと表情値Hの平均µH Fig. Ali |dH/dt|のべき指数1/bと表情値Hの平均µH
フィッティング/顔検出NG区間 µH
1/b
1/b,
µ
H
µ
H
1/b,
µ
H
µH
1/b
[1]


6-1. ①Andrew 220-230s vs 310-320s -Result-
15
μH 1/b V.E.1)
220-230s 0.84 0.17 1.00
310-320s 0.85 0.40 1.00
p =
1
(1/a)
v− 1
(1/b)
・220-230s：多くの領域でHappiness=1に近く、揺らぎが少ないた

め、表情速度の頻度分布は、低速度側に分布。

・310-320s：多くの領域でHappiness=1に近いが、後半部分で揺らぐ

ため、表情速度の頻度分布は、中速度(2~5s-1)の比率が多い。

→ 表情値の揺らぎが、1/bに寄与することを示唆。
Fig. 310s-320sのHappiness(傾聴時)
Fig. 表情速度(H)の頻度分布
Table Happinessの各種パラメータ
⃝220-230s vs 310-320s : 平均µHが同等で1/bが大きく異なる区間
※動画<2>
Time[s]
X
Time[s]
X
1) V.E.: フィッティングカーブの分散説明率
※動画<3>
[1]



6-2. ②-1 Ali 60-70s vs 220-230s -Result-
16
μH 1/b V.E.1)
60-70s 0.94 0.52 0.99
220-230s 0.97 0.14 1.00
Time[s]
X
Time[s]
X
Fig. 220s-230sのHappiness (傾聴時)
・60-70s：区間中に低い表情値はないが、小刻みに揺らぎがあり、

表情速度の頻度分布は低速領域(0~5s-1)で緩やかに減少。

・220-230s：多くの領域でHappiness=1に近く、一部で急激に低下があ
るのみ。表情速度が低速領域(0~2.5s-1)と高速領域(10~15s-1)に極端に乖離。

→ 表情値の揺らぎはあるほど、1/bが大きいことを示唆。
p =
1
(1/a)
v− 1
(1/b)
※動画<6>
※動画<7>
[1]



6-2. ②-2 Ali 70-80s vs 210-220s -Result-
17
μH 1/b V.E.1)
70-80s 0.74 0.76 0.93
210-220s 0.75 0.28 1.00

→ 共に揺らぎがある区間の比較
Time[s]
X
Time[s]
X
Fig. 70s-80sのHappiness (傾聴時)
Fig. 210s-220sのHappiness (発言時)
・70-80s：表情値1の部分は少ないが、区間中で全体的に高く、細か

く揺らぐため、表情速度の頻度分布は低速度(2.5-5)に分布。

・210-220s：表情値は、0~1で乱降下。そのため、表情速度の頻度分

布は、高速度側に分布が多い。

→ 表情値が大きく揺らぐより、小さく揺らぐ方が、1/bが大きいこと

を示唆。µHは揺らぎの影響は受けないので同等。
p =
1
(1/a)
v− 1
(1/b)

※動画<8>
※動画<9>
[1]



6-3. ③Andrew 210-220s vs 220-230s -Result-
18
μH 1/b V.E.1)
210-220s 0.33 0.95 0.91
220-230s 0.84 0.17 1.00
p =
1
(1/a)
v− 1
(1/b)
・210-220s： µHは小さいが、表情値が揺らぎ2)、表情速度の頻度分布

は、高速度側に分布。

・220-230s：多くの領域でHappiness=1に近く、揺らぎが小さいた

め、表情速度の頻度分布は、低速度側に分布。

→ ②-1と同様に表情値の揺らぐほど、1/bが大きい。
⃝210-220s vs 220-230s : 1/bと平均µHの増減が真逆の区間

→ より揺らぎがある区間
Time[s]
X
Time[s]
X
2)動画から一部のAUが微小に動くことで表情値が揺らぐと考察
※動画<4>
※動画<5>
[1]



6-5. ④ Ali 210-220s vs 220-230s -Result-
19
μH 1/b V.E.
210-220s 0.75 0.28 1.00
220-230s 0.97 0.14 1.00
⃝210-220s vs 220-230s : 1/bと平均µHの増減が真逆の区間
Time[s]
X
Fig. 210s-220sのHappiness(発言時)
・210-220s：表情値は、区間中で0-1で乱降下しているため、µHは小
さく、表情速度の頻度分布は、比較的、高速度側に分布が多い。

・220-230s：多くの領域でHappiness=1に近いため、µHが大きいが、
表情速度が低速領域(0~2.5s-1)と高速領域(10~15s-1)に極端に乖離。

→ 表情値の揺らぎがあるほど、1/bが大きいことを示唆。

220-230sでは、揺らぎが少ないため、µHと1/bの増減が逆転。
p =
1
(1/a)
v− 1
(1/b)
Time[s]
X
Fig. 220s-230sのHappiness(発言時)
※動画<10>
※動画<11>
[1]



6-6. 1/bと表情値挙動まとめ -Result-
20
・Ali 1/b= 0.14~0.75
1/b= 0.35

(420-430s / 発言時)
1/b= 0.52

(60-70s / 傾聴時)
1/b= 0.75

(70-80s / 傾聴時)
1/b= 0.45

(390-400s / 発言時)
1/b= 0.27

(350-360s / 傾聴時)
1/b= 0.14

(220-230s / 発言時)
Time[s]
1/b= 0.37

(320-330s / 傾聴時)
1/b= 0.57

(270-280s / 発言時)
1/b= 0.95

(210-220s / 傾聴時)
1/b= 0.48

(40-50s / 発言時)
1/b= 0.26

(380-390s / 発言時)
1/b= 0.15

(400-410s / 傾聴時)
X
・Andrew 1/b= 0.15~0.95
小
小
大
大
・中速度の揺らぎが多いほど、1/bが大きい。
[1]



7. Discussion
21
⃝揺らぎの要因は何か？
Fig. Andrew 210-220s (1/b= 0.95)
Time[s]
X
①
②
③
④
⑤
⑥
⑦
⑧
⑨
⑧
・曖昧な表情は、FaceAPIでの表情認知のばらつきが大きくなる。

・Action Unitとして顕著な動きが表出していないことに由来すると考察。
① ② ③ ④ ⑤ ⑥ ⑦ ⑨
③H=0.74
②H=0.39
AU12

Lip Corner Puller
AU6

Cheek Raiser
Fig. ②/③のAU

③の方がAU6/12が大きいが、その差はか。
※動画<4>


[1]

8. Conclusion
22
・表情の挙動を定量化する手段として、べき指数を使用できないか検討を実施。

・1/bが大きい区間は、いずれの区間の比較でも、中速度(2~5s-1)の表情の揺らぎが多い

ことを確認。

・1/bは、表情値の平均µHに相関はなく、数値が大きいほど、表情値の揺らぎが大きい。

・揺らぎは、曖昧な表情に対し、FaceAPIの認知のばらつきが大きくなるため、発生す

ると考察。

・べき指数の逆数1/bにより、表情の”曖昧さ/不安定さ”の定量化が可能と考えられる。

・今後、Face API以外の測定手法での再現性の確認とN増しを実施予定。

App. 動画リンク
23
動画<1>： https://youtu.be/CfdlIMlPmuA?t=60 から10s間。










動画<11>：https://youtu.be/CfdlIMlPmuA?t=220 から10s間。

App. 各社の表情解析手法
24
[1] intage社 HP「表情解析を使った広告クリエイティブ評価」」

[2] 株式会社インテージ The JMRA Annual Conference 2013 資料より

[3] CAC社HPより https://www.cac.co.jp/trends/trend06.html
⃝「表情解析を使った広告クリエイティブ評価」intage社[1]
⃝「心sensor」CAC社[10]
・TVCM評価(2013)

Noldus社のフェイスリーダーを用いて、CM観賞者のアイト
ラッキング/各表情値を分析。観賞後のインタビューの解釈
の正確性向上のため実施[2]。
Affedex社の表情認識ソフトを用いて、基本7表情と、
Valence(肯定/否定感情)、Engagement(表情の豊かさや活
性度)を出力。解析は、パイチャート、感情ヒストグラム
(出現頻度)、その他統計量(平均/中央値/標準偏差)等

表情変化速度の頻度解析による特徴量の抽出(22-13).pdf

Recommended

Recommended

More Related Content

Featured

Featured (20)

表情変化速度の頻度解析による特徴量の抽出(22-13).pdf