SlideShare una empresa de Scribd logo
1 de 24
触感に関わる共感覚的表現と
基本6感情の対応関係の検証
関西大学
〇樋口友梨穂 田中瑠彗 松下光範
1/23
目次
• 背景・問題
• 先行研究
• 表情と触感の対応づけに関する仮説
• 目的
• 調査
• 結果/考察
• 結論
• 課題と展望
• まとめ
2/23
視覚障碍者は視覚情報を代替的に取得するために他の感覚器官
(聴覚・触覚・嗅覚)を用いる
• 文字(言語情報)→音声案内や点字に変換
• 表情(非言語情報)→聴覚や嗅覚情報による想像
背景
平成16年度内閣府調査
人の視線や表情が理解できず,
コミュニケーションに苦労する.
状況の予測・判断を行う際に重要
視覚障碍者
問題
3/23
問題へのアプローチ
触感(触覚情報)を用いて表情(視覚情報)を表現する
表情を理解
!
表情の理解が
困難
❔
表情伝達デバイス
触感:物体に触れた時の物体の質感※1【硬軟,粗滑,凹凸,温冷,摩擦(乾湿)】
直感的な理解が可能
※1 : 岡本正吾ほか,“素材の触知覚を構成する5 種の材質感次元,” 日本バーチャルリアリティ学会大会論文集,vol.16,no.3,
pp.343–353,2011.
表情から触感に変換
触感提示
4/23
表情と触覚の対応
どのように表情と触覚情報を対応づけるかが重要
表情と触感を間接的に対応づける要因を探る
x
要因
表情 触感
5/23
先行研究:表情と触感の対応づけに関する仮説
表情と触感を対応づける要因として共感覚的表現が関係している
ある感覚に関する言葉を用いて別の感覚を表現する比喩
(形容詞・オノマトペ)
例:やわらかい表情(やわらかい:触覚→表情:視覚)
共感覚的表現
触感
共感覚的表現
やわらかい表情
あたたかい表情
やわらかい
あたたかい
表情
※1 樋口友梨穂ら: 共感覚的表現を用いた触感と基本 6 感情の対応づけに関する一検討, 情報処理学会研究報告, Vol. 2022-HCI-
196, No. 18, pp. 1–7 (2022).
触覚
言語
表情
感情
6/23
関連研究
触覚の語彙を含む言語※2
共感覚的な比喩表現(形容詞/オノマトペ)
感情を表現する言語※3
身体部位を用いた慣用句/
形容詞/オノマトペ
触覚を利用した表情/感情表現※1
手の触れ方、握られ方で感情を識別
※1 Hertenstein, M. Jら:
Touch communicates
distinct emotions,
Emotion, Vol. 6, No. 3, pp.
528–33 (2006).
※2國廣哲彌: 五感を表す語
彙-共感覚比喩的体系, 言語,
Vol. 18, No. 11, pp. 28–31
(1989).
※3藤田和生: 感情科学, 京
都大学学術出版会 (2007)
7/23
各共感覚的表現が怒り,嫌悪,恐怖,喜び,悲しみ,驚きの表情に適しているか
5段階評価で調査
評価に基づき共感覚的表現のクラスタリングを行い,語彙をカテゴリ化
→表情を表現するために必要な触感
「軟・温」,「湿」,「乾・冷」,「凸」,「硬」,「熱」
評価平均値を用いて表情と各触感カテゴリの関連性を示唆
触覚に関連する36種の共感覚的表現と表情の対応付けの調査
怒り:「硬」「凸」
嫌悪:「硬」「凸」
恐怖:「硬」
喜び:「温・軟」
悲しみ:「硬」
先行研究:表情と触感の対応づけに関する仮説
評価平均値3.5以上を
関連有りとみなした
→議論が不十分
再検証が必要
8/23
本研究の目的
触感に関わる共感覚的表現と怒り,嫌悪,恐怖,喜び,
悲しみ,驚きの6種の感情の対応関係の再検証
触感
共感覚的表現
やわらかい表情
あたたかい表情
やわらかい
あたたかい
表情
対応関係には双方向性が必要
「表情に適する共感覚的表現」と「共感覚的表現に適する表情」の
2つの観点から調査
本研究:先行研究で得られた触感カテゴリ
軟,温,乾,冷,湿,熱,硬,凸
9/23
触感の再定義
先行研究:硬軟,粗滑,凹凸,温冷,摩擦(乾湿)
程度の強い「温」?痛覚の一種?
区別ができない
+ 痛
以上の9種を触感として扱う
10/23
表情:喜び,怒り(閉口),悲しみ,恐怖,驚き,嫌悪(閉口)
<AIST顔表情データベース2017※1>
調査に用いるデータ
1つの表情種につき2名の日本人女性の画像を用いる
共感覚的表現:軟,温,乾,冷,湿,熱,硬,凸 , 痛 に関する
形容詞,オノマトペ各一種
やわらかい,温かい,かわいた,冷たい,しめった,
熱い,かたい,とげとげしい,いたいたしい
ふわっと,ぽかぽか,ぱさぱさ,ひにゃり,じめじめ,
あつあつ,がちがち,つんつん,ぴりぴり
※1 T. Fujimura and H. Umemura, “Development and validation of a fa-cial expression database based on the dimensional and
categorical model of emotions.,” Cognition and Emotion, vol.32, pp.1663–1670, 2018.
11/23
調査:触感に関わる共感覚的表現と表情の双方向の対応
調査の目的
1. 表情に対応する共感覚的表現(触感)の確認
2. 共感覚的表現(触感)に対応する表情の確認
概要
• Yahoo!クラウドソーシングを利用
• 対象人数:計400人(PCからの回答者のみ)
• 同様の設問で表情刺激の人物が異なるアンケートA,Bを用いる
12/23
調査:触感と表情の双方向の対応
1. 表情に対応する共感覚的表現(触感)の確認
表情画像を見ながら表情に適している共感覚的表現を
複数選択する設問(共感覚的表現評価)
選択肢:軟,温,乾,冷,湿,熱,硬,凸,痛に関する
形容詞9種,オノマトペ9種
触感
共感覚的表現
やわらかい表情
あたたかい表情
やわらかい
あたたかい
表情
例
画像の表情に適する表現を
すべて選択
13/23
2. 共感覚的表現(触感)に対応する表情の確認
共感覚的表現に適している表情を全て選択する設問
(表情評価)
選択肢:怒り,嫌悪,恐怖,喜び,悲しみ,驚きの6種
触感
共感覚的表現
やわらかい表情
あたたかい表情
やわらかい
あたたかい
表情
調査:触感と表情の双方向の対応
「温かい表情」を全て選択
例
14/23
415人の中から以下の参加者のデータを省いた
• ある設問に対して特定の回答を求め,その回答に誤りがある
• 指示を無視した回答を行っている
結果:調査参加者
有効回答数
アンケートA:187人,アンケートB:177人
10~70代の男女から回答を得た
15/23
結果:データ処理
共感覚的表現評価,表情評価の設問ともに
選択肢を選んだ場合を1,選ばなかった場合を0として集計
表情 軟 温 乾 冷 湿 熱 硬 凸 痛
怒り 0 0 0 0 0 0 0 1 0
怒り 0 0 0 0 0 0 0 1 0
怒り 0 0 0 0 0 0 1 1 0
怒り 0 0 0 0 0 0 1 0 0
怒り 0 0 0 0 0 0 1 0 0
怒り 0 0 0 0 0 0 1 1 0
集計例
以降の統計処理、分析は全てIBM SPSS Statistics 27を用いて行った
結果:表情と触感のバイプロット
集計結果を用いて事前にコレスポンデンス分析を行い,回答の傾向を確認
二つの設問で傾向は類似
共感覚的表現評価 表情評価
16/40
17/23
結果:表情と触感の対応
表情と各共感覚的表現でχ2検定(自由度5)
→5%水準で全て有意
表情と触感の対応を明らかにするためχ2検定を行った
帰無仮説:表情と触感に関連がない, 対立仮説:表情と触感に関連がある
共感覚的表現と各表情でχ2検定(自由度8)
→5%水準で全て有意
触感と表情に関連がみられた
共感覚的表現評価
表情評価
結果:表情と触感の対応
共感覚的表現評価における対応
各表情と各触感の対応を明らかにするため残差分析を行った
5%水準で有意な偏りがみられた場合に表情と触感の対応があるとみなす
軟 温 乾 冷 湿 熱 硬 凸 痛
怒り ○ ○ ○ ○
嫌悪 ○ ○ ○
恐怖 ○ ○ ○ ○
喜び ○ ○
悲しみ ○ ○ ○
驚き ○ ○ ○
19/23
結果:表情と触感の対応
表情評価における対応
各表情と各触感の対応を明らかにするため残差分析を行った
5%水準で有意な偏りがみられた場合に表情と触感の対応があるとみなす
軟 温 乾 冷 湿 熱 硬 凸 痛
怒り ○ ○ ○ ○
嫌悪 ○ ○ ○
恐怖 ○ ○ ○
喜び ○ ○
悲しみ ○ ○ ○ ○ ○
驚き ○ ○
20/23
結果:表情と触感の対応
2つの設問で共通して関連がみられる表情と触感に対応がある
軟 温 乾 冷 湿 熱 硬 凸 痛
怒り ○ ○ ○ ○
嫌悪 ○ ○ ○
恐怖 ○ ○ ○ ○
喜び ○ ○
悲しみ ○ ○ ○ ○ ○
驚き ○ ○ ○
21/23
結論:触感に関わる共感覚的表現と感情の対応
怒り
冷,硬
凸,痛
嫌悪
硬,凸
痛
恐怖
硬,凸
痛
喜び
軟,温
悲しみ
冷,湿
痛
驚き
乾,熱
熱は「温」「痛」どちらとも異なる別種の触感である
類似
22/23
課題と展望
• 人物の顔印象が表情と触感の対応に与える影響
中性の表情を用いて事前に印象をはかる
• 共感覚的表現を用いた触感と表情の対応付けに関する仮説検証の残課題
実際の触感と表情で対応が成立するか調査
触感変換
やわらかい表情
あたたかい表情
表情/感情
!
表情想起・理解
触感提示
触感提示
デバイス
軟 温
まとめ
仮説:共感覚的表現が触感と表情を対応づける間接的な要因である
調査:喜び・怒り・悲しみ・恐怖・驚き・嫌悪の表情と9種の触感を含む共感覚
的表現の対応を探る
目的:9種の触感と6種の感情の対応関係の再検証
対応結果:
怒りの表情:「冷,硬,凸,痛」 嫌悪の表情:「硬,凸,痛」
恐怖の表情:「硬,凸,痛」 喜びの表情:「軟,温」
悲しみの表情:「冷,湿,痛」 驚きの表情:「乾,熱」

Más contenido relacionado

Más de Matsushita Laboratory

松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
Matsushita Laboratory
 
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame... ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame...
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
Matsushita Laboratory
 
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
Matsushita Laboratory
 
RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023
Matsushita Laboratory
 
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
Matsushita Laboratory
 

Más de Matsushita Laboratory (20)

TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023
 
SayakaHayashi_FIT2023
SayakaHayashi_FIT2023SayakaHayashi_FIT2023
SayakaHayashi_FIT2023
 
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
 
ReonHata_JSAI2023
ReonHata_JSAI2023ReonHata_JSAI2023
ReonHata_JSAI2023
 
HarukiShinkawa_FIT2023
HarukiShinkawa_FIT2023HarukiShinkawa_FIT2023
HarukiShinkawa_FIT2023
 
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame... ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame...
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 
TaketoFujikawa_KES2023
TaketoFujikawa_KES2023TaketoFujikawa_KES2023
TaketoFujikawa_KES2023
 
Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...
 
JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料
 
レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定
 
TaketoFujikawa_comic2023
TaketoFujikawa_comic2023TaketoFujikawa_comic2023
TaketoFujikawa_comic2023
 
複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス
 
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
 
RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023
 
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
 
Kokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツールKokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツール
 
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMFVisualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
 
iiWAS2022_Miyagawa
iiWAS2022_MiyagawaiiWAS2022_Miyagawa
iiWAS2022_Miyagawa
 
reIDR2022_takahashi.pdf
reIDR2022_takahashi.pdfreIDR2022_takahashi.pdf
reIDR2022_takahashi.pdf
 
RyotaHiguchi_Manpu2022.pdf
RyotaHiguchi_Manpu2022.pdfRyotaHiguchi_Manpu2022.pdf
RyotaHiguchi_Manpu2022.pdf
 

Último

Último (11)

Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 

触感に関わる共感覚的表現と基本6感情の対応関係の検証