SlideShare una empresa de Scribd logo
1 de 30
関西大学 総合情報学部
〇 河野雪乃 安尾萌 松下光範 山西良典
DEIM2022 E23-4
私に似合う化粧を学ぶために
-化粧品レビューと化粧動画内の発話の語彙分析-
ファッションの1つ
普段の顔を変えたいから
自信がつくから
岡田明子・芳住邦雄.
女子学生の化粧に対する意識と行動
JournaloftheJapanResearchAssociationforTextile
End-Uses.Vol.47,2006.pp652-660
女性にとって化粧は日常的な行為
背景
※1
※1
=
1
= どの化粧品を,どのように使うかは自分で情報を集める
マニュアル・ルールはない
末岡奈々・村上かおり.顔の対称性からみたイメージと化粧に関する研究,一般社団法人日本家政学会研究発表要旨集,2017.pp-116
※1
※1
化粧法は決まってない
2
化粧動画検索に関わる問題
清楚 アイメイク 石原さとみ風 
検
索
者
肌のトーンが暗いことが気になる
肌荒れ
少し乾燥気味だ
明るい印象にしたい
アイメイクの部分だけ見たい
石原さとみさんみたいになりたい
現状
検索要求
3
化粧動画検索に関わる問題
4
清楚メイク
アイメイク
再現メイク
→ 動画投稿者の肌が元から色白すぎる
→ 自分に合わない化粧品を使ってる
→ 20分もある動画を1から見るのは大変
清楚 アイメイク 石原さとみ風 
検
索
者
肌のトーンが暗いことが気になる
肌荒れ
少し乾燥気味だ
明るい印象にしたい
アイメイクの部分だけ見たい
石原さとみさんみたいになりたい
現状
検索要求
清楚メイク
アイメイク
再現メイク
→ 動画投稿者の肌が元から色白すぎる
→ 自分に合わない化粧品を使ってる
→ 20分もある動画を1から見るのは大変
現状を
踏まえさせたい
化粧品情報を
反映させたい
シーンごとに
情報をまとめたい
清楚 アイメイク 石原さとみ風 
検
索
者
発話 × レビュー文
化粧動画検索に関わる問題
肌のトーンが暗いことが気になる
肌荒れ
少し乾燥気味だ
明るい印象にしたい
アイメイクの部分だけ見たい
石原さとみさんみたいになりたい
現状
検索要求
5
発話とレビュー文
化粧品のレビューサイトの特徴
商品単体の効果や特性
投稿者の肌情報
化粧動画の特徴
複数の化粧品との組み合せ
塗り方のコツ
YouTubeに投稿される動画
情報の収集源:
@cosmeに投稿されるレビュー文
情報の収集源:
6
本研究の目的
7
検索者の意図を反映した
適応的なコンテンツ検索を可能にするシステムの実現を目指す
その基礎検討として
化粧語彙セットの構築を試みる
化粧に指向した語彙を収集,分類
想定するインタラクション
8
化粧語彙セット構築
識別器
テストデータ
・
・
色味
特性
効果
label
コーラルべージュを購入
0
1
460
色が長持ちします
艶感がだせるリップです
・
・
・
・
No text
分散表現
+
クラスタリング(30)
学習器
学習データ
発話:90動画分
レビュー文:300点分
バイナリ表現
0
0
1
・
・
・ ・
text 0
text 1
text 460
効果
1
0
0
1
色味 特性
0 0
色味
特性
効果
label
・
・
・
・
No
class 0 class 1 class 29
化粧語彙セット
匂い
人気
印象
艶
・
・
コーラルベージュ
BD
Red
BE
・
・
一軍
チャレンジ
候補
最強
・
・
class 0 class 1 class 29
効果 色味 特性
9
学習データ
発話:90動画分/150動画中
レビュー:各300点分/各330点中
分散表現
+
クラスタリング(30)
学習器
化粧語彙セット構築
<対象の化粧工程>
https://www.ac-illust.com
https://landgather.com/makeup
アイメイク
マスカラ
アイシャドウ
アイライナー
口紅
口紅
グロス
リップライナー
10
化粧語彙セット
匂い
人気
印象
艶
・
・
コーラルベージュ
BD
Red
BE
・
・
一軍
チャレンジ
候補
最強
・
・
class 0 class 1 class 29
効果 色味 特性
クラス内の単語 を参照し,
主観的に クラス名 を付与した
識別器
テストデータ
・
・
色味
特性
効果
label
コーラルべージュを購入
0
1
460
色が長持ちします
艶感がだせるリップです
・
・
・
・
No text
分散表現
+
クラスタリング(30)
学習器
学習データ
発話:90動画分
レビュー文:300点分
バイナリ表現
0
0
1
・
・
・ ・
text 0
text 1
text 460
効果
1
0
0
1
色味 特性
0 0
色味
特性
効果
label
・
・
・
・
No
class 0 class 1 class 29
化粧語彙セット
匂い
人気
印象
艶
・
・
コーラルベージュ
BD
Red
BE
・
・
一軍
チャレンジ
候補
最強
・
・
class 0 class 1 class 29
効果 色味 特性
テストデータの構築
11
テストデータ
・
・
色味
特性
効果
label
コーラルべージュを購入
0
1
460
色が長持ちします
艶感がだせるリップです
・
・
・
・
No text
テストデータの構築:ラベル付与
文の内容 にもとづいて人手で 16分類ラベル を付与した
ラベル付与は第一著者の主観にもとづく
12
バイナリ表現
0
0
1
・
・
・ ・
text 0
text 1
text 460
効果
1
0
0
1
色味 特性
0 0
色味
特性
効果
label
・
・
・
・
No
class 0 class 1 class 29
化粧語彙セット
匂い
人気
印象
艶
・
・
コーラルベージュ
BD
Red
BE
・
・
一軍
チャレンジ
候補
最強
・
・
class 0 class 1 class 29
効果 色味 特性
テストデータの構築:分析,バイナリ化
13
テストデータ
・
・
色味
特性
効果
label
コーラルべージュを購入
0
1
460
色が長持ちします
艶感がだせるリップです
・
・
・
・
No text
バイナリ表現
0
0
1
・
・
・ ・
text 0
text 1
text 460
効果
1
0
0
1
色味 特性
0 0
色味
特性
効果
label
・
・
・
・
No
class 0 class 1 class 29
化粧語彙セット
匂い
人気
印象
艶
・
・
コーラルベージュ
BD
Red
BE
・
・
一軍
チャレンジ
候補
最強
・
・
class 0 class 1 class 29
効果 色味 特性
テキスト内に含まれる語彙が化粧語彙セットのどのクラスに属するか
含まれるクラスに「1」,含まれないクラスに「0」 =バイナリ化
分析
(2)人手でラベル付与した発話文とレビュー文にどのような特徴が見られるか
(1)発話とレビュー文間で,テキストに付与されたラベルに偏りが見られるか
14
・
・
text 0 色味
text 1
text 460
特性
効果
label
・
・
No
分析手法
15
(1)発話とレビュー文間で,テキストに付与されたラベルに偏りが見られるか
分析結果:発話
16
(1)発話とレビュー文間で,テキストに付与されたラベルに偏りが見られるか
発話
「塗り方」
分析結果:レビュー文
17
発話
「塗り方」
「商品の特性」,「評価」
レビュー文
(1)発話とレビュー文間で,テキストに付与されたラベルに偏りが見られるか
発話では「塗り方」
レビュー文では「商品の特性」,「評価」に関する文が多くなる傾向にある
100
1
( )
・
・
0
text 0 1 0
バイナリ表現
0
1
・ ・
text 1
text 460
効果
0 1
色味 特性
0 0
特性
効果
label
・
・
・
・
No
class 0 class 1 class 29
色味
・
・
1
100
0
text 1 色味
バイナリ表現:色味
0
1
・ ・
text 4
text 455
効果
0 1
色味 特性
0
色味
色味
label
・
・
・
・
No
class 0 class 1 class 29
0 1
1
1 2
合計値
色味ラベルを付与したテキスト数
各クラスの合計
200
1
( )
0.01 ― 0.005 = 0.005
レビュー
発話
発話 ー レビュー = 差分
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
発話 >= 0 > レビュー
18
分析手法
発話 >= 0 > レビュー
口紅テストデータに関する語彙の分析
19
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
例:「軽く置いたら指で伸ばしていきます」
口紅:「塗り方」に関する発話
化粧語彙セットの「行動」クラス内の語彙
口紅テストデータに関する語彙の分析
20
発話 >= 0 > レビュー
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
例:「パッと鮮やかな赤になり....」
口紅:「塗り方」に関するレビュー文
化粧語彙セットの「商品・色味」クラス内の語彙
口紅テストデータに関する語彙の分析
21
発話 >= 0 > レビュー
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
アイメイクテストデータに関する語彙の分析
22
発話 >= 0 > レビュー
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
例:「塗ってる方塗ってない方比較したらこんなかんじです」
アイメイク:「比較」に関する発話
化粧語彙セットの「効果・特性」クラス内の語彙
アイメイクテストデータに関する語彙の分析
23
発話 >= 0 > レビュー
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
例:「これぞカネボウマジック!同社のKATE等でもかんじますが」
アイメイク:「比較」に関するレビュー文
化粧語彙セットの「商品・色味」クラス内の語彙
アイメイクテストデータに関する語彙の分析
24
発話 >= 0 > レビュー
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
25
口紅:発話文
付与したラベル:塗り方
化粧語彙セット :「行動」クラス
口紅:レビュー文
付与したラベル:塗り方
化粧語彙セット :「商品・色味」クラス
アイメイク:発話文
付与したラベル:比較
化粧語彙セット :「効果・特性」クラス
アイメイク:レビュー文
付与したラベル:比較
化粧語彙セット :「商品・色味」クラス
分析結果
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
考察:分析結果から得られた見解
(1)発話とレビュー文間で,
テキストに付与されたラベルに偏りが見られた
化粧方法に関した情報は「発話」
商品の特性・性質に関した情報は「レビュー文」
例:発話「塗り方」, レビュー文「特性」「評価」
(2)人手でラベル付与した発話文とレビュー文に
特徴が見られた
付与したラベルと化粧語彙セットの
相関傾向がわかった
例:「塗り方」に関する文には「行動」クラスの語彙
どのクラスの語彙が含まれ
どのラベルを付与するべきか
1.
2.
主観的 客観的
26
ベースメイク
アイブロウ
チーク
対象とする化粧工程の追加
本研究で構築した化粧語彙セットを用いて
ベースメイク,アイブロウ,チークにおいても
有用的かを検討
化粧語彙セットの分類精緻化
各クラス内に一部重複が見られるため
分類の精緻化について検討
27
化粧語彙セット
匂い
人気
印象
艶
・
・
コーラルベージュ
BD
Red
BE
・
・
一軍
チャレンジ
候補
最強
・
・
class 0 class 1 class 29
効果 色味 特性
展望
28
発話とレビュー文を用いて化粧語彙セットの構築を試みた
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られた
(1)発話とレビュー文間で,テキストに付与されたラベルに偏りが見られた
= 化粧分野においてデータ収集をする際,発話とレビュー文各々を活用する妥当性が確認できた
= 付与したラベルと化粧語彙セットの相関傾向が確認できた
おわりに
まとめ
問題
本研究の目的
分析
展望
背景
化粧には明確なマニュアル・ルールはない
化粧に関する情報を収集するため,近年では化粧動画が注目されている
動画検索のクエリには,現状や検索要求を反映しきれていないことがある
検索者の意図を反映した適応的なコンテンツ検索の実現を目指す.
その端緒として,化粧語彙セットの構築を試みる.
(1)発話とレビュー文間で,テキストに付与されたラベルに偏りが見られるか
(2)人手でラベル付与した発話文とレビュー文にどんな特徴が見られるか
対象とする化粧工程の追加
化粧語彙セットの分類精緻化
考察
(1)化粧分野においてデータ収集をする際,発話とレビュー文各々を活用する妥当性が 
  確認できた
(2)付与したラベルと化粧語彙セットの相関傾向が確認できた
発話とレビュー文を用いた化粧語彙セットの構築
関西大学 〇 河野雪乃 安尾萌 松下光範 山西良典
DEIM2022 E23-4

Más contenido relacionado

Más de Matsushita Laboratory

松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
Matsushita Laboratory
 
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame... ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame...
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
Matsushita Laboratory
 
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
Matsushita Laboratory
 
RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023
Matsushita Laboratory
 
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
Matsushita Laboratory
 

Más de Matsushita Laboratory (20)

TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023
 
SayakaHayashi_FIT2023
SayakaHayashi_FIT2023SayakaHayashi_FIT2023
SayakaHayashi_FIT2023
 
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
 
ReonHata_JSAI2023
ReonHata_JSAI2023ReonHata_JSAI2023
ReonHata_JSAI2023
 
HarukiShinkawa_FIT2023
HarukiShinkawa_FIT2023HarukiShinkawa_FIT2023
HarukiShinkawa_FIT2023
 
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame... ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame...
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 
TaketoFujikawa_KES2023
TaketoFujikawa_KES2023TaketoFujikawa_KES2023
TaketoFujikawa_KES2023
 
Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...
 
JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料
 
触感に関わる共感覚的表現と基本6感情の対応関係の検証
触感に関わる共感覚的表現と基本6感情の対応関係の検証触感に関わる共感覚的表現と基本6感情の対応関係の検証
触感に関わる共感覚的表現と基本6感情の対応関係の検証
 
レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定
 
TaketoFujikawa_comic2023
TaketoFujikawa_comic2023TaketoFujikawa_comic2023
TaketoFujikawa_comic2023
 
複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス
 
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
 
RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023
 
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
 
Kokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツールKokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツール
 
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMFVisualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
 
iiWAS2022_Miyagawa
iiWAS2022_MiyagawaiiWAS2022_Miyagawa
iiWAS2022_Miyagawa
 
reIDR2022_takahashi.pdf
reIDR2022_takahashi.pdfreIDR2022_takahashi.pdf
reIDR2022_takahashi.pdf
 

Último

Último (11)

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 

私に似合う化粧を学ぶために―化粧品レビューと化粧動画内の発話の語彙分析―