言語モデルを用いた俳句評価器の構築と性能評価に関する研究

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
言語モデルを用いた俳句評価器
の構築と性能評価に関する研究
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
学部4年花野愛里咲

2
研究背景
• 人工知能技術を用いた芸術作品の創作が盛ん
• 創作においては良い作品を作るだけでなく，
良い作品を選ぶことも重要
• 本研究では俳句を研究の対象とする
吾輩は猫である。名前はまだない。
そんな吾輩であるが、数日前にマ
タタビを追いかけて走り回ってい
たらトラックに轢かれてしまった。
これは本当にたまたまだったのだ
が、運が悪かったというかなんと
いうか…………。何にせよその結果、
中世ヨーロッパのような世界に転
生してしまったのである。
…
[1]AIのべりすと https://ai-novel.com/ (2021年12月14日閲覧)
[2]Art42 https://art42.net/ (2021年12月14日閲覧)
[3]出典：キオクシア：「TEZUKA2020」プロジェクトチームが2020年度人工知能学会現場イノベーション賞・銀賞を受賞
https://www.businesswire.com/news/home/20210622005555/ja/ (2021年12月14日閲覧)
小説[1] 絵画[2] 漫画[3]

3
俳句とは
• 俳句の約束事[4]
– 5・7・5 の17 文字(音) で作る
• 17音で生成・評価のコストがその他の文学作品と比較して小さい
– 季節の言葉(季題、季語) を入れる
– 上記の条件を満たす俳句を「有季定型句」と呼ぶ
• 俳句（芸術作品）の評価の難しさ
– 多様な評価基準
• 情景が思い浮かぶ，意外性，etc
– 主観的な価値判断
• 読み手の属性，etc
– 外的要因
• 読む時・詠まれた時の時代背景，etc
– etc
[4]公益社団法人日本伝統俳句協会俳句入門講座-1，https://haiku.jp/tsukuru/2430/ (2021年12月14日閲覧)
古池や蛙飛び込む水の音
切れ字季語
上五中七下五

4
本研究で扱う評価
• 俳句に対する評価は大きく分けて3つの段階が考えられる
• 先行研究で俳句の自動生成が行われており
質の保証はないが大量に俳句を生成することは可能[5]
• 人間が俳句を選ぶ際の余計な負担が軽減される
– 人間が決めるまでもなく質が低い俳句は機械的に取り除き，
残った候補の中から良いものを人間が決めるという状態が理想
• 本研究では誰もが明らかに俳句として成立しないと感じる句
（下位層）の評価を扱う
上位層
中間層
下位層
作品の質
俳句に強い魅力を感じる
俳句としては成立するが魅力を感じない
俳句として成立しない
（例）
夕立をかなして通る榎哉
あらはれて羽蟻のように歩くのみ
えりこぼれたったろあんなにぐずらん
[5]横山想一郎，山下倫央，川村秀憲：深層学習を用いた俳句の生成と選句，人工知能，Vol.34, No.4, (2019)

5
関連研究
• 俳句の自動評価に関する研究
– LSTMを用いて生成された俳句に対して
季語の有無や音数で俳句を評価[6]
• 近年では，深層学習に基づく言語モデルが
文書分類の手法として多く提案されている
– RoBERTa[7]は多くの文書分類タスクにおいて
当時の最高スコアを獲得した
[6]太田瑶子，進藤裕之，松本裕治：深層学習を用いた俳句の自動生成，情報処理学会
（2018）
[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike
Lewis, Luke Zettlemoyer, Veselin Stoyanov：RoBERTa: A Robustly Optimized BERT Pretraining
Approach，arXiv(2019)
本研究では文書分類タスクとして俳句評価問題を扱い
俳句として成立しない句の検出を行う

6
研究目的とアプローチ
• 俳句評価器の構築
– 明らかに俳句とみなすことができない句を取り除き，
大量の候補の中から俳句として成立する句の抽出を目的とする
• 本研究では，俳句として成立しない特徴の代表例2つを対象
– 意味が通らない・散文的
• 俳句として成立しない句の例
– 夕立をかなして通る榎哉（意味が通らない）
– えりこぼれたったろあんなにぐずらん（意味が通らない）
– あらはれて羽蟻のように歩くのみ（散文的）
• データセット作成のアプローチ
– 生成器の生成俳句について手動アノテーション
• アノテーションコスト：高
• データの質：高
– 既存のデータセットから人工的に自動作成
• アノテーションコスト：低
• データの質：低
• 本研究では自動的に作成する

7
提案手法
• 俳句評価器の構築
– 人間が作成した俳句（正例）と人工的に作成した
有季定型句を満たす文字列（負例）を用いて
二値分類タスクをモデルに適用
sentence, label
鰤あぐる島の夕べを時雨けり, 1
びつしりと通草はじけてひとりなり, 1
…
日光が無風の庭の葉鶏頭, 0
草花の前で澄まして直立し, 0
…
モデル
正例と負例の識別
一生の悲しきさまに昼寝覚俳句評価器 0.915
学習させたモデルを
評価器として使用
入力出力
入力された俳句に対して評価値
（正例に対する予測確率）を算出
学習データ
（1が正例，0が負例）
学習フェーズ
評価フェーズ

8
評価器の学習・検証に使用するデータ
• 俳句データセット（正例）
– インターネットから取得した俳句
• 交換データセット（負例）
– 俳句データの季語・名詞・助詞・動詞・上五・下五のどれかを
ランダムに交換
– 例）みちのくの青田に降りる山の雲（元となる俳句データ）
↓
みちのくのざくろに降りる山の雲（生成される交換データ）
• 散文データセット（負例）
– 有季定型句の条件を満たす部分文字列をコーパスから抽出
• 青空文庫，CC100，Wiki-40bから抽出
– 俳句データとの最小編集距離が5以下の文字列を除外
– 例）草花の前で澄まして直立し
• ランダムデータ（負例）
– 青空文庫の学習データに含まれる単語をランダムに選択し，
17音になるように結合
– 例）冬の雲しかし程近いはかない
※上記の負例作成方法は正例として扱っても良い例が作成される可能性がある

9
使用する正例・負例の妥当性について
人工的に作成したデータの例俳句生成器の俳句の例
俳句
（正例）
五月雨や大木並ぶ窓の外野のはてや馬にのりたる時鳥
交換
（負例）
鴨一羽飛んも野川の暮にけり夕立をかなして通る榎哉
散文
（負例）
紋章の中にしばしば描かれてあらはれて羽蟻のように歩くのみ
ランダム
（負例）
ただしんいっつ行装しつこくししえりこぼれたったろあんなにぐずらん
• 定性的な比較から
提案する負例作成手法によって
生成器の出力する俳句として成立しない句
と同様のサンプルを生成可能であると判断

10
俳句評価器の性能評価
• (実験1)
俳句として成立しない句の検出性能の評価
– (実験1-1)
人工的に作成したデータセットを使用した検証
– (実験1-2)
俳句生成器の生成俳句から作成したデータセット
を使用した検証
• (実験2)
俳人から選を得る句の検出性能の評価
– ※本研究の目的である
「俳句として成立しない句の検出」
とは異なる使用方法であることに注意

11
実験1-1
• 実験目的
– 俳句として成立しない句の検出性能の評価
– 人工的に作成したデータにおいて
汎化性能があるモデルが学習可能かを調査
• 実験方法
– 学習データと同様の方法で作成した検証データを
用いて混同行列，Precision@kにより各モデルを
比較
• 本研究では俳句として成立しないものを省くことを重視
• 負例を正しく負例と判定した数が最も多いモデルを最良
のモデルとする

12
作成したモデルと学習・検証データについて
学習データ検証データ
モデル名正例負例正例負例
交換モデル俳句データ交換データ俳句データ交換データ
散文モデル俳句データ散文データ俳句データ散文データ
ランダムモデル俳句データランダムデータ俳句データランダムデータ
混合モデル① 俳句データ交換データ
（133,334）
散文データ
（133,333）
ランダムデータ
（133,333）
俳句データ交換データ
（13,334）
散文データ
（13,333）
（13,333）
混合モデル② 俳句データ交換データ
散文データ
（各データ
400,000）
俳句データ交換データ
散文データ
（各データ
40,000）
(各モデル
400,000)
(各モデル
40,000)

13
ハイパーパラメータ設定
事前学習ファインチューニング
モデル名 RoBERTa RoBERTa
学習データ青空文庫正例＋負例
作品数 12,978 混合モデル②：1600,000
それ以外：800,000
エポック数 20 50
バッチサイズ 4 512
ドロップアウト率 0.1 交換モデル：0.1
それ以外：0.3
事前学習・ファインチューニングの実験設定
• 青空文庫で事前学習
• 人工的に作成したデータセットでファインチューニング

14
実験結果混同行列(1/2)
交換モデル（早期停止なし）
散文モデル（早期停止なし）ランダムモデル（早期停止あり）
• 混同行列の算出には，
検証データにも用いた
俳句データ，交換データ，
散文データ，
ランダムデータをそれぞれ
4万句含むデータを使用
• 評価値が0.5以上であれば
正例（俳句として成立する
文字列）0.5未満であれば負例
（俳句として成立しない
文字列）と判定
正例負例
正例俳句 23,766 16,234
負例交換 7,233 32,767
散文 10,924 29,076
ランダム 224 39,776
負例合計 18,381 101,619
正例負例
正例俳句 38,433 1,567
負例交換 38,453 1,547
散文 957 39,043
ランダム 19,667 20,333
負例合計 59,077 60,923
正例負例
正例俳句 39,835 165
負例交換 39,425 475
散文 37,531 2,469
ランダム 76 39,924
負例合計 77,032 42,868
• 交換モデルはどの負例に対しても半分以上判定できている．
• 俳句データと交換データの識別はモデルにとって難しいタスクであると考えられる

15
実験結果混同行列(2/2)
混合モデル②（早期停止なし）
• 混合モデル②がどの負例に対しても正しく
負例と判定できた数が多い
 混合モデル②は俳句評価器として実用可能
であるかを検討する
混合モデル①（早期停止なし）
正例負例
正例俳句 35,267 4,733
負例交換 25,089 14,911
散文 1,018 38,982
ランダム 52 39,948
負例合計 26,159 93,841
正例負例
正例俳句 31,004 8,996
負例交換 14,079 25,921
散文 621 39,379
ランダム 10 39,990
負例合計 14,710 105,290

16
俳句評価器の実用性
• 評価指標にPrecision@kを使用
Precision@k =（評価値上位k番目までの正例の数）/ k
• 混同行列の算出に用いたデータを使用
k 交換
（早期停止
なし）
散文
（早期停止
なし）
ランダム
（早期停止
あり）
混合①
（早期停止
なし）
混合②
（早期停止
なし）
500 0.376 0.494 0.404 0.840 0.874
5000 0.594 0.469 0.421 0.786 0.865
50000 0.534 0.445 0.403 0.618 0.656
• 混合モデル②（早期停止なし）は負例を多く学習させているため，
負例のフィルタリングができている
• 混合モデル②の汎化性能が高い

17
評価値上位500句以内の負例の例
• 混合モデル②（早期停止なし）による評価
俳句評価値データセット
蝉の声きゝそめてより山路かな 0.99641 交換
月見草の人を尋ねる心哉 0.99626 交換
秋晴の城を見上げてなつてゐし 0.99605 交換
汐先を指して馬車ゆく遅日かな 0.99521 交換
遠くより呼ばれて蓮の無言かな 0.99448 交換
寒き世や行燈にさす針の音 0.99325 散文
雁落ちてあそこの森は暮れにけり 0.99128 散文
夕闇や螢過ぎゆく鼻の先 0.98964 散文
春雨や寝返りもせぬ膝の猫 0.98956 散文
表中の文字列以外において，日本語として不自然な文字列は500句中4句に絞る
ことができた
• 表中の4つの散文データは作成元のコーパスに含まれている俳句であり，
他の散文データに関しても俳句として成立すると言える

18
実験1-2
• 実験目的
– 俳句生成器が生成した俳句に対する俳句評価器
の性能評価
• 実験方法
– 俳句生成器が生成した句をランダムに100句取得
– 意味が通る俳句を正例，意味が通らない俳句を
負例としてPrecision@kにより評価

19
俳句生成器が生成した俳句に対する評価
• 取得した100句に対して意味が通る俳句を正例，
意味が通らない俳句を負例としてアノテーション
を行った
• Precision@kを算出
k precision@k
10 0.600
20 0.550
30 0.433
40 0.400
50 0.460
60 0.433
70 0.414
80 0.425
90 0.411
100 0.410
意味が通るかどうか
正例：41句
負例：59句
• 100句の中からランダムに選択すると
意味が通る俳句は41%だが，評価値上位
10句を選ぶことで60%に向上
⇒俳句評価器を使うことで人間の負担
を減らすことが可能

20
実験1のまとめ
• 俳句として成立しない句の検出を目的とした
俳句評価器の有用性を検証
• 負例を多く学習したモデルの汎用性が
最も高いことを確認
• 俳句生成器が生成した俳句に対しても
俳句評価器としての実用性を示した

21
実験2
• 実験目的
– 俳人による評価と俳句評価器による評価の
一致度合いを確認
– ※本研究の目的である
「俳句として成立しない句の検出」
とは異なる使用方法であることに注意
• 実験方法
– 作成したモデルに俳人に評価を付けてもらった
ものと同じ俳句データを入力し，俳句に対して
評価値を算出
– 評価指標にAUCを用いて各モデルで結果を比較

22
俳人による評価付きデータ
• 俳句イベントを利用して，俳句生成器が生成した
俳句に対する俳人の評価データを収集した
– 参加者1人につき異なる俳句を300句配布
• ☆特選1句（イベントのテーマ「恋」にまつわる句）
• 特選5句（テーマに関係なく特に良いと感じた句）
• 並選30～60句（テーマに関係なく良いと感じた句）
を選句
• 配布した300句の選定方法
– 2019年のイベント
• LSTMを用いた俳句生成器が生成した俳句を利用
• 人間が作成した俳句を正例，正例に含まれる任意の単語を
交換した文字列を負例として学習した俳句評価器で評価値が
上位の俳句
– 2021年のイベント
• GPT-2を用いた俳句生成器が生成したGPT-2 対数尤度の
上位5000番目までの俳句を取得し，その中から意味が通らない
俳句を主観で除外

23
俳人による評価付きデータ
• 選句した人数
– 2019年：26人
– 2021年：24人
俳句例
☆特選香水を深めて嘘をつきはじむ
特選初恋の人をかくして牡丹雪
並選配達の二人来てゐる障子かな
選なし初恋をくりかへしゆく紙帳かな
2019年 2021年
☆特選 26 24
特選 130 120
並選 592 1,069
選なし 7,052 5,987
計 7,800 7,200
取得したデータ数グレードとその俳句例

24
AUCによる性能評価
• 俳句イベントのデータを使って俳人による
評価と評価器による評価の一致度合いを確認
1. 並選，特選，☆特選以上の評価を持つ俳句を
それぞれ正例とする
2. 俳句に対して評価器が算出した正例に対する
予測確率が大きい順に俳句を並べ替える
3. AUC を算出
• 値が1に近い評価器ほど、選者の評価に近い
• 値が0.5に近い評価器はランダムな分類器と同程度

25
結果
• 選無しの句には意味が通らないと
判定された句が多い
• 交換モデルのAUCが最も高く，
選者の評価に一番近い
• 混合モデル②の値が0.5に近い
– 俳句として成立する候補は獲得できた
が，その中から俳人に選ばれる句を
検出する機能は獲得できていない
モデル早期停止
AUC 算出における正例の対象（2019） AUC 算出における正例の対象（2021）
並選以上特選以上 ☆特選以上並選以上特選以上 ☆特選以上
交換 0.600 0.630 0.517 0.543 0.570 0.567
交換〇 0.598 0.598 0.500 0.551 0.552 0.477
散文 0.498 0.487 0.515 0.498 0.488 0.412
散文〇 0.491 0.507 0.560 0.472 0.488 0.469
ランダム 0.500 0.500 0.500 0.500 0.500 0.500
ランダム〇 0.501 0.501 0.485 0.502 0.502 0.505
混合① 0.587 0.595 0.594 0.519 0.515 0.428
混合① ○ 0.540 0.512 0.503 0.513 0.506 0.466
混合② 0.596 0.582 0.554 0.544 0.561 0.509
混合② ○ 0.555 0.547 0.510 0.518 0.512 0.474
意味が通る意味が通ら
ない
選あり 31 19
選無し 10 40

26
まとめ
• 俳句として成立する候補を獲得するために，
俳句として成立しない句を検出する俳句評価器
を構築した
• 作成したモデルが意味が通らない文字列を検出
できていることが確認でき，俳句評価器として
の実用性を示した
• 質が低い俳句を取り除くことを目的とした
俳句評価器では俳人による評価との一致は
あまり見られなかった
– 俳人に選ばれる句を選ぶ機能は選句にかかる負担を減
らすための今後の課題

27
研究実績
発表予定国内学会発表予定（2件）
• 〇花野愛里咲, 横山想一郎, 山下倫央, 川村秀憲,マスク化言語
モデル RoBERTa を用いた俳句の評価, 情報処理学会第84回全国
大会, 2022.
• 〇花野愛里咲, 横山想一郎, 山下倫央, 川村秀憲, RoBERTaを用
いた俳句評価器の構築と性能評価, 社会システムと情報技術研究
ウィーク (WSSIT2022), 2022.

言語モデルを用いた俳句評価器の構築と性能評価に関する研究

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a 言語モデルを用いた俳句評価器の構築と性能評価に関する研究

Similar a 言語モデルを用いた俳句評価器の構築と性能評価に関する研究 (20)

Más de harmonylab

Más de harmonylab (20)

言語モデルを用いた俳句評価器の構築と性能評価に関する研究