2021/12/17 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Improving Coherence and Consistency in Neural
Sequence Models with Dual-System, Neuro-Symbolic
Reasoning.(NIPS2021)”
Okimura Itsuki, Matsuo Lab, B4

2. アジェンダ
1. 書誌情報
2. 概要
3. 問題意識
4. ⼆重過程理論
5. 提案⼿法
6. 実験
7. 議論
2

3. １ 書誌情報
タイトル： Improving Coherence and Consistency in Neural Sequence
Models with Dual-System, Neuro-Symbolic Reasoning
出典： NIPS2021
https://nips.cc/Conferences/2021/ScheduleMultitrack?event=25970
著者： Maxwell Nye, Michael Henry Tessler, Joshua B. Tenenbaumなど
(MIT, Facebook AI)
選んだ理由：パラメータを増やすという⽅向ではなく、既存のシステムの
組み合わせで推論能⼒の向上を⽬指すというのが良かった。
3

4. 2 概要
• 近年のニューラル⾔語モデルの発展にも関わらず，
⾔語モデルは⼀貫した発話の⽣成にしばしば失敗する。
• そこで，認知科学の⼆重過程理論をもとにニューラルアプローチと
記号的アプローチのそれぞれの⻑所を組み合わせることで，
より効果的にドメイン知識を取り込むことができる⼆重過程モデルを提案
• ⾔語⽣成においては、ニューラル⽣成に最⼩限の世界モデルを
組み合わせることで，⽣成する⾔語の⼀貫性と整合性が向上することを⽰
す。
4

5. 3 問題意識
5
近年のニューラル⾔語モデルの発展にも関わらず，
⾔語モデルは⼀貫した発話の⽣成にしばしば失敗する。
特に，GPT-3のようなモデルは⼈間と同じような直観的で⾮体系的な
パターン認識エラーに陥る。
⼆重過程理論からヒントを得て，神経回路モデルと既存の知識との
インターフェースを改善し，⼀貫性を向上させる

6. 4 ⼆重過程理論
⼆重過程理論(Dual Process Theory)
6
推論の基礎には直感的なシステム1と熟考的なシステム2という
2つの異なる認知システムがあるという理論
システム１
直感的
連想的
速い
バイアスも含む
システム２
熟考的
論理的
遅い
規範的な反応

7. 4 ⼆重過程理論
システム１とシステム2
7
以下のような問題について考える。2秒で回答を考えてください。
Q. ボールとバットは合わせて1.1ドルで
す。
バットはボールより1ドル高いです。
さて，ボールはいくらでしょう？
A. 0.1ドル(10セント)
A. 0.05ドル(5セント)

8. 4 ⼆重過程理論
システム１とシステム2の働き
8
時間に追われたりした状況であると，⼈間においてもシステム１が
論理的に整合していない回答を導くこともある。
システム2の努⼒が、システム1から⽣じるデフォルトの反応を無効にしたり、
抑制したりして、⼀貫性のない、系統性のない直感的な衝動を修正する。

9. 4 ⼆重過程理論
⾔語モデルの直感的なミス
9
GPT-3のような⾔語モデルにおいても⼈間にとってシステム1が犯すような
直感的なミスに陥る
本論⽂では⾔語モデルの出⼒に対し、⼈間におけるシステム2のような
フィルタリングを組み込むことで⼀貫性と健全性の向上を⽬指す。

10. 5 提案⼿法
ニューラルモデルと記号論理モデルを組み合わせた⼆重過程モデル
10
以降のページでは実験に⽤いた質問応答の形式で
⾃然⾔語理解の基礎的な能⼒のテストに⽤いられる
bABI[J Weston, 2015]を題材に説明する。 bABIの例
出典：https://arxiv.org/pdf/1502.05698.pdf
テキスト⽣成タスクを
システム1のような役割を期待するニューラルモデルと
システム2のような役割を期待する記号論理モデルの組み合わせで
解くことで⼀貫性の向上を⽬指す。

11. 5 提案⼿法
1. テキスト⽣成モデルでその次に続く⽂章の候補をサンプリングする。
11
Daniel went to the garden.
Mary traveled to the office.
Daniel grabbed the apple.
Mary dropped the apple there.
Daniel went back to the garden.
Daniel went to the patio.
…
システム１
それまでの文章
候補生成
(ex.GPT-3)
次の文の候補

12. 5 提案⼿法
2. GPT-3をfew-shotで学習した構⽂解析を⾏い，事実の抽出を⾏う。
12
Daniel went to the garden.
Mary traveled to the office.
Daniel grabbed the apple.
Mary dropped the apple there.
Daniel went back to the garden.
Daniel went to the patio.
…
システム１
Daniel.location = garden
apple.holder = Daniel
Mary.location = office
drop(Mary, apple)
go(Daniel, garden)
go(Daniel, patio)
…
次の文の候補
最小世界モデル
(minimal world model)
それまでの文章
システム2
構文解析
(GPT-3)
構文解析
(GPT-3)
候補生成
(ex.GPT-3)

13. 5 提案⼿法
3. タスクのために設計した最⼩世界モデルで整合性を確認する。
13
Daniel went to the garden.
Mary traveled to the office.
Daniel grabbed the apple.
Mary dropped the apple there.
Daniel went back to the garden.
Daniel went to the patio.
…
システム１
Daniel.location = garden
apple.holder = Daniel
Mary.location = office
drop(Mary, apple) ❌
go(Daniel, garden) ❌
go(Daniel, patio) ⭕
…
次の文の候補
最小世界モデル
(minimal world model)
それまでの文章
システム2
構文解析
(GPT-3)
構文解析
(GPT-3)
整合性確認
(Symbolic)
候補生成
(ex.GPT-3)

14. 5 提案⼿法
4. 整合性の確認できたものを出⼒とする。
14
Daniel went to the garden.
Mary traveled to the office.
Daniel grabbed the apple.
Mary dropped the apple there.
Daniel went back to the garden.
Daniel went to the patio.
…
候補生成
(ex.GPT-3)
Daniel.location = garden
apple.holder = Daniel
Mary.location = office
drop(Mary, apple) ❌
go(Daniel, garden) ❌
go(Daniel, patio) ⭕
…
次の文の候補
最小世界モデル
(minimal world model)
それまでの文章
システム2
構文解析
(GPT-3)
構文解析
(GPT-3)
整合性確認
(Symbolic)
Daniel went to the patio.
システム１

15. 6 実験
bABIを⽤いて質問応答タスクと物語⽣成タスクの両⽅について性能を調査
15
タスク
質問応答：最後の質問を解析して与える解答の正解率を計測
物語⽣成：整合性を保つために拒否される⽂の割合を計測
詳細
候補⽣成にはGPT-3をFew-shotで学習したものを使⽤
最⼩世界モデルは，単純なPythonコードで実装され，以下のことを⾏う。
1. これまで述べてきた⼈，物，場所を追跡する
2. それまでの⾏動の結果としての世界の状態変化を修正する。
3. 候補となる⾏動が，1と2で定義される現在の世界状態に違反しているかどうかをチェックする。
⽐較対象
⽣成モデルのみ
⽣成モデル+RoBERTaNLIスコアリング(解答候補10個のうちもっとも含意の確率が⾼いものを選択)
⽣成モデル+システム2モデル(最⼩世界モデル)

16. 6 実験
構⽂解析を⽤いることで、質問応答性能、論理的な⽣成能⼒を向上
16
質問応答
最⼩世界モデルは⽣成モデルのみ，または
NLIスコアリングを⼤きく上回る100%の
品質管理精度を達成する
物語⽣成
⽣成された50のストーリーにおいて，
すべてのストーリーは少なくとも1⽂は⼀貫性を保
つために再サンプリングされ，
⽣成された⽂の53.1%が論理的整合性を保つために
システム2モデルによって拒否

17. 6 実験
CLUTRR[Sinha, 2019]を⽤いて物語⽣成タスクについて性能を調査
17
データセット
CLUTRR：⼈間が記述した家族関係を持つストーリーの
質問課題
この課題を物語⽣成タスクとして解く
タスク
物語⽣成：
1.⽣成したストーリーの整合性確認を通過できた割合
2.続けて⽣成したストーリーが⼀貫しているかを⼈⼿判断
システム2モデルの整合性確認によって最初に拒否された⽂
その後整合性確認を突破した⽂を⽐較

18. 6 実験
CLUTRR[Sinha, 2019]を⽤いて物語⽣成タスクについて性能を調査
18
詳細
候補作成において以下のものを使⽤
- CLUTRRの汎化性能評価⽤のテストデータに含まれるテキスト(from dataset)
- CLUTRR学習コーパスでfine-tuningしたBARTによって⽣成されたテキスト(from model)
最⼩世界モデルは，Z3ソルバ[De Moura & Bjørner, 2008]を⽤いて，
論理関係および制約のセットとして実装。
⽐較対象
整合性確認
⽣成モデルのみ
⽣成モデル+システム2モデル(最⼩世界モデル)
⼈⼿評価
⽣成モデル+システム2モデル(最⼩世界モデル)
⽣成モデル+システム2モデル(NLIモデル)

19. 6 実験
システム2モデルによれば，しばしば⽣成モデルは整合性がない
19
システム2モデルによる整合性確認
モデルから⽣成した(from model)条件下では，36.4%のストーリー*と71.9%の⽂しか
整合性確認を突破することができない。
しかし，93.5%のストーリーと96.3%の⽂が10サンプル以内に整合性確認を突破。
*1ストーリーは4行でサンプリング

20. 6 実験
システム2モデルに最⼩世界モデルを⽤いた場合、論理的⼀貫性も向上
20
システム2モデルで修正した⽂の論理的⼀貫性の⼈⼿評価
システム2に最⼩世界モデルを⽤いた場合，
77%(from dataset)と79%(from model)の場合で
意味のある⽂としてシステム2に修正された⽂を選択。
⼀⽅，システム2にNLIモデルを⽤いた場合，
51%(from dataset)と58%(from model)の場合でしか
⽣成品質を改善したと評価されず。

21. 7 議論
システム2としての最⼩世界モデルの利⽤は拡張性に問題がある
21
有⽤性
本⼿法は少数の論理的制約を明⽰的に設定できる領域では有⽤である。
その⼀⽅で、制約が明⽰的に困難な場合や制約が多い場合，
最⼩世界モデルを⼿作業で設計する必要があるため，そこまでの有⽤性は認められない。
展望
現在の最⼩世界モデルは簡単に修正できるが，⼿作業で変更を⾏う必要がある。
ニューロシンボル学習技術やのニューロシンボル統合作業の要素を取り⼊れ，
構造化された知識を⾃動的に学習し更新することで改善の⾒込みがある。

22. 感想
22
モデルのパラメーターを増やさずに、ニューラルモデルと論理システムを組み合わせて
モデルの推論能⼒をあげるというのが共感できる。
⾃然⾔語推論を⽤いたフィルタリングが⼈⼿評価であまり効果的と判断されなかったのも興味深い。
ある程度のサンプリング回数までに候補⽣成に整合性のあるものが上がってくることが
前提になっている。結果としてFoundation modelには依存してしまう印象がある。

23. まとめ
23
• 近年のニューラル⾔語モデルの発展にも関わらず，
⾔語モデルは⼀貫した発話の⽣成にしばしば失敗する。
• そこで，認知科学の⼆重過程理論をもとにニューラルアプローチと
記号的アプローチのそれぞれの⻑所を組み合わせることで，
より効果的にドメイン知識を取り込むことができる⼆重過程モデルを提案
• ⾔語⽣成においては、ニューラル⽣成に最⼩限の世界モデルを
組み合わせることで，⽣成する⾔語の⼀貫性と整合性が向上することを⽰
す。

24. DEEP LEARNING JP
[DL Papers]
“Implicit Representations of Meaning in Neural Language
Models (ACL2021)”
Okimura Itsuki, Matsuo Lab, B4
http://deeplearning.jp/