SlideShare una empresa de Scribd logo
1 de 12
Descargar para leer sin conexión
About this paper Introduction Propose Verication Implementation QA




      .

           「正規化制約を用いた CCG 構文解析とその実
                                                                                              .


      .
                   装」について
      ..                                                                                  .




                                                                                              .
                                              松本 宏



                                        2013 年 2 月 20 日




                                                                   .    .     .   .   .           .

                                          松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     About this paper


          .
          正規化制約を用いた CCG 構文解析とその実装                                                                 .
        ..
                著者: 尾崎 博子, 戸次大介 (お茶大)
          .     出典: 言語処理学会第 19 回年次大会
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     Introduction

          .
          形式文法                                                                                    .
        ..
          文字群上の文字列の集合を数学的に詳述する規則の集まり
                生成文法:
                言語の文字列を生成することができる規則
                分析的文法:
          .     文字列が言語の文法に含まれるか判断するための規則
          ..                                                                                  .




                                                                                                  .
          .
          よく使われる形式文法として:                                                                          .
        ..

          .     文脈自由文法 (CFG): Context Free Grammar
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     About CCG

          .
          組み合わせ範疇文法 CCG [Steedman 2000]                                                               .
        ..
          Combinatory Categorial Grammar: CCG
                辞書:
                       記号列, 統語範疇, 意味表示
                         統語範疇: loves: SNP/NP
                                            : (後ろに NP, 前に NP をとって
                             Sentence
                                  を成すことをあらわす)
                             意味表示: |λ . | x x M MN pred x
                                          |   ( 1, · · · , n)              x
                規則:
                       関数合成規則
          .            型繰り上げ規則
          ..                                                                                      .




                                                                                                      .
                                                                       .        .     .   .   .           .

                                              松本 宏        「正規化制約を用いた           CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     規則




          .
          関数合成規則                                                                                  .
        ..
          X/Y Y/Z = X/Z
          .
          ..                                                                                  .




                                                                                                  .
          .
          型繰り上げ規則                                                                                 .
        ..
          本来の統語範疇を変数 T を含む別の統語範疇の形にできる
          .
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     関数合成規則において:



          .
          利点                                                                                      .
        ..
          関数合成規則によって Extraction が移動なしで可能である
          (Extraction:
          .     名詞句、wh-句の前方移動を表す)
          ..                                                                                  .




                                                                                                  .
          .
          問題点                                                                                     .
        ..
          解析結果で1つの意味に対して複数の異なる結果が指数的に出力
          される。
          .
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     正規化解析



          .
          正規化解析                                                                                   .
        ..
          全て計算するのは処理効率に問題があるので、正規化制約を決め
          て正規形 (1つの意味に対しての唯一の解析結果) を見つける。
          正規化解析の関連研究:[Eisner 1996] において完全性、安全性を
          検証
          しかし、型繰り上げ規則の適用は辞書内に限定
          [Hockernmaier 2010] では一般合成規則と型繰り上げ規則について
          も対処された。
          .
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     提案
          今回
            型繰り上げ規則の設定をしない
            固有名詞等は繰り上げられた型を持つものとする
          これは、型繰り上げ規則の採用には以下のような問題があるから
          である。
          .
          型繰り上げ規則をつかわなかった理由                                                                       .
        ..
              ...
               1    同一の構成素に対して繰り返し適用可能な規則のため、ナ
                    イーブな実装では構文解析が停止しない。
              ...
               2    型変数を使用するためトップダウンの解析が難しい。
              ...
               3    Extraction
                         のような言語現象では型繰り上げ規則があると問
                    題が発生する



          .
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     提案
          今回
            型繰り上げ規則の設定をしない
            固有名詞等は繰り上げられた型を持つものとする
          これは、型繰り上げ規則の採用には以下のような問題があるから
          である。
          .
          型繰り上げ規則をつかわなかった理由                                                                       .
        ..
              ...
               1    同一の構成素に対して繰り返し適用可能な規則のため、ナ
                    イーブな実装では構文解析が停止しない。
              ...
               2    型変数を使用するためトップダウンの解析が難しい。
              ...
               3    Extraction
                         のような言語現象では型繰り上げ規則があると問
                    題が発生する
          正規形を決定することができない問題がある
          [Hockernmaier 2010] の制約を意味表示に言及する形式の制約に
          変更
          .
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     検証



          上述の制約によって唯一の導出となるかの検証
          .
          安全性                                                                                     .
        ..
          全ての構文木 α について、 α と意味的に同値な正規形構文木
          NF(α) が存在する
          .
          ..                                                                                  .




                                                                                                  .
          .
          完全性                                                                                     .
        ..
          葉が同じである正規形構文木 α ̸= α ` が与えられたとき、α と α
          `
          .は意味的には同値ではない
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     実装


          .
          実行例                                                                                     .
        ..
            1:     ?-test(John sees vincent, C,R,S).
            2:       |~r_mp         ~|
            3:       | C1:lex_       |
            4:    R: |    |-l_mp -| |
            5:       | C2:| C1:lex_| |
            6:       |_ | C1:lex_|_|
            7:    C: s
            8:    S: lambda e.(see(e,j,v))
            9:    Enter ';' for more choices, otherwise press ENTER -- ;
          10:
          .       no
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について
About this paper Introduction Propose Verication Implementation QA


.
     質疑


          .
          型繰り上げ規則のない CGC とすると機能として半減するのでは?.
        ..
          固有名詞については辞書の定義で型繰り上げされた形として構文
          解析の途中でつかわないということ
          .
          ..                                                                                  .




                                                                                                  .
          .
          ある名詞が固有名詞と一般名詞として存在する場合はどうなる                                                            .
          のか?
        ..
          現段階では固有名詞しか設定されていないが、辞書の定義として
          は複数の定義が可能 なので 可能なのではないか?解析結果が
          爆発することはないのか?
          .
          ..                                                                                  .




                                                                                                  .
                                                                       .    .     .   .   .           .

                                              松本 宏        「正規化制約を用いた       CCG   構文解析とその実装」について

Más contenido relacionado

Más de Hiroshi Matsumoto

Paraphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine TranslationParaphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine TranslationHiroshi Matsumoto
 
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...Hiroshi Matsumoto
 
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...Hiroshi Matsumoto
 
Improving translation via targeted paraphrasing
Improving translation via targeted paraphrasingImproving translation via targeted paraphrasing
Improving translation via targeted paraphrasingHiroshi Matsumoto
 
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine TranslationSummary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine TranslationHiroshi Matsumoto
 
Summary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine TranslationSummary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine TranslationHiroshi Matsumoto
 
Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...Hiroshi Matsumoto
 
10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmt10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmtHiroshi Matsumoto
 
Summary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MTSummary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MTHiroshi Matsumoto
 
A statistical approach to machine translation
A statistical approach to machine translationA statistical approach to machine translation
A statistical approach to machine translationHiroshi Matsumoto
 
Approach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu KunoApproach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu KunoHiroshi Matsumoto
 

Más de Hiroshi Matsumoto (18)

Paraphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine TranslationParaphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine Translation
 
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
 
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
 
Improving translation via targeted paraphrasing
Improving translation via targeted paraphrasingImproving translation via targeted paraphrasing
Improving translation via targeted paraphrasing
 
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine TranslationSummary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine Translation
 
Summary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine TranslationSummary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine Translation
 
Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...
 
Modeling Irony in Twitter
Modeling Irony in TwitterModeling Irony in Twitter
Modeling Irony in Twitter
 
Factored translationmodel
Factored translationmodelFactored translationmodel
Factored translationmodel
 
10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmt10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmt
 
8. relearnt rbmt
8. relearnt rbmt8. relearnt rbmt
8. relearnt rbmt
 
7. ebmt based on st sm
7. ebmt based on st sm7. ebmt based on st sm
7. ebmt based on st sm
 
Summary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MTSummary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MT
 
5. bleu
5. bleu5. bleu
5. bleu
 
A statistical approach to machine translation
A statistical approach to machine translationA statistical approach to machine translation
A statistical approach to machine translation
 
Mt framework nagao_makoto
Mt framework nagao_makotoMt framework nagao_makoto
Mt framework nagao_makoto
 
Approach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu KunoApproach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu Kuno
 
Machine translation
Machine translationMachine translation
Machine translation
 

9. cgc parser with_norml_std

  • 1. About this paper Introduction Propose Verication Implementation QA . 「正規化制約を用いた CCG 構文解析とその実 . . 装」について .. . . 松本 宏 2013 年 2 月 20 日 . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 2. About this paper Introduction Propose Verication Implementation QA . About this paper . 正規化制約を用いた CCG 構文解析とその実装 . .. 著者: 尾崎 博子, 戸次大介 (お茶大) . 出典: 言語処理学会第 19 回年次大会 .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 3. About this paper Introduction Propose Verication Implementation QA . Introduction . 形式文法 . .. 文字群上の文字列の集合を数学的に詳述する規則の集まり 生成文法: 言語の文字列を生成することができる規則 分析的文法: . 文字列が言語の文法に含まれるか判断するための規則 .. . . . よく使われる形式文法として: . .. . 文脈自由文法 (CFG): Context Free Grammar .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 4. About this paper Introduction Propose Verication Implementation QA . About CCG . 組み合わせ範疇文法 CCG [Steedman 2000] . .. Combinatory Categorial Grammar: CCG 辞書: 記号列, 統語範疇, 意味表示 統語範疇: loves: SNP/NP : (後ろに NP, 前に NP をとって Sentence を成すことをあらわす) 意味表示: |λ . | x x M MN pred x | ( 1, · · · , n) x 規則: 関数合成規則 . 型繰り上げ規則 .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 5. About this paper Introduction Propose Verication Implementation QA . 規則 . 関数合成規則 . .. X/Y Y/Z = X/Z . .. . . . 型繰り上げ規則 . .. 本来の統語範疇を変数 T を含む別の統語範疇の形にできる . .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 6. About this paper Introduction Propose Verication Implementation QA . 関数合成規則において: . 利点 . .. 関数合成規則によって Extraction が移動なしで可能である (Extraction: . 名詞句、wh-句の前方移動を表す) .. . . . 問題点 . .. 解析結果で1つの意味に対して複数の異なる結果が指数的に出力 される。 . .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 7. About this paper Introduction Propose Verication Implementation QA . 正規化解析 . 正規化解析 . .. 全て計算するのは処理効率に問題があるので、正規化制約を決め て正規形 (1つの意味に対しての唯一の解析結果) を見つける。 正規化解析の関連研究:[Eisner 1996] において完全性、安全性を 検証 しかし、型繰り上げ規則の適用は辞書内に限定 [Hockernmaier 2010] では一般合成規則と型繰り上げ規則について も対処された。 . .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 8. About this paper Introduction Propose Verication Implementation QA . 提案 今回 型繰り上げ規則の設定をしない 固有名詞等は繰り上げられた型を持つものとする これは、型繰り上げ規則の採用には以下のような問題があるから である。 . 型繰り上げ規則をつかわなかった理由 . .. ... 1 同一の構成素に対して繰り返し適用可能な規則のため、ナ イーブな実装では構文解析が停止しない。 ... 2 型変数を使用するためトップダウンの解析が難しい。 ... 3 Extraction のような言語現象では型繰り上げ規則があると問 題が発生する . .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 9. About this paper Introduction Propose Verication Implementation QA . 提案 今回 型繰り上げ規則の設定をしない 固有名詞等は繰り上げられた型を持つものとする これは、型繰り上げ規則の採用には以下のような問題があるから である。 . 型繰り上げ規則をつかわなかった理由 . .. ... 1 同一の構成素に対して繰り返し適用可能な規則のため、ナ イーブな実装では構文解析が停止しない。 ... 2 型変数を使用するためトップダウンの解析が難しい。 ... 3 Extraction のような言語現象では型繰り上げ規則があると問 題が発生する 正規形を決定することができない問題がある [Hockernmaier 2010] の制約を意味表示に言及する形式の制約に 変更 . .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 10. About this paper Introduction Propose Verication Implementation QA . 検証 上述の制約によって唯一の導出となるかの検証 . 安全性 . .. 全ての構文木 α について、 α と意味的に同値な正規形構文木 NF(α) が存在する . .. . . . 完全性 . .. 葉が同じである正規形構文木 α ̸= α ` が与えられたとき、α と α ` .は意味的には同値ではない .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 11. About this paper Introduction Propose Verication Implementation QA . 実装 . 実行例 . .. 1: ?-test(John sees vincent, C,R,S). 2: |~r_mp ~| 3: | C1:lex_ | 4: R: | |-l_mp -| | 5: | C2:| C1:lex_| | 6: |_ | C1:lex_|_| 7: C: s 8: S: lambda e.(see(e,j,v)) 9: Enter ';' for more choices, otherwise press ENTER -- ; 10: . no .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について
  • 12. About this paper Introduction Propose Verication Implementation QA . 質疑 . 型繰り上げ規則のない CGC とすると機能として半減するのでは?. .. 固有名詞については辞書の定義で型繰り上げされた形として構文 解析の途中でつかわないということ . .. . . . ある名詞が固有名詞と一般名詞として存在する場合はどうなる . のか? .. 現段階では固有名詞しか設定されていないが、辞書の定義として は複数の定義が可能 なので 可能なのではないか?解析結果が 爆発することはないのか? . .. . . . . . . . . 松本 宏 「正規化制約を用いた CCG 構文解析とその実装」について