DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
論文紹介
DeBERTaV3: Improving DeBERTa using
ELECTRA-Style Pre-Training with Gradient-
Disentangled Embedding Sharing
北海道大学大学院情報科学院情報理工学部門
複合情報工学分野調和系工学研究室
博士後期課程 3年吉田拓海

1
論文情報
タイトル
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training
with Gradient-Disentangled Embedding Sharing
著者
発表
arxiv https://arxiv.org/abs/2111.09543
実装
https://github.com/microsoft/DeBERTa
https://huggingface.co/microsoft/deberta-v3-large
概要
DeBERTaとELECTRAを組合わせたDeBERTa V3を提案
NLPコンペなどでよく使用されるモデル

2
概要 1/2
DeBERTa V3: DeBERTa + ELECTRA (GDES)
DeBERTa (Disentangled attention)
ELECTRA (GDES: Gradient-Disentangled Embedding Sharing)
𝑷 : relative position embedding vectors (全層で共有)
𝛿(𝑖, 𝑗) : relative distance from token 𝑖 to token 𝑗
𝑘 : maximum relative distance
DeBERTa: 既存手法
ELECTRA: 既存手法
GDES: 提案手法
Generator
𝐸𝐺 𝜃𝐺
the
chef
cooked
the
meal
[MASK]
chef
[MASK]
the
meal
𝑝𝐺(𝑥0)
chef
𝑝𝐺(𝑥2)
the
meal
the
ate
original
original
original
original
replaced
Discriminator
sampling
𝜃𝐷
𝐿𝑀𝐿𝑀 𝜆𝐿𝑅𝑇𝐷
𝐸𝐺 𝐸Δ
backward
backward
1. MLM 2. RTD

3
概要 2/2
DeBERTa V3は高性能

4
目次
Intro
Background
DeBERTa
Disentangled attention
Enhanced mask decoder
ELECTRA
Replaced token detection
DeBERTa V3（提案手法）
Gradient-Disentangled Embedding Sharing
Embeddingの共有方法の比較
Experiment
Large Model
Base and Small Models
Multilingual Model
Conclusions

5
目次
Intro
Background
DeBERTa
ELECTRA
Experiment
Large Model
Multilingual Model
Conclusions

6
Pre-trained language models (PLM)
近年，PLMの進歩により多くのNLPタスクでSOTA
BERT [Devlin+ 2019]
スケールアップはPLMの性能を向上させる有効な方法
エネルギー効率の良いアプローチの探索が重要
少ないパラメータで高い性能をもつPLMを構築
[Devlin+ 2019] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of
deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of
the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, 2019.
図は論文
[Devlin+ 2019]
から引用

Pre-trained language models の効率向上
RoBERTa[Liu+ 2019]
BERTの再検討（batch sizeを大きく，学習データを増やす，など）
DeBERTa[He+ 2020]
Disentangled attention（contentとposition）
SuperGLUEで初めて人間の性能を上回る（2020年12月19日）
ELECTRA[Clark+ 2020]
Replaced Token Detection （類似したtokenに置換→置換の検出）
本論文ではDeBERTaの事前学習の効率向上
MLM を RTD(ELECTRA) に変更
RTDにおけるGeneratorとDiscriminatorのEmbedding共有手法の提案
[Liu+ 2019] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike
Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach.
arXiv preprint arXiv:1907.11692, 2019.
[He+ 2020] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced
bert with disentangled attention. In International Conference on Learning Representations, 2020.
[Clark+ 2020] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-
training text encoders as discriminators rather than generators. In ICLR, 2020.

8
目次
Intro
Background
DeBERTa
ELECTRA
Experiment
Large Model
Multilingual Model
Conclusions

9
Background: DeBERTa[He+ 2020] 1/3
各入力単語を２つの別々のベクトル（content, position）で表現
BERTの場合は和をとる
Word Embedding = content embedding + position embedding
単語ペアの注目度𝐴𝑖,𝑗はcontentとpositionから次のように計算
content-content
content-position
position-content
position-position
𝑯𝑖 : 位置𝑖のcontentを表すベクトル
𝑷𝑖|𝑗 : 位置𝑖と𝑗の相対的位置を表すベクトル
[He+ 2020] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced
bert with disentangled attention. In International Conference on Learning Representations, 2020.
図(式)は
論文[He+ 2020]
から引用

10
Standard self-attention
Disentangled self-attention
※position-to-position項は追加情報を持たないため無し
𝑷 : relative position embedding vectors (全層で共有)
𝛿(𝑖, 𝑗) : relative distance from token 𝑖 to token 𝑗
𝑘 : maximum relative distance
𝑯 : input hidden vectors
𝑯𝒐 : output hidden vectors
𝑁 : length of the input sequence
𝑑 : dimension of hidden states
図(式)は
論文[He+ 2020]
から引用

11
Enhanced Mask Decoder (EMD)
絶対的な位置情報は予測に有効
事前学習時に絶対的な位置を使用するためのDecoderを追加
追加位置はSoftmax層の前
実験では𝑛 = 2（1層目で𝐼に絶対的位置， 2層目では𝐼 = 𝐻）
各層で重みを共有
図表は論文[He+ 2020]から引用

12
Background: ELECTRA[Clark+ 2020] 1/2
Replaced token detection (RTD)
Generator (MLM model) がtokenを置換
Discriminatorは置換されたtokenを識別
Generator(MLM)とDiscriminator(RTD)を同時学習
Loss 𝐿 = 𝐿𝑀𝐿𝑀 + 𝜆𝐿𝑅𝑇𝐷 (𝜆 = 50)
𝐶 : masked tokenのindex集合
𝜃𝐺 : Generatorのパラメータ
𝑋𝐺 : Generatorのinput (masked text)
𝜃𝐷 : Discriminatorのパラメータ
𝑋𝐷 : Discriminatorのinput
𝕝 : indicator function
下流タスクでは
Discriminatorを
finetune
図（式含む）は
論文[Clark+ 2020]
から引用

13
Background: ELECTRA[Clark+ 2020] 2/2
Replaced Token Detection (RTD) は効率の良い学習手法
GeneratorとDiscriminatorのEmbedding共有に問題あり？
ただし，共有しないと性能低下
DeBERTa V3では新しいEmbeddingの共有方法を提案
図は論文[Clark+
2020]から引用

14
Embeddingについて
単語の分散表現を計算
単語idに変換
単語idをワンホットベクトルに変換
Embedding行列を乗算し，Embedding vectorに変換
This is a pen .
32 2 1 105 300
[0,0,0,…,0] [0,0,1,…,0] [0,1,0,…,0] [0,0,0,…,0] [0,0,0,…,0]
[0.1,…,0.3] [0.5,…,0.9] [0.2,…,0.3] [0.9,…,-0.4] [-0.3,…,0.1]
𝐸𝑥𝑜𝑛𝑒ℎ𝑜𝑡
ワンホットベクトル化
id化

15
目次
Intro
Background
DeBERTa
ELECTRA
Experiment
Large Model
Multilingual Model
Conclusions

16
DeBERTa V3
DeBERTa V3
DeBERTa の事前学習手法を変更
Masked Language Modeling から Replaced Token Detection に変更
GeneratorとDiscriminatorのEmbedding共有手法の提案
Generator
𝐸𝐺 𝜃𝐺
the
chef
cooked
the
meal
[MASK]
chef
[MASK]
the
meal
𝑝𝐺(𝑥0)
chef
𝑝𝐺(𝑥2)
the
meal
the
ate
original
original
original
original
replaced
Discriminator
sampling
𝜃𝐷
𝐸𝐺 𝐸Δ
backward
backward
1. MLM 2. RTD
図は論文[Clark+ 2020]中の図を参考に作成

17
ELECTRAにおけるEmbedding共有の問題点
ELECTRAではDiscriminatorとGeneratorでEmbeddingsを共有
共有しない場合，下流タスクでの性能が低下
著者らの分析（仮説？）によると
DiscriminatorとGeneratorの学習がEmbeddingを異なる方向に
引っ張るため，学習効率とモデル性能を低下させる
DiscriminatorとGeneratorの学習目的が大きく異なることが原因
Generator(MLM)
意味的に類似したtokenを互いに引き寄せる
Discriminator(RTD)
意味的に類似したtokenを識別，
二値分類の精度が最適化するようにEmbeddingsを引き寄せる
この「綱引き」を回避する手法（GDES）を提案
GDES: Gradient-Disentangled Embedding Sharing

以下のようにDiscriminatorのEmbeddingsをパラメータ化
𝑬𝐺を共有
ELECTRAの場合 𝑬𝐷 = 𝑬𝐺
𝑬Δはゼロ行列として初期化
学習1stepの手順（ELECTRAから変更あり）
1. MLM Generatorのforwardパスとbackwardパス
2. RTD Discriminatorのforwardパスとbackwardパス
18
Generator
𝐸𝐺 𝜃𝐺
the
chef
cooked
the
meal
[MASK]
chef
[MASK]
the
meal
𝑝𝐺(𝑥0)
chef
𝑝𝐺(𝑥2)
the
meal
the
ate
original
original
original
original
replaced
Discriminator
sampling
𝜃𝐷
𝐸𝐺 𝐸Δ
backward
backward
𝑬𝐷 : Discriminator の Embeddings
𝑬𝐺 : Generator の Embeddings
𝑠𝑔() : stop gradient operator
1. MLM 2. RTD

19
Embeddingの共有方法の比較 1/2
比較する共有方法
(a)ES: Embedding Sharing (ELECTRAと同様)
(b)NES: No Embedding Sharing
(c)GDES: Gradient-Disentangled Embedding Sharing (提案手法)
比較項目
学習速度
Word embeddingの質
下流タスクの性能

20
Embeddingの共有方法の比較 2/2
学習速度
NESとGDESはESより早く収束
「綱引き」の悪影響を受けない
Embeddingの質
𝑬𝐺の類似度は𝑬𝐷よりも大きい
（②NES，③GDES）
仮説と一致
③GDESは一部共有しているため
その差は②NESよりも小さい
下流タスクの性能
③GDES > ①ES > ②NES
共有無し②NESは性能低下
ELECTRAと同様の結果
提案手法であるGDESは有効な手法
図．GeneratorのMLM lossの推移
表．下流タスク（NLU）の性能
表．Embeddingの平均cos類似度*
①ES : Embedding Sharing
②NES: No Embedding Sharing
③GDES: 提案手法
*語彙の10%を抽出, 全ペアのcos類似度を平均

21
目次
Intro
Background
DeBERTa
ELECTRA
Experiment
Large Model
Multilingual Model
Conclusions

22
Experiment
下流タスクの性能でモデルを比較
事前学習した後，下流タスクでfinetune
比較するモデル
BERT, RoBERTa, XLNet, DeBERTa など
大きさ別：Large, Base, Small, Xsmall
多言語モデル：XLM-RoBERTa など
下流タスク
GLUE
その他代表的NLUタスク
Question Answering
SQuAD v2.0, RACE, ReCoRD, SWAG
Natural Language Inference
MNLI
Named Entity Recognition (NER)
CoNLL-2003
多言語NLUタスク
XNLI

23
Large Model : GLUE
従来のSOTAモデルと同等・同等以上の性能
低リソースタスク（RTE, CoLA）の性能の伸びが大きい
SST-2, SST-B, MRPCの改善は比較的小さい
タスクの性能が飽和に近い

24
Large Model : その他
RACE, SWAGで特に性能向上
自明ではない推論能力と常識的知識を要求するタスク
DeBERTa-V3-largeはより大きなモデルと比較しても優れている

25
Base, Small モデルでも DeBERTa V3 は高性能
Baseはlargeより大きなマージンでDeBERTa, ELECTRAより高い性能
DeBERTa v3 xsmall について
RoBERTa base, XLNet baseより高性能（パラメータは 1/4）
DeBERTa v3 small と同等の性能（パラメータは 1/2）
深い（layer数が大きい）ことが理由であると推測

26
Multilingual Model
DeBERTa V3 を多言語化
XLM-RoBERTa[Conneau+ 2020] と同様の設定で事前学習
並列データを用いた学習は行わない
Finetune
Cross-lingual transfer：英語データのみでfinetune
Translate train all：多言語データ（英語データの翻訳）でfinetune
DeBERTa V3 は多言語設定でも高性能
[Conneau+ 2020] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume
Wenzek, Francisco Guzmán, Édouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov.
Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of
the Association for Computational Linguistics, pages 8440–8451, 2020.

27
目次
Intro
Background
DeBERTa
ELECTRA
Experiment
Large Model
Multilingual Model
Conclusions

28
Conclusions
DeBERTa V3 を提案
DeBERTa と ELECTRA を組合わせて大幅な性能向上を実現
ELECTRAにおけるGeneratorとDiscriminatorのEmbedding共有
の問題点（綱引き）について分析
新しいEmbedding共有の手法を提案（GDES）
代表的なNLUタスク（GLUEなど）で評価
同様の構造をもつモデルより高性能

29
DeBERTa (SiFT)
Scale Invariant Fine-tuning(SiFT)
Virtual adversarial training [Miyato+ 2018, Jiang+ 2020] の変形
入力に摂動を与え敵対的なサンプルを作成することで
モデルの頑健性を向上させる
NLPタスクの場合はEmbeddingに適用する
大きなモデルでは敵対的学習が不安定
ノルムが単語やモデルによって異なる
大規模なモデルでは分散が大きい
具体的な手法
Embeddingベクトルを確率ベクトルに正規化
正規化されたベクトルに摂動を適用
DeBERTa 1.5Bにのみ適用
メモ
[Miyato+ 2018] Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. Virtual adversarial
training: a regularization method for supervised and semi-supervised learning. IEEE transactions on
pattern analysis and machine intelligence, 41(8):1979–1993, 2018.
[Jiang+ 2020] Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Tuo Zhao.
SMART: Robust and efficient fine-tuning for pre-trained natural language models through principled
regularized optimization. In ACL, July 2020. doi: 10.18653/v1/2020.acl-main.197.

30
参考：Pretraining
学習データの5%を検証データとして学習推移を監視
事前学習の設定はDeBERTaとほぼ同じ
GeneratorはMLMで学習
15%のトークンを[MASK]に置換
GeneratorのサイズはDiscriminatorの半分の深さ
DiscriminatorはRTDで学習

31
参考：finetune
Sequence classification
GLUE, RACE, SWAG
[CLS] token の位置に分類headを追加してfinetune
Sequence tagging
SQuAD v2.0, ReCoRD, NER
全てのtokenに分類headを追加してfinetune
時間
各実行にDGX-2 nodeで1~2時間程度
NVIDIA V100 * 16

32
参考：下流タスクのデータセット
実験で
使用した
データ
セット

33
参考：Hyperparameters
各DeBERTa V3 で使用したHyper-parameters

34
参考：DeBERTa-V2 について
DeBERTa-v2 [microsoft 2022]
DeBERTa を大きくしたver
DeBERTa-v3はDeBERTa-v2をベースにしている
モデルサイズ以外の追加・変更点
Vocabulary
128Kの語彙
Tokenizer: GPT-2 -> sentencepiece
nGiE(nGram Induced Input Encoding)
入力Tokenの局所的な関係を学習するために
Transformerの１層目の後に畳み込み層を追加
Attention LayerにおけるProjection Matrixの共有(content, position)
相対位置の符号化にバケットを適用
logスケールで変換
イメージ：相対距離1と2は区別するが，100と101は区別しない
[microsoft 2022] microsoft. microsoft/DeBERTa: The implementation of DeBERTa. GitHub. Published
January 20, 2022. Accessed October 26, 2022. https://github.com/microsoft/DeBERTa

35
参考：Hugging Faceでの設定
DebertaV2Config
{
"_name_or_path": "microsoft/deberta-v3-large",
"attention_probs_dropout_prob": 0.1,
"hidden_act": "gelu",
"hidden_dropout_prob": 0.1,
"hidden_size": 1024,
"initializer_range": 0.02,
"intermediate_size": 4096,
"layer_norm_eps": 1e-7,
"max_position_embeddings": 512,
"max_relative_positions": -1,
"model_type": "deberta-v2",
"norm_rel_ebd": "layer_norm",
"num_attention_heads": 16,
"num_hidden_layers": 24,
"pad_token_id": 0,
"pooler_dropout": 0,
"pooler_hidden_act": "gelu",
"pooler_hidden_size": 1024,
“pos_att_type”: [“p2c”, "c2p"],
"position_biased_input": false,
"position_buckets": 256,
"relative_attention": true,
"share_att_key": true,
"transformers_version": "4.20.1",
"type_vocab_size": 0,
"vocab_size": 128100
}

DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing

DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente(20)

Similar a DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing

Similar a DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing(20)

Más de harmonylab

Más de harmonylab(18)

Último

Último(7)

DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing