BERTの双方向文脈理解と事前学習タスク

BERTは双方向(左右両方向)のコンテキストを同時に参照してSelf-Attentionを適用します。穴埋め問題(MLM: 約15%のトークンをマスク)と文間関係(NSP)で事前学習し、下流タスクで全結合層等を付けて微調整(Fine-tuning)します。 ア:正解です。双方向Transformerエンコーダ、MLM、NSPがBERTの核心構成要素です。 イ:誤りです。左から右への自己回帰型(Autoregressive)なのはGPTシリーズです。BERTは自己符号化型双方向モデルです。 ウ:誤りです。下流タスク(分類、固有表現抽出、QA等)への容易なファインチューニングがBERTの最大の実用上の強みです。 エ:誤りです。RNNを完全に廃止した純粋なTransformerエンコーダです。

Googleが提案した事前学習モデル「BERT(Bidirectional Encoder Representations from Transformers)」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Transformerのエンコーダを用い、入力文の一部をマスクして当てる「Masked Language Model(MLM)」と、2つの文が連続しているかを判定する「Next Sentence Prediction(NSP)」の2つの教師なしタスクで双方向の文脈を事前学習する。
イ
過去の左側の単語のみから右側の次の単語を単一方向に予測する自己回帰型モデルである。
ウ
事前学習された重みを固定して使用することしかできず、下流タスクに応じたファインチューニングは一切できない。
エ
RNNセルを1000個縦列に並べることで双方向の系列処理を実現している。