Googleが提案した事前学習モデル「BERT(Bidirectional Encoder Representations from Transformers)」に関する記述として、最も適切なものを1つ選択してください。
出典G検定オリジナル模擬試験
ア
Transformerのエンコーダを用い、入力文の一部をマスクして当てる「Masked Language Model(MLM)」と、2つの文が連続しているかを判定する「Next Sentence Prediction(NSP)」の2つの教師なしタスクで双方向の文脈を事前学習する。
イ
過去の左側の単語のみから右側の次の単語を単一方向に予測する自己回帰型モデルである。
ウ
事前学習された重みを固定して使用することしかできず、下流タスクに応じたファインチューニングは一切できない。
エ
RNNセルを1000個縦列に並べることで双方向の系列処理を実現している。