Transformerアーキテクチャの自己注意機構(Self-Attention)

Transformerの核心技術である自己注意機構(Self-Attention)は、文中の単語同士の関連度を並列に直接計算することで、従来のRNNの弱点であった「逐次処理による並列化の困難さ」と「長距離依存関係の消失」を同時に解決しました。 ア:誤りです。1単語ずつ順番に処理する逐次ループ構造は従来のRNNの特徴です。Transformerは並列計算を採用しています。 イ:正解です。Self-Attentionにより文中の全単語間の関係性を直接かつ並列に計算できるようになったことが、大規模学習の飛躍的成功をもたらしました。 ウ:誤りです。固定の辞書ではなく、データから動的に学習されたパラメータによって文脈に応じた関連度を柔軟に算出します。 エ:誤りです。局所的なフィルターをスライドさせるのは画像処理で多用されるCNNの特徴であり、Self-Attentionは文全体の大域的な関係を捉えます。

自然言語処理や現代の生成AIの基盤となっている「Transformer」アーキテクチャの自己注意機構(Self-Attention)に関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
RNN(再帰型ニューラルネットワーク)と同様に、文頭から文末までを1トークンずつ厳密に逐次ループ処理することで長距離の単語依存関係を記憶し、時間的な順序関係を確実に学習する。
イ
文中のすべてのトークン間の関連度(重み)を行列計算によって同時に算出し、単語同士の長距離の依存関係を直接捉えるとともに、GPUによる大規模な並列計算を可能にしている。
ウ
入力テキスト内の単語同士の関係ではなく、あらかじめ人間が登録した固定シソーラス(類語辞書)の単語間距離のみを参照して、文脈における意味の曖昧性を静的に解消する機構である。
エ
CNN(畳み込みニューラルネットワーク)と同様に、局所的な3×3の受容野(フィルター)のみをスライドさせて周辺単語の局所的共起特徴を抽出し、パラメータ数を最小限に抑える機構である。