自然言語処理や現代の生成AIの基盤となっている「Transformer」アーキテクチャの自己注意機構(Self-Attention)に関する記述として、最も適切なものを1つ選択してください。
出典生成AIパスポートオリジナル模擬試験
ア
RNN(再帰型ニューラルネットワーク)と同様に、文頭から文末までを1トークンずつ厳密に逐次ループ処理することで長距離の単語依存関係を記憶し、時間的な順序関係を確実に学習する。
イ
文中のすべてのトークン間の関連度(重み)を行列計算によって同時に算出し、単語同士の長距離の依存関係を直接捉えるとともに、GPUによる大規模な並列計算を可能にしている。
ウ
入力テキスト内の単語同士の関係ではなく、あらかじめ人間が登録した固定シソーラス(類語辞書)の単語間距離のみを参照して、文脈における意味の曖昧性を静的に解消する機構である。
エ
CNN(畳み込みニューラルネットワーク)と同様に、局所的な3×3の受容野(フィルター)のみをスライドさせて周辺単語の局所的共起特徴を抽出し、パラメータ数を最小限に抑える機構である。