TransformerにおけるSelf-Attention(自己注意機構)のQ・K・V

Self-Attentionは各トークンの入力から線形変換でQ, K, Vを生成します。QとKの内積によりトークン間の関連度スコアを求め、softmaxで正規化した注意の重みでVの加重和を取ることで文脈を統合します。 ア:正解です。データベースの検索(問い合わせQ、キーK、値V)のアナロジーで単語間の関連度を重み付け集約します。 イ:誤りです。Q, K, Vはそれぞれ独立した学習可能行列 W_Q, W_K, W_V を用いて入力から線形写像されます。 ウ:(注: 肢3も正しい事実ですが、Q, K, Vの役割全体を説明している肢1が最も適切な本質定義です。肢3の記述自体はスケールの役割です) エ:誤りです。全トークン間の関連度を一度に直接計算できるため、系列長全体にわたる長距離依存を直接捉えられます。

論文『Attention Is All You Need』で提案されたScaled Dot-Product Attentionの計算式 Attention(Q, K, V) = softmax(Q K^T / √d_k) V における「Q(Query)」「K(Key)」「V(Value)」の役割に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
検索の問い合わせとなるQueryと、検索対象のインデックスであるKeyとの内積によって類似度(注意の重み)を計算し、その重みを用いてValueの加重平均を算出する。
イ
QueryとKeyは常に完全に同一の定数ベクトルであり、Valueのみが学習可能なパラメータである。
ウ
√d_k で割るスケーリング処理は、次元数が大きいときに内積値が過大になりソフトマックスの勾配が消失するのを防ぐために行われる。
エ
Attentionは必ず時系列の前後1単語のみしか参照できず、長距離の依存関係は参照できない。