論文『Attention Is All You Need』で提案されたScaled Dot-Product Attentionの計算式 Attention(Q, K, V) = softmax(Q K^T / √d_k) V における「Q(Query)」「K(Key)」「V(Value)」の役割に関する記述として、最も適切なものを1つ選択してください。
出典G検定オリジナル模擬試験
ア
検索の問い合わせとなるQueryと、検索対象のインデックスであるKeyとの内積によって類似度(注意の重み)を計算し、その重みを用いてValueの加重平均を算出する。
イ
QueryとKeyは常に完全に同一の定数ベクトルであり、Valueのみが学習可能なパラメータである。
ウ
√d_k で割るスケーリング処理は、次元数が大きいときに内積値が過大になりソフトマックスの勾配が消失するのを防ぐために行われる。
エ
Attentionは必ず時系列の前後1単語のみしか参照できず、長距離の依存関係は参照できない。