Multi-Head Attentionの意義と並列表現

Multi-Head Attentionはヘッド数 h に分割して注意を並列計算し、最後に結合(Concat)して線形変換します。各ヘッドが「主語と述語の関係」「照応関係」「修飾関係」など別々の文脈情報を捉えられます。 ア:正解です。多様な関係性を異なる表現空間で同時に学習できる点がマルチヘッドの利点です。 イ:誤りです。異なる線形変換行列を持つため、単純な反復平均ではありません。 ウ:誤りです。ニューラルネットワークのアーキテクチャ設計であり、分散プロトコルではありません。 エ:誤りです。ヘッドごとに次元数を d_model / h に縮小して計算するため、全体の総計算量は単一ヘッドの場合とおおむね同等に抑えられます。

Transformerで用いられる「Multi-Head Attention(多頭注意機構)」の意義に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Q, K, Vを複数のヘッドに分割して異なる部分空間(アスペクト)へ射影し、文法関係、意味関係、位置関係など異なる複数の視点から同時に並列して注意を払うことができる。
イ
単一のヘッドの計算を単に100回繰り返して算術平均をとるだけであり、表現力の向上効果はない。
ウ
RNNの隠れ状態を8台の別々のコンピュータで分散同期させるためのハードウェアプロトコルである。
エ
ヘッド数を増やすほど計算量がヘッド数に比例して指数関数的に増大するため、ヘッド数は常に1に制限される。