リカレントニューラルネットワーク(RNN)とBPTT

RNNは内部状態(隠れ状態)をループ構造で引き継ぐことで可変長の系列を処理します。学習は時間軸に沿って展開したBPTTで行われますが、長系列では時間方向の勾配消失・爆発が課題となります。 ア:正解です。隠れ状態の引き継ぎとBPTTがRNNの中核的メカニズムです。 イ:誤りです。RNNは時系列を t=1 から順に逐次処理するため並列化が困難です(並列化できるのはTransformer)。 ウ:誤りです。単純なRNNは長期記憶が保持できず、数ステップ前の情報でも勾配消失で失われます。 エ:誤りです。可変長の系列データを柔軟に入力・出力できるのがRNNの大きな利点です。

時系列データや自然言語などのシーケンスデータを処理する基本モデルであるRNNに関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
隠れ状態 h_t が過去の情報を保持し、現在の入力 x_t と直前の隠れ状態 h_{t-1} を受け取って自己ループ結合により更新される。時間方向に展開して誤差逆伝播を行うアルゴリズムをBPTT(Backpropagation Through Time)と呼ぶ。
イ
RNNは時間的な順序関係を一切考慮せず、全入力トークンを完全に同時に並列処理する。
ウ
RNNは1000ステップ以上過去の情報であっても勾配消失を起こすことなく完全に記憶し続けることができる。
エ
RNNは入力の系列長が事前に厳密に固定されていなければ計算することができない。