RNN

RNN（Recurrent Neural Network、再帰型ニューラルネットワーク）は、時刻ごとの入力と一つ前の隠れ状態から新しい状態を計算し、系列の順序と過去情報を扱うモデルです。

■ 試験で押さえるポイント

• 同じ重みを各時刻で共有し、音声、文章、センサ値等の長さが異なる系列を、各時刻出力又は系列全体の出力へ変換します。

• 学習では時間方向にネットワークを展開するBPTTで勾配を計算しますが、長い系列では勾配消失・爆発により遠い依存関係を学びにくくなります。

• LSTMやGRUはゲートで情報の保持・破棄を制御して長期依存を改善し、勾配クリッピングは勾配爆発を抑えます。

• CNNが局所空間へフィルタを適用するのに対し、RNNは前時刻の状態を再利用します。Transformerは注意機構で系列を並列に扱う別構造です。

■ 選択肢での判断ポイント

前時刻の隠れ状態を次へ渡す再帰結合と、系列順序を扱う点を押さえます。LSTM・GRUはRNNの発展形です。

例: 文章の各単語を順に入力し、時刻tの状態$h_t=f(W_xx_t+W_hh_{t-1}+b)$として過去の情報を更新し、最後の状態から分類します。