ランダムフォレスト

ランダムフォレストは、データと特徴量へランダム性を加えて多数の決定木を学習し、分類では多数決、回帰では平均により予測するバギング型アンサンブル学習です。

■ 試験で押さえるポイント

• 訓練データから復元抽出したブートストラップ標本ごとに木を作り、各分岐では全特徴量でなくランダムに選んだ一部から条件を選びます。

• 互いに相関し過ぎない木を平均化することで、単一の深い決定木より分散と過学習を抑え、予測を安定させます。

• 各木の標本に選ばれなかったOOBデータを検証に使え、特徴量重要度も得られますが、重要度には偏りがあり因果を示しません。

• 木を逐次追加して前の誤りを重点的に直すブースティングとは異なり、多数の木を概ね独立・並列に学習して集約します。

■ 選択肢での判断ポイント

ブートストラップ標本、分岐ごとの特徴量ランダム選択、多数決・平均の三点を識別し、単一決定木やブースティングと区別します。

例: 100本の分類木のうち72本が不正、28本が正常と予測すれば多数決で不正とします。一つの木の偶然な分岐の影響が平均化されます。