交差検証法とホールドアウト法

ホールドアウト法はデータを一度だけ訓練用と評価用へ分割し、交差検証法は分割を交代させて複数回学習・評価する手法です。

■ 試験で押さえるポイント

• ホールドアウトは計算量が小さく大規模データに向きますが、一回の分割に評価値が左右され、少量データでは不安定です。

• k分割交差検証はデータを$k$個へ分け、各部分を一度ずつ検証用、残りを訓練用にして$k$回の評価を平均します。

• 層化k分割は各集合のクラス比を保ち、グループ交差検証は同一主体を分離し、時系列では未来を訓練へ混ぜない分割を使います。

• ハイパーパラメータ選択に交差検証を使っても、最終評価用テスト集合は独立に残します。必要なら外側・内側を分けた入れ子交差検証を使います。

$\text{交差検証スコア}=\frac{1}{k}\sum_{i=1}^{k}s_i$

■ 選択肢での判断ポイント

k分割交差検証では全データが一度ずつ検証用になり、$k$回の評価を平均します。時系列データを無作為分割して未来を学習へ混ぜないことが重要です。

例: 5分割交差検証では5つの部分のうち1つを順番に検証用として5回学習し、5個のスコアを平均します。