最小二乗法

最小二乗法は、観測値とモデルによる予測値との差である残差について、その二乗和を最小にするように回帰直線などのモデル係数を決定する推定方法です。

■ 試験で押さえるポイント

• 単回帰$y=a+bx$では、残差$e_i=y_i-(a+bx_i)$とし、残差平方和$\sum_i e_i^2$が最小になるa,bを求めます。

• 傾き$b=\dfrac{\sum_i(x_i-\bar x)(y_i-\bar y)}{\sum_i(x_i-\bar x)^2}$、切片$a=\bar y-b\bar x$で求められ、回帰直線は点$(\bar x,\bar y)$を通ります。

• 残差を二乗するため正負が相殺せず、大きな誤差を強く評価します。一方で外れ値の影響を受けやすくなります。

• 当てはまりがよくても因果関係を証明せず、説明変数範囲外への外挿も危険です。残差パターンや前提を確認します。

■ 選択肢での判断ポイント

最小化するのは通常、残差の単純和や絶対値和ではなく二乗和です。回帰式へ値を代入する予測問題と係数計算を区別します。

例: 点(1,2),(2,4),(3,6)は直線$y=2x$上にあり、各残差0、残差平方和0なので最小です。$y=x$なら残差1,2,3で二乗和は$1+4+9=14$です。