線形回帰

線形回帰は、連続値の目的変数yを、説明変数の線形結合$y=\beta_0+\beta_1x_1+\cdots+\beta_px_p+\varepsilon$で表し、係数をデータから推定する回帰手法です。

■ 試験で押さえるポイント

• 通常の最小二乗法は、観測値と予測値の差である残差の二乗和を最小にする係数を求めます。

• 係数βjは、他の説明変数を一定としたときxjが1増えると予測値がβj変化することを表しますが、観測データだけから因果関係は証明できません。

• 線形性、誤差の独立性・等分散性等を診断し、外れ値、多重共線性、非線形関係が推定・解釈へ与える影響を確認します。

• $R^2$は目的変数の変動をモデルが説明する割合ですが、高い値だけで未知データ性能や因果の正しさを保証しません。

■ 選択肢での判断ポイント

連続値予測、線形結合、残差二乗和の最小化を識別します。分類に使うロジスティック回帰と区別します。

例: 売上予測式$y=3+2x$で広告費$x=4$なら、予測値は$3+2\times4=11$です。実測が13なら残差は$13-11=2$、二乗誤差は4です。