勾配ブースティング決定木(GBDT)の仕組み

GBDTは、現在のアンサンブルモデルが予測しきれなかった残差(勾配)を新たな決定木が学習し、足し合わせていくことで徐々に損失を最小化するブースティングアルゴリズムです。 ア:正解です。損失関数の勾配方向に沿って新しい弱学習器を追加していきます。 イ:誤りです。これはランダムフォレスト(バギング)の説明です。GBDTは逐次(直列)的に学習します。 ウ:誤りです。決定木の分岐(離散的な条件判定)は直接微分できないため、残差を回帰木で近似します。 エ:誤りです。XGBoostやLightGBMなどのGBDT実装は、欠損値の最適分岐方向を自動学習する機能を備えています。

テーブルデータコンペティション等で高い性能を発揮する勾配ブースティング決定木(GBDT: Gradient Boosting Decision Tree)に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
現在のモデルの予測値と真値との残差(損失関数の負の勾配)を、次の決定木が予測・補正するように逐次的に木を追加していく。
イ
各決定木を完全に独立して並列学習させ、最後に全決定木の出力の単純算術平均をとる。
ウ
深層ニューラルネットワークのように誤差逆伝播法を用いて決定木の分岐ルールを一括微分する。
エ
欠損値を含むデータセットには一切適用できず、すべての欠損値を事前に完全補完しなければ学習が停止する。