跳轉到

Gradient Boosting 實戰:三套 GBDT 差多少?什麼時候會輸給線性回歸?

難度:中。需要知道決策樹怎麼切、會用 sklearn。 本文數字來自 Python 3.12、scikit-learn 1.9.1、XGBoost 3.4.1、LightGBM 4.7.0、CatBoost 1.2.10,8 核 CPU,資料是 sklearn 內建的加州房價(20,640 筆、8 個數值特徵)。2026-10-04 執行。

1. 前言

表格資料上,gradient boosting 幾乎是預設答案。介紹它的文章大多寫到「每棵樹修正前面的錯誤」,再附一張 XGBoost、LightGBM、CatBoost 的比較表就結束了。

比較表告訴你各家有什麼功能,但沒告訴你換一套之後分數會差多少,也沒說 boosting 在哪種資料上會整個失靈。

本文想回答三個問題:

  • 三套 GBDT 實際差多少?(先講結論:在加州房價上,最好和最差差約 5% RMSE。CatBoost 三次切分都最準,但最慢。這個差距比調參能拿到的小,選型不用想太久。)
  • learning rate 和樹的數量怎麼取捨?early stopping 在停什麼?(learning rate 越小,要越多棵樹,分數會好一點,0.05 以下就不太動了。early stopping 主要省的是時間:沒有它、跑滿 5000 棵,分數也只差 0.007。)
  • 什麼時候 boosting 會輸給線性回歸?(測試資料的範圍超出訓練資料時。樹的預測只能落在訓練時見過的 y 之間,它不會外插。目標有趨勢的時間序列,就是最常踩到的地方。)

本文只討論迴歸、數值特徵、單機 CPU 的情形。

2. 先看機制:每棵樹在學什麼

Boosting 的流程只有三行:

  1. 先全部猜平均值。
  2. 算出每筆的殘差(真值 − 目前預測),訓練一棵小樹去擬合殘差。
  3. 把這棵樹的預測乘上一個小數(learning rate)加回去。回到第 2 步。

為什麼是殘差?損失函數用 MSE 時,對預測值的負梯度剛好就是殘差。所以「每棵樹擬合殘差」其實是在函數空間裡做梯度下降,這也是名字裡 gradient 的來源。換成別的損失函數(例如分類用的 log loss),每棵樹擬合的就是那個損失的負梯度。

這三行可以直接寫出來:

import numpy as np
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor

X, y = fetch_california_housing(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=0)

lr, trees = 0.1, []
pred_tr = np.full(len(y_tr), y_tr.mean())      # 第 0 步:全部猜平均
for m in range(300):
    resid = y_tr - pred_tr                       # MSE 的負梯度 = 殘差
    tree = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X_tr, resid)
    pred_tr += lr * tree.predict(X_tr)           # 只走一小步
    trees.append(tree)

pred_te = y_tr.mean() + lr * sum(t.predict(X_te) for t in trees)

這段手寫版的測試 RMSE 是 0.4924。同樣設定的 sklearn.ensemble.GradientBoostingRegressor 是 0.4925。核心就是這幾行,剩下的都是工程。

值得一提的是第 3 步的 learning rate。每棵樹明明可以把殘差修掉一大半,卻只讓它修 10%。這樣做比較慢,但每一步都不會走過頭,後面的樹還有機會修正前面的錯。第 4 節會看到它的實際效果。

3. 實驗一:三套 GBDT 實際差多少

XGBoost、LightGBM、CatBoost 都是上面那三行的工程實作。差別在於樹怎麼長、類別變數怎麼處理、怎麼加速:

樹怎麼長 類別變數 特點
XGBoost 預設 depthwise(一層一層長) enable_categorical=True 才原生處理 最早普及,參數最多
LightGBM leaf-wise(每次切損失降最多的葉子) 原生支援 快,大資料首選;小資料容易過擬合
CatBoost 對稱樹(同一層用同一個切點) 最完整(ordered target statistics) 預設參數就不差;訓練較慢
sklearn HistGB depthwise 原生支援 不用裝套件,參數少

我們在加州房價上,用同一份切分、同樣的 learning rate 0.05、同樣的 early stopping 規則(驗證集 100 輪沒進步就停),各跑一次:

import xgboost as xgb, lightgbm as lgb, catboost as cb

X_fit, X_val, y_fit, y_val = train_test_split(X_tr, y_tr, test_size=0.2, random_state=0)

m_xgb = xgb.XGBRegressor(n_estimators=5000, learning_rate=0.05, max_depth=6,
                         early_stopping_rounds=100, n_jobs=8, random_state=0)
m_xgb.fit(X_fit, y_fit, eval_set=[(X_val, y_val)], verbose=False)

m_lgb = lgb.LGBMRegressor(n_estimators=5000, learning_rate=0.05, num_leaves=63,
                          n_jobs=8, random_state=0, verbose=-1)
m_lgb.fit(X_fit, y_fit, eval_X=(X_val,), eval_y=(y_val,),
          callbacks=[lgb.early_stopping(100, verbose=False)])

m_cb = cb.CatBoostRegressor(iterations=5000, learning_rate=0.05, depth=6,
                            early_stopping_rounds=100, thread_count=8,
                            random_seed=0, verbose=0)
m_cb.fit(X_fit, y_fit, eval_set=(X_val, y_val))

LightGBM 4.7 起,eval_set 改名為 eval_X / eval_y,舊寫法還能跑但會出警告。

換三種訓練/測試切分(random_state = 0、1、2),測試 RMSE:

切分 XGBoost LightGBM CatBoost HistGB
0 0.4474 0.4377 0.4252 0.4419
1 0.4563 0.4491 0.4464 0.4542
2 0.4660 0.4555 0.4421 0.4532

切分 0 的訓練時間:XGBoost 10.4 秒、LightGBM 3.2 秒、CatBoost 15.9 秒、HistGB 7.1 秒。

幾件事:

第一,排名三次都一樣:CatBoost 最好,XGBoost 最差,LightGBM 和 HistGB 在中間。最好和最差差 2–5%。

第二,這不是公平的「演算法比較」。四套的預設樹大小不同(XGBoost 深度 6、LightGBM 63 片葉子、CatBoost 深度 6 的對稱樹),其他預設正則化也不一樣。我們比的是「照常見寫法直接用」的結果。

第三,CatBoost 停在 3000 多棵,其他停在 600–1700 棵。對稱樹每棵比較弱,所以要更多棵。

我的選法:資料不大、想少調參,先用 CatBoost;資料大到幾百萬筆、要快,用 LightGBM;不想多裝套件,HistGB 已經夠用。三者的差距,通常比特徵工程能拉開的差距小得多。

4. learning rate 與 early stopping

固定用 LightGBM,只改 learning rate,每次都讓 early stopping 自己決定停在哪:

learning rate 停在第幾棵 測試 RMSE
0.3 135 0.4623
0.1 410 0.4421
0.05 767 0.4377
0.01 2,612 0.4396

learning rate 每降一半,樹的數量大約翻倍。分數從 0.3 降到 0.05 時有明顯改善,再往下就不動了(0.01 甚至略差,在這個量級算是雜訊)。

那 early stopping 擋掉了多少過擬合?我拿 learning rate 0.3、不設 early stopping、硬跑滿 5000 棵:測試 RMSE 0.4693,只比停在 135 棵的 0.4623 差 0.007。

這個結果比我預期的溫和。boosting 每一步只走一小段,加上樹本身有葉子大小的限制,過擬合是慢慢來的。在這份資料上,early stopping 主要省的是時間:跑 135 棵和跑 5000 棵的差別。

常見誤解:early stopping 用測試集來停

把 eval_set 設成測試集很常見,分數也會比較好看。但這等於用測試集選了「樹的數量」這個超參數,測試分數就不再是沒看過的資料。 實際後果:線下分數偏樂觀,上線後掉。要從訓練集再切一塊驗證集出來(上面的 X_fit / X_val),測試集留到最後只碰一次。

調參的順序,我自己的習慣:

  1. learning rate 先固定在 0.05–0.1,用 early stopping 決定樹的數量。
  2. 調樹的複雜度:num_leaves/max_depth、min_child_samples。這一步影響最大。
  3. 調隨機性:subsample、colsample_bytree(0.7–0.9 常見)。
  4. 調正則化:reg_lambda、reg_alpha。
  5. 最後把 learning rate 降到 0.01–0.03,重跑 early stopping,拿最後一點分數。

第 5 步只在要擠最後 1% 時才做,訓練時間會變成好幾倍。

5. 實驗二:boosting 輸給線性回歸

前面都是 boosting 表現好的情境。接著造一個它會失敗的。

讓 y 有一條往上的趨勢,加上週期和雜訊。用前 80% 的時間訓練,後 20% 測試:

import numpy as np, lightgbm as lgb
from sklearn.linear_model import LinearRegression

rng = np.random.default_rng(0)
x = np.arange(1000, dtype=float)
y = 0.05 * x + 10 * np.sin(x / 30) + rng.normal(0, 2, x.size)   # 趨勢 + 週期 + 雜訊
X = np.c_[x, np.sin(x / 30)]
tr, te = x < 800, x >= 800

gbm = lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05, verbose=-1).fit(X[tr], y[tr])
lin = LinearRegression().fit(X[tr], y[tr])

測試 RMSE:LightGBM 6.68,線性回歸 1.75。雜訊的標準差是 2,所以線性回歸已經接近天花板,LightGBM 差了將近四倍。

原因回到第 2 節的機制。每片葉子的預測值是「落進這片葉子的訓練樣本」的平均。不管怎麼加總,預測都被訓練時見過的 y 框住。實際數字:測試期 y 的平均是 45.3,訓練期 y 的最大值是 51.3,而 LightGBM 在整個測試期的預測最大只到 50.4。測試期的 x 比訓練期大,但對樹來說,「x = 900」和「x = 799」落在同一片葉子裡。

樹只會內插,不會外插。 這個限制跟用哪一套 GBDT 無關,四套都一樣。

修法:讓線性模型處理趨勢,樹只學剩下的部分。

resid = y[tr] - lin.predict(X[tr])
gbm2 = lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05, verbose=-1).fit(X[tr], resid)
pred = lin.predict(X[te]) + gbm2.predict(X[te])

測試 RMSE 回到 1.93。實務上更常見的做法是改變預測目標:不預測價格本身,改預測變化量或比例(報酬率、成長率),讓目標落在一個不會一路往上的範圍裡。

小節

Boosting 是在函數空間做梯度下降:每棵樹擬合目前的負梯度,learning rate 控制每一步走多遠。 三套 GBDT 的差距不大:本例 2–5%,排名穩定,但比特徵工程能拉開的差距小。 樹的預測被訓練時的 y 框住:測試資料跑出訓練範圍時,換哪一套都沒用,要改目標或先去趨勢。

6. 結論

回到前言的三個問題。

三套差多少? 在加州房價上,CatBoost 三次切分都最好,XGBoost 都最差,差距 2–5%。這個比較用的是各家常見寫法,不是調到最好之後的對決。

learning rate 和 early stopping? learning rate 降一半,樹大約多一倍;0.05 以下收益很小。early stopping 在這份資料上主要省時間,硬跑 5000 棵也只差 0.007。但驗證集一定要從訓練集切,不能拿測試集。

什麼時候會輸? 測試資料超出訓練範圍時。樹的預測是葉子平均值的加總,跑不出訓練時見過的 y。目標有趨勢的時間序列最容易中招,修法是改預測變化量,或讓線性模型先吃掉趨勢。

延伸:這篇真正想留下的問題

「樹不會外插」聽起來像一個小限制,但它背後是一個更一般的問題:模型的預測,被什麼東西框住了?

樹被訓練資料的 y 框住。KNN 被訓練資料的點框住。線性模型沒有這個框,所以它能外插,也能錯得離譜。

資料會隨時間漂移時,boosting 的好分數要打個問號:測試期的資料,有沒有跑出訓練期的範圍?


延伸閱讀(本站)

參考資料