Gradient Boosting 實戰:三套 GBDT 差多少?什麼時候會輸給線性回歸?¶
難度:中。需要知道決策樹怎麼切、會用 sklearn。 本文數字來自 Python 3.12、scikit-learn 1.9.1、XGBoost 3.4.1、LightGBM 4.7.0、CatBoost 1.2.10,8 核 CPU,資料是 sklearn 內建的加州房價(20,640 筆、8 個數值特徵)。2026-10-04 執行。
1. 前言¶
表格資料上,gradient boosting 幾乎是預設答案。介紹它的文章大多寫到「每棵樹修正前面的錯誤」,再附一張 XGBoost、LightGBM、CatBoost 的比較表就結束了。
比較表告訴你各家有什麼功能,但沒告訴你換一套之後分數會差多少,也沒說 boosting 在哪種資料上會整個失靈。
本文想回答三個問題:
- 三套 GBDT 實際差多少?(先講結論:在加州房價上,最好和最差差約 5% RMSE。CatBoost 三次切分都最準,但最慢。這個差距比調參能拿到的小,選型不用想太久。)
- learning rate 和樹的數量怎麼取捨?early stopping 在停什麼?(learning rate 越小,要越多棵樹,分數會好一點,0.05 以下就不太動了。early stopping 主要省的是時間:沒有它、跑滿 5000 棵,分數也只差 0.007。)
- 什麼時候 boosting 會輸給線性回歸?(測試資料的範圍超出訓練資料時。樹的預測只能落在訓練時見過的 y 之間,它不會外插。目標有趨勢的時間序列,就是最常踩到的地方。)
本文只討論迴歸、數值特徵、單機 CPU 的情形。
2. 先看機制:每棵樹在學什麼¶
Boosting 的流程只有三行:
- 先全部猜平均值。
- 算出每筆的殘差(真值 − 目前預測),訓練一棵小樹去擬合殘差。
- 把這棵樹的預測乘上一個小數(learning rate)加回去。回到第 2 步。
為什麼是殘差?損失函數用 MSE 時,對預測值的負梯度剛好就是殘差。所以「每棵樹擬合殘差」其實是在函數空間裡做梯度下降,這也是名字裡 gradient 的來源。換成別的損失函數(例如分類用的 log loss),每棵樹擬合的就是那個損失的負梯度。
這三行可以直接寫出來:
import numpy as np
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
X, y = fetch_california_housing(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=0)
lr, trees = 0.1, []
pred_tr = np.full(len(y_tr), y_tr.mean()) # 第 0 步:全部猜平均
for m in range(300):
resid = y_tr - pred_tr # MSE 的負梯度 = 殘差
tree = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X_tr, resid)
pred_tr += lr * tree.predict(X_tr) # 只走一小步
trees.append(tree)
pred_te = y_tr.mean() + lr * sum(t.predict(X_te) for t in trees)
這段手寫版的測試 RMSE 是 0.4924。同樣設定的 sklearn.ensemble.GradientBoostingRegressor 是 0.4925。核心就是這幾行,剩下的都是工程。
值得一提的是第 3 步的 learning rate。每棵樹明明可以把殘差修掉一大半,卻只讓它修 10%。這樣做比較慢,但每一步都不會走過頭,後面的樹還有機會修正前面的錯。第 4 節會看到它的實際效果。
3. 實驗一:三套 GBDT 實際差多少¶
XGBoost、LightGBM、CatBoost 都是上面那三行的工程實作。差別在於樹怎麼長、類別變數怎麼處理、怎麼加速:
| 樹怎麼長 | 類別變數 | 特點 | |
|---|---|---|---|
| XGBoost | 預設 depthwise(一層一層長) | enable_categorical=True 才原生處理 |
最早普及,參數最多 |
| LightGBM | leaf-wise(每次切損失降最多的葉子) | 原生支援 | 快,大資料首選;小資料容易過擬合 |
| CatBoost | 對稱樹(同一層用同一個切點) | 最完整(ordered target statistics) | 預設參數就不差;訓練較慢 |
| sklearn HistGB | depthwise | 原生支援 | 不用裝套件,參數少 |
我們在加州房價上,用同一份切分、同樣的 learning rate 0.05、同樣的 early stopping 規則(驗證集 100 輪沒進步就停),各跑一次:
import xgboost as xgb, lightgbm as lgb, catboost as cb
X_fit, X_val, y_fit, y_val = train_test_split(X_tr, y_tr, test_size=0.2, random_state=0)
m_xgb = xgb.XGBRegressor(n_estimators=5000, learning_rate=0.05, max_depth=6,
early_stopping_rounds=100, n_jobs=8, random_state=0)
m_xgb.fit(X_fit, y_fit, eval_set=[(X_val, y_val)], verbose=False)
m_lgb = lgb.LGBMRegressor(n_estimators=5000, learning_rate=0.05, num_leaves=63,
n_jobs=8, random_state=0, verbose=-1)
m_lgb.fit(X_fit, y_fit, eval_X=(X_val,), eval_y=(y_val,),
callbacks=[lgb.early_stopping(100, verbose=False)])
m_cb = cb.CatBoostRegressor(iterations=5000, learning_rate=0.05, depth=6,
early_stopping_rounds=100, thread_count=8,
random_seed=0, verbose=0)
m_cb.fit(X_fit, y_fit, eval_set=(X_val, y_val))
LightGBM 4.7 起,eval_set 改名為 eval_X / eval_y,舊寫法還能跑但會出警告。
換三種訓練/測試切分(random_state = 0、1、2),測試 RMSE:
| 切分 | XGBoost | LightGBM | CatBoost | HistGB |
|---|---|---|---|---|
| 0 | 0.4474 | 0.4377 | 0.4252 | 0.4419 |
| 1 | 0.4563 | 0.4491 | 0.4464 | 0.4542 |
| 2 | 0.4660 | 0.4555 | 0.4421 | 0.4532 |
切分 0 的訓練時間:XGBoost 10.4 秒、LightGBM 3.2 秒、CatBoost 15.9 秒、HistGB 7.1 秒。
幾件事:
第一,排名三次都一樣:CatBoost 最好,XGBoost 最差,LightGBM 和 HistGB 在中間。最好和最差差 2–5%。
第二,這不是公平的「演算法比較」。四套的預設樹大小不同(XGBoost 深度 6、LightGBM 63 片葉子、CatBoost 深度 6 的對稱樹),其他預設正則化也不一樣。我們比的是「照常見寫法直接用」的結果。
第三,CatBoost 停在 3000 多棵,其他停在 600–1700 棵。對稱樹每棵比較弱,所以要更多棵。
我的選法:資料不大、想少調參,先用 CatBoost;資料大到幾百萬筆、要快,用 LightGBM;不想多裝套件,HistGB 已經夠用。三者的差距,通常比特徵工程能拉開的差距小得多。
4. learning rate 與 early stopping¶
固定用 LightGBM,只改 learning rate,每次都讓 early stopping 自己決定停在哪:
| learning rate | 停在第幾棵 | 測試 RMSE |
|---|---|---|
| 0.3 | 135 | 0.4623 |
| 0.1 | 410 | 0.4421 |
| 0.05 | 767 | 0.4377 |
| 0.01 | 2,612 | 0.4396 |
learning rate 每降一半,樹的數量大約翻倍。分數從 0.3 降到 0.05 時有明顯改善,再往下就不動了(0.01 甚至略差,在這個量級算是雜訊)。
那 early stopping 擋掉了多少過擬合?我拿 learning rate 0.3、不設 early stopping、硬跑滿 5000 棵:測試 RMSE 0.4693,只比停在 135 棵的 0.4623 差 0.007。
這個結果比我預期的溫和。boosting 每一步只走一小段,加上樹本身有葉子大小的限制,過擬合是慢慢來的。在這份資料上,early stopping 主要省的是時間:跑 135 棵和跑 5000 棵的差別。
常見誤解:early stopping 用測試集來停
把 eval_set 設成測試集很常見,分數也會比較好看。但這等於用測試集選了「樹的數量」這個超參數,測試分數就不再是沒看過的資料。
實際後果:線下分數偏樂觀,上線後掉。要從訓練集再切一塊驗證集出來(上面的 X_fit / X_val),測試集留到最後只碰一次。
調參的順序,我自己的習慣:
- learning rate 先固定在 0.05–0.1,用 early stopping 決定樹的數量。
- 調樹的複雜度:
num_leaves/max_depth、min_child_samples。這一步影響最大。 - 調隨機性:
subsample、colsample_bytree(0.7–0.9 常見)。 - 調正則化:
reg_lambda、reg_alpha。 - 最後把 learning rate 降到 0.01–0.03,重跑 early stopping,拿最後一點分數。
第 5 步只在要擠最後 1% 時才做,訓練時間會變成好幾倍。
5. 實驗二:boosting 輸給線性回歸¶
前面都是 boosting 表現好的情境。接著造一個它會失敗的。
讓 y 有一條往上的趨勢,加上週期和雜訊。用前 80% 的時間訓練,後 20% 測試:
import numpy as np, lightgbm as lgb
from sklearn.linear_model import LinearRegression
rng = np.random.default_rng(0)
x = np.arange(1000, dtype=float)
y = 0.05 * x + 10 * np.sin(x / 30) + rng.normal(0, 2, x.size) # 趨勢 + 週期 + 雜訊
X = np.c_[x, np.sin(x / 30)]
tr, te = x < 800, x >= 800
gbm = lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05, verbose=-1).fit(X[tr], y[tr])
lin = LinearRegression().fit(X[tr], y[tr])
測試 RMSE:LightGBM 6.68,線性回歸 1.75。雜訊的標準差是 2,所以線性回歸已經接近天花板,LightGBM 差了將近四倍。
原因回到第 2 節的機制。每片葉子的預測值是「落進這片葉子的訓練樣本」的平均。不管怎麼加總,預測都被訓練時見過的 y 框住。實際數字:測試期 y 的平均是 45.3,訓練期 y 的最大值是 51.3,而 LightGBM 在整個測試期的預測最大只到 50.4。測試期的 x 比訓練期大,但對樹來說,「x = 900」和「x = 799」落在同一片葉子裡。
樹只會內插,不會外插。 這個限制跟用哪一套 GBDT 無關,四套都一樣。
修法:讓線性模型處理趨勢,樹只學剩下的部分。
resid = y[tr] - lin.predict(X[tr])
gbm2 = lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05, verbose=-1).fit(X[tr], resid)
pred = lin.predict(X[te]) + gbm2.predict(X[te])
測試 RMSE 回到 1.93。實務上更常見的做法是改變預測目標:不預測價格本身,改預測變化量或比例(報酬率、成長率),讓目標落在一個不會一路往上的範圍裡。
小節
Boosting 是在函數空間做梯度下降:每棵樹擬合目前的負梯度,learning rate 控制每一步走多遠。 三套 GBDT 的差距不大:本例 2–5%,排名穩定,但比特徵工程能拉開的差距小。 樹的預測被訓練時的 y 框住:測試資料跑出訓練範圍時,換哪一套都沒用,要改目標或先去趨勢。
6. 結論¶
回到前言的三個問題。
三套差多少? 在加州房價上,CatBoost 三次切分都最好,XGBoost 都最差,差距 2–5%。這個比較用的是各家常見寫法,不是調到最好之後的對決。
learning rate 和 early stopping? learning rate 降一半,樹大約多一倍;0.05 以下收益很小。early stopping 在這份資料上主要省時間,硬跑 5000 棵也只差 0.007。但驗證集一定要從訓練集切,不能拿測試集。
什麼時候會輸? 測試資料超出訓練範圍時。樹的預測是葉子平均值的加總,跑不出訓練時見過的 y。目標有趨勢的時間序列最容易中招,修法是改預測變化量,或讓線性模型先吃掉趨勢。
延伸:這篇真正想留下的問題¶
「樹不會外插」聽起來像一個小限制,但它背後是一個更一般的問題:模型的預測,被什麼東西框住了?
樹被訓練資料的 y 框住。KNN 被訓練資料的點框住。線性模型沒有這個框,所以它能外插,也能錯得離譜。
資料會隨時間漂移時,boosting 的好分數要打個問號:測試期的資料,有沒有跑出訓練期的範圍?
延伸閱讀(本站)¶
- ML 核心觀念 — §6 Bagging vs Boosting、樹模型家族的觀念整理
- Géron《Hands-On ML》Ch1–9 重點整理 — Ch7 AdaBoost 與 Gradient Boosting 的原理
- 模型可解釋性 — 訓練好的 GBDT 怎麼看它學到什麼
- 金融時間序列 ML — 時序資料的 CV 切法與洩漏
- 常見 ML Case Study — Case 3 時間序列預測的 LightGBM 骨架
參考資料¶
- Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5)
- Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. KDD 2016
- Ke, G. et al. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. NeurIPS 2017
- Prokhorenkova, L. et al. (2018). CatBoost: unbiased boosting with categorical features. NeurIPS 2018
- LightGBM 官方文件:Parameters Tuning
- 本頁實驗為自行執行:加州房價 80/20 切分、訓練集再切 20% 當驗證集,2026-10-04