跳轉到

模型可解釋性:Feature Importance 在量什麼?SHAP 什麼時候會分錯功勞?

難度:中。需要會訓練樹模型,知道 R² 是什麼。 本文數字來自 Python 3.12、scikit-learn 1.9.1、LightGBM 4.7.0、shap 0.52.0,資料是 sklearn 內建的加州房價(20,640 筆),額外加了一欄純亂數。2026-10-04 執行。

1. 前言

模型訓練完,下一個問題通常是「它看重哪些特徵」。最常見的做法是印出 model.feature_importances_,畫一張長條圖,排第一的就寫進報告。

同一個模型、同一份資料,我用三種方法算「哪個特徵最重要」,得到三個不同的排名。前兩名甚至對調。三個方法都沒算錯。它們回答的是不同問題。

本文想回答三個問題:

  • 內建的 feature importance 在量什麼?(先講結論:量的是「訓練時這個特徵被拿來切了多少次、每次切掉多少誤差」。它看的是訓練集,所以模型背下來的雜訊也會被算進去。一欄純亂數在這裡拿到 0.018,不是 0。)
  • Permutation importance 和 SHAP 各在回答什麼?(permutation 問的是「把這欄打亂,測試分數掉多少」,是整個模型的層級。SHAP 問的是「這一筆預測裡,每個特徵各推了多少」,是單筆的層級,而且所有特徵加起來剛好等於預測值。)
  • 什麼時候三種方法會一起騙你?(兩個特徵高度相關的時候。permutation 打亂其中一欄,另一欄會補上,兩欄看起來都只剩原本的四分之一;SHAP 則把功勞拆給兩欄,拆法不一定照你想的分。)

本文只討論表格資料、樹模型、迴歸的情形。

2. 實驗一:三種方法,三種排名

我們在加州房價的 8 個特徵之外,加一欄 noise:標準常態亂數,和房價完全無關。

import numpy as np, pandas as pd
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.inspection import permutation_importance

d = fetch_california_housing(as_frame=True)
X, y = d.data.copy(), d.target
rng = np.random.default_rng(0)
X["noise"] = rng.normal(size=len(X))                  # 純亂數,和 y 無關
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=0)

rf = RandomForestRegressor(200, n_jobs=-1, random_state=0).fit(X_tr, y_tr)
impurity = pd.Series(rf.feature_importances_, X.columns)
pi = permutation_importance(rf, X_te, y_te, n_repeats=10, random_state=0, n_jobs=-1)
perm = pd.Series(pi.importances_mean, X.columns)

SHAP 用 LightGBM 算(shap.TreeExplainer 對 boosting 模型最快),取每個特徵在測試集上的平均 |SHAP|:

import shap, lightgbm as lgb
gbm = lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05, verbose=-1, random_state=0).fit(X_tr, y_tr)
explainer = shap.TreeExplainer(gbm)
sv = explainer.shap_values(X_te)                      # 形狀:(測試筆數, 特徵數)
mean_abs_shap = pd.Series(np.abs(sv).mean(0), X.columns)

結果:

排名 不純度 importance(RF) Permutation(RF,測試集) 平均 |SHAP|(LightGBM)
1 MedInc 0.528 MedInc 0.806 Latitude 0.445
2 AveOccup 0.132 Latitude 0.409 MedInc 0.411
3 Latitude 0.083 Longitude 0.320 Longitude 0.375
4 Longitude 0.082 AveOccup 0.202 AveOccup 0.205
…
最後 noise 0.018 noise −0.000 noise 0.008

三欄的單位不一樣,不能橫著比數字,只能比排名。

MedInc 是街區收入中位數,AveOccup 是平均每戶人數,Latitude/Longitude 是經緯度。

3. 為什麼排名不同:三種方法各量一件事

3.1 不純度 importance:訓練時切了多少

樹每次切分,都會讓某個誤差指標(迴歸用 MSE)下降一點。不純度 importance 把每個特徵在所有樹、所有切點上造成的下降加總,再正規化成總和 1。

問題在「訓練時」三個字。隨機森林的樹長到很深,會在訓練集上背下雜訊。背雜訊也要切分,切分就會被記一筆功勞。所以 noise 拿到 0.018,跟 AveBedrms(0.028)、Population(0.031)差不多。

另一個偏差:可切點越多的特徵越佔便宜。連續特徵有上萬個可切位置,只有三種值的類別特徵只有兩個,前者天生比較容易被選中。

值得一提的是,AveOccup 在這裡排第二,在 permutation 只排第四。我的解讀是:它的分布很長尾(少數街區每戶好幾十人),樹在尾巴切了很多刀,這些切分在訓練集上很有用,但測試集上換不到同樣多的分數。

3.2 Permutation importance:打亂後掉多少

做法:在測試集上,把某一欄的值隨機打亂,其他欄不動,看 R² 掉多少。掉越多,代表模型越依賴這欄。

它量的是模型在沒看過的資料上靠這欄拿了多少分。noise 在測試集上是 −0.000:打亂它,分數完全不動。

拿訓練集算同一件事,noise 會變成 0.015。這就是模型背下來的部分。permutation importance 一定要在測試集或驗證集上算。

3.3 SHAP:這一筆,每個特徵推了多少

SHAP 來自賽局理論的 Shapley value。想像特徵一個一個加進模型,算每個特徵加進來時讓預測變了多少;把所有加入順序都試一遍,取平均。這個平均就是該特徵在這一筆的 SHAP 值。

它有一個很好用的性質:基準值加上所有特徵的 SHAP 值,剛好等於這筆的預測。 拿測試集第 0 筆來看:

基準值(訓練集預測平均)  2.072
+ Longitude   −0.799   (經度 −117.05:聖地牙哥一帶)
+ Latitude    +0.519   (緯度 32.58)
+ AveOccup    −0.436   (每戶 4.18 人,偏擠)
+ MedInc      +0.052
+ 其他 5 欄   合計 +0.011
= 1.420  ←  模型預測也是 1.420

所以 SHAP 能回答「為什麼這一筆被估成 1.42」,這是前兩種方法做不到的。把每筆的 |SHAP| 平均起來,才變成全域的重要度。

shap.TreeExplainer 對樹模型可以精確計算,不用抽樣近似。資料 4,128 筆、9 個特徵,在一般筆電上幾秒就算完。

那為什麼 SHAP 說 Latitude 第一?因為經緯度在加州是一組:沿海和內陸、南北之間房價差很多。單看一個座標說不了什麼,兩個一起才是位置。經緯度的效果常常以交互作用的形式出現,Shapley value 會把交互作用的功勞平分給參與的特徵,所以兩欄都被抬高。permutation 只打亂一欄,另一欄還在,加上收入本身就很強,MedInc 就排第一了。

兩邊都沒錯。問題是你想知道哪一件事。

小節

不純度 importance 看訓練集,會把模型背下的雜訊算進去,也偏愛可切點多的特徵。快速瀏覽可以,寫進報告不行。 Permutation importance 看測試集,問的是「沒有這欄,分數掉多少」。 SHAP 看單筆,所有特徵加起來等於預測值,可以解釋個別結果;平均後才是全域重要度。 三者都隱含一個假設:特徵彼此不要太像。下一節讓這個假設不成立。

4. 實驗二:加一欄幾乎一樣的特徵

我們複製一份 MedInc,加一點點雜訊,叫它 MedInc_2。兩欄的相關係數是 0.9988。

X["MedInc_2"] = X["MedInc"] + rng.normal(0, 0.05 * X["MedInc"].std(), len(X))

模型本身幾乎沒變:隨機森林的測試 R² 從 0.799 變成 0.798。但重要度變了很多:

原本(只有 MedInc) 加了複本之後
MedInc 的 permutation importance 0.806 0.224
MedInc_2 的 permutation importance — 0.222
兩欄一起打亂(10 次平均) — 0.799
MedInc 的平均 |SHAP| 0.411 0.274
MedInc_2 的平均 |SHAP| — 0.140

Permutation importance 的問題:打亂 MedInc 時,MedInc_2 還在,模型改用它就好,分數只掉 0.224。打亂 MedInc_2 時也一樣。兩欄各自看起來只剩原本的四分之一左右,排名從第一掉到第三,被 Latitude(0.409)超過。但兩欄一起打亂,掉 0.799,和原本單一欄的 0.806 幾乎一樣。

只看單欄的結果,你會以為「收入沒那麼重要」。真相是收入一樣重要,只是有兩欄在講同一件事。

SHAP 的問題比較隱蔽:兩欄加起來 0.414,和原本的 0.411 幾乎一樣,總量是守住的。但它拆成 0.274 對 0.140,不是一半一半。拆法取決於樹在訓練時剛好比較常選哪一欄。換一個亂數種子,比例可能就不同。

如果這兩欄不是複本,而是「收入」和「教育程度」這種高度相關、但意義不同的特徵,你就會從這個拆分讀出一個並不存在的結論:「收入比教育重要兩倍」。

修法:把相關的特徵當一組看。

  • Permutation importance:把同一組的欄位一起打亂。上面「兩欄一起打亂」那一列就是這樣算的。
  • SHAP:把同一組的 SHAP 值加起來再報告。SHAP 的可加性讓這一步很合理。
  • 分組前先看相關矩陣,或用階層式分群把相關係數高的特徵分在一起。sklearn 的文件裡有一個用 Spearman 相關做分群的範例(見參考資料)。
# 一組欄位一起打亂,看 R² 掉多少
from sklearn.metrics import r2_score
def group_permutation(model, X, y, cols, rng):
    Xp = X.copy()
    idx = rng.permutation(len(Xp))
    Xp[cols] = Xp[cols].to_numpy()[idx]
    return r2_score(y, model.predict(X)) - r2_score(y, model.predict(Xp))

5. 結論

回到前言的三個問題。

內建 feature importance 在量什麼? 訓練時每個特徵讓誤差降了多少。它看的是訓練集,會把雜訊算進去(純亂數拿到 0.018),也偏愛連續特徵。

Permutation 和 SHAP 各回答什麼? Permutation:在測試集上,沒有這欄(打亂它)分數掉多少,是模型層級的問題。SHAP:這一筆預測裡,每個特徵各推了多少,加總等於預測值,是單筆層級的問題。兩者排名不同是正常的,經緯度這種靠交互作用起作用的特徵,SHAP 會給得比較高。

什麼時候一起騙你? 特徵高度相關時。Permutation 會讓每一欄都顯得不重要(0.806 → 0.224),SHAP 會照模型的偏好不均勻地拆功勞(0.274 對 0.140)。修法是把相關的特徵分組,一起打亂、一起加總。

我的習慣:報告裡放 permutation importance(測試集、分組後)當全域排名,SHAP 用來解釋個別預測和畫依賴圖。內建的 feature_importances_ 只在 debug 時看。

延伸:這篇真正想留下的問題

三種方法量的都是「模型依賴哪些特徵」,不是「真實世界裡什麼影響房價」。

一個特徵 SHAP 值很大,代表模型用它來做預測。它可能是原因,也可能只是和原因一起出現。拿掉它,模型會改用別的欄位;但在真實世界裡改變它,房價不一定跟著動。

寫下「X 是最重要的因素」之前,先分清楚:我在描述模型,還是在描述世界?


延伸閱讀(本站)

參考資料