跳轉到

模型評估與 Cross-Validation 實務:分數高,模型就真的好嗎?

難度:中。會用 sklearn 訓練模型,知道混淆矩陣。 本頁的實驗數字來自 Python 3.12、scikit-learn 1.9.1,2026-10-04 執行。 本頁定位:本區評估指標與 CV 策略的完整版。〈ML 核心觀念〉§7、§8 是同主題的速查版。

前言

模型訓練得再好,評估做錯了,選出來的模型就是錯的。而評估出錯時通常不會報錯,只會給你一個比實際好看的數字。

本頁回答三個問題:

  • 不平衡資料上,為什麼 ROC-AUC 會讓人太樂觀?(先講結論:ROC-AUC 看的是「正例排在負例前面的機率」,負例很多時,它幾乎不受誤報數量影響。同一個模型,正例佔 1.5% 時 ROC-AUC 0.741 看起來還行,PR-AUC 只有 0.081。)
  • 該用哪一種 CV?(看資料的結構:分類用 Stratified、同一個人有多筆資料用 Group、有時間順序用 TimeSeriesSplit。切法錯了,分數會系統性地偏高。)
  • 為什麼調參和估分數要分開?(用同一份驗證資料挑最好的參數,再拿它的分數當成績,等於挑了「最幸運的那一次」。要用 Nested CV,或嚴格的訓練/驗證/測試三切。)

1. 先想清楚:你在量什麼

先定義什麼叫成功,再去查指標公式。三個問題:

  1. 任務類型:分類?回歸?排序?
  2. 誤差的非對稱性:False Negative 比 False Positive 更貴嗎?(醫療診斷 vs 垃圾郵件)
  3. 資料特性:類別不平衡?樣本有群組結構?時序?

2. 分類指標速查

TP = 預測為正、實際為正
FP = 預測為正、實際為負(誤報)
FN = 預測為負、實際為正(漏報)
TN = 預測為負、實際為負
指標 公式 用途 陷阱
Accuracy (TP+TN)/(全部) 類別平衡時直觀 不平衡資料會誤導:99% 負例全猜負也有 99%
Precision TP/(TP+FP) 誤報代價高(垃圾郵件誤殺重要信) 配合 Recall 看,單看沒意義
Recall TP/(TP+FN) 漏報代價高(腫瘤漏診) 全猜正可得 Recall=1,但 Precision=0
F1 2·P·R/(P+R) P 和 R 並重時的調和平均 仍假設 P/R 等重;不等重用 Fβ
AUC-ROC ROC 曲線下面積 對閾值不敏感,評整體排序能力 嚴重不平衡時會偏樂觀
PR-AUC Precision-Recall 曲線下面積 不平衡資料的首選 隨機基線=正例比例,正例比例不同的資料集不能直接比數字

不平衡資料的評估建議

類別比例 > 1:10 時: - 不用 Accuracy,改用 PR-AUC 或 F1 - Confusion matrix 必看,別只看彙總指標 - class_weight='balanced' 是調模型,不是調評估

from sklearn.metrics import classification_report, roc_auc_score, average_precision_score

print(classification_report(y_test, y_pred))
print("AUC-ROC:", roc_auc_score(y_test, y_prob))
print("PR-AUC:", average_precision_score(y_test, y_prob))  # 不平衡時更重要

實驗:同一個模型,正例比例不同

我們用 make_classification 造 50,000 筆、20 個特徵的資料,只改正例的比例,每次都訓練一個邏輯回歸,在 30% 的測試集上算兩種 AUC:

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, average_precision_score

for w in [0.5, 0.1, 0.01]:
    X, y = make_classification(n_samples=50000, n_features=20, n_informative=5,
                               weights=[1 - w], flip_y=0.01, class_sep=0.8, random_state=0)
    Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=0)
    p = LogisticRegression(max_iter=1000).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
    print(yte.mean(), roc_auc_score(yte, p), average_precision_score(yte, p))
測試集正例比例 ROC-AUC PR-AUC PR-AUC 的隨機基線
49.9% 0.832 0.837 0.499
10.4% 0.822 0.471 0.104
1.5% 0.741 0.081 0.015

(flip_y=0.01 會隨機翻轉 1% 的標籤,所以設定 1% 的那組實際正例是 1.5%。)

正例從一半降到 10%,ROC-AUC 幾乎沒動(0.832 → 0.822),PR-AUC 從 0.837 掉到 0.471。

原因在分母。ROC 曲線的 x 軸是誤報率 FP / 全部負例。負例有幾萬筆時,多誤報幾百筆,誤報率也只動一點點,曲線依然漂亮。PR 曲線的 precision 是 TP / (TP + FP),直接拿誤報和抓到的正例比,誤報一多就掉下來。

PR-AUC(sklearn 算的是 average precision)粗略地說,是「把各種閾值下的 precision 平均起來」。1.5% 那組的 0.081 意思是:模型說「這是正例」的時候,平均大約只有 8% 是對的。ROC-AUC 0.741 不會讓你知道這件事。

PR-AUC 要和它的隨機基線比,而基線就是正例比例。0.081 對上 0.015 是 5 倍多,模型有學到東西;但正例比例不同的兩份資料,PR-AUC 的數字不能直接比。

常見誤解:ROC-AUC 和閾值無關,所以最客觀

和閾值無關是真的,但它把「抓到正例」和「誤報」用兩個不同的分母去算。負例很多時,誤報的代價被稀釋了。 後果是:一個說「正例」時大約只有 8% 對的模型,ROC-AUC 看起來仍然中上。正例很少時,一定要同時報 PR-AUC 和它的基線。


3. 回歸指標速查

指標 特性 適用情境
MAE 對離群值穩健,單位同 y 離群值常見時、需要可解釋誤差
MSE / RMSE 懲罰大誤差,RMSE 單位同 y 大誤差比小誤差嚴重時
MAPE 百分比誤差,可跨不同量級比較 y 值都 > 0;y 值近 0 時會爆
R² 解釋變異的比例,1 最好,可為負 快速理解模型 vs 均值基線的差距
Median AE 比 MAE 更抗離群 離群值極端時

⚠️ 回歸模型如果目標做了 log 轉換,記得把預測值反轉回原始尺度再算 MAE/RMSE——否則指標是 log 尺度的,和業務定義的「誤差」不一致。

import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# 如果 y 做過 log1p 轉換
y_pred_original = np.expm1(y_pred_log)
y_test_original = np.expm1(y_test_log)

mae  = mean_absolute_error(y_test_original, y_pred_original)
rmse = np.sqrt(mean_squared_error(y_test_original, y_pred_original))
r2   = r2_score(y_test_original, y_pred_original)

4. Cross-Validation 策略一覽

策略 何時用 注意事項
KFold 回歸、類別平衡分類 shuffle=True, random_state= 確保可重現
StratifiedKFold 分類(預設首選) 確保每折類別比例和全集一致
GroupKFold 同一個 entity 的多筆資料(同一個用戶的多次點擊) 防止 group 內資料跨折造成 leakage
TimeSeriesSplit 時序資料 只往前預測,不能讓未來資料進訓練折
LOOCV 小資料集(< 100 筆) 計算量大(N 次訓練);估計無偏但 variance 高
RepeatedStratifiedKFold 追求穩定的估計(多次重複取平均) 計算量 × repeat 倍

核心原則:測試折不能「看到」訓練資訊

最常見的 CV 錯誤是在 cross_val_score 外面先做了 StandardScaler、SMOTE 或特徵選擇——這讓 scaler 的 mean_/scale_ 來自全部資料,測試折被「看見了」。(SMOTE 這類重採樣要放進 imblearn.pipeline.Pipeline,sklearn 的 Pipeline 不收 sampler。)

正解:把所有前處理包進 Pipeline,讓每折各自 fit:

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('clf', LogisticRegression(max_iter=1000))
])

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(pipe, X, y, cv=cv, scoring='roc_auc')
print(f"AUC: {scores.mean():.4f} ± {scores.std():.4f}")

時序 CV:用 TimeSeriesSplit

from sklearn.model_selection import TimeSeriesSplit, cross_val_score

tscv = TimeSeriesSplit(n_splits=5)
scores = cross_val_score(pipe, X_ts, y_ts, cv=tscv, scoring='neg_mean_absolute_error')
print(f"MAE: {-scores.mean():.4f}")

⚠️ 時序資料也要注意 feature leakage:如果特徵裡有「未來才能知道的資訊」(如月底才有的月報數字用於預測月中),CV 分數會虛高,上線後一定掉。

GroupKFold:防止 entity 跨折

from sklearn.model_selection import GroupKFold

gkf = GroupKFold(n_splits=5)
# groups = 每筆資料屬於哪個 entity(如 user_id)
scores = cross_val_score(pipe, X, y, cv=gkf, groups=groups, scoring='f1')

5. Nested CV:超參數選擇 ≠ 模型性能估計

最常見的評估錯誤之一:用同一份 validation set 既選超參數又估模型性能——這會讓性能估計樂觀偏誤(等於在同一份資料上挑了表現最好的一次)。

正確做法是 Nested CV:

外層 CV(評估性能)
  └── 每折裡做內層 CV(選超參數)
from sklearn.model_selection import GridSearchCV, cross_val_score, StratifiedKFold
from sklearn.ensemble import RandomForestClassifier

inner_cv = StratifiedKFold(n_splits=3, shuffle=True, random_state=1)
outer_cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

param_grid = {'clf__n_estimators': [100, 300], 'clf__max_depth': [None, 5, 10]}

pipe = Pipeline([('clf', RandomForestClassifier(random_state=0))])
grid_search = GridSearchCV(pipe, param_grid, cv=inner_cv, scoring='roc_auc')

# 外層 CV 估計泛化性能(每折都跑一次完整的內層超參數搜索)
nested_scores = cross_val_score(grid_search, X, y, cv=outer_cv, scoring='roc_auc')
print(f"Nested CV AUC: {nested_scores.mean():.4f} ± {nested_scores.std():.4f}")

Nested CV 計算量是 outer_splits × inner_splits × 超參數組數,資料大時很貴。折中做法:用訓練集的一個固定 holdout 做內層調參,外層仍做 CV 估性能。不如 nested CV 嚴謹,但工程上常用。


6. 選最終模型並估真實性能

標準三切法:

from sklearn.model_selection import train_test_split

X_temp, X_test, y_temp, y_test = train_test_split(X, y, test_size=0.15, stratify=y, random_state=42)
X_train, X_val, y_train, y_val = train_test_split(X_temp, y_temp, test_size=0.18, stratify=y_temp, random_state=42)
# 結果約 70 / 15 / 15

# 用 train+val 做 CV 調參 → 用 test 最後報告性能
# test 只碰一次。碰了就不能再調。

⚠️ Test set 只能碰一次。看了 test 分數再調超參數,test 就污染了,不再是真實估計。如果測試結果不如預期,要回頭改訓練/驗證策略,而不是反覆試到 test 分數變好看。


7. 常見陷阱整理

陷阱 症狀 解法
CV 前全量 fit scaler 線下 CV 分數虛高,上線後表現差 用 Pipeline 包前處理
時序不用 TimeSeriesSplit 訓練時「看到未來」,分數虛高 TimeSeriesSplit 或手動按時間切
用 accuracy 評不平衡資料 全猜多數類也有高分 改用 PR-AUC 或 F1
超參數選擇和性能估計用同一份 val 估計樂觀偏誤 Nested CV 或嚴格三切
Group leakage 同一 entity 的樣本跨了 train/test GroupKFold
多次比較膨脹 試了 50 組超參數選最好的,分數虛報 Nested CV;記錄所有試驗結果而非只報最好

結論

回到前言的三個問題。

ROC-AUC 為什麼會太樂觀? 它的誤報率除以全部負例,負例多時誤報被稀釋。正例 1.5% 時,ROC-AUC 0.741、PR-AUC 0.081。不平衡資料要報 PR-AUC,並和正例比例這個基線比。

該用哪一種 CV? 看資料結構。分類用 StratifiedKFold;同一個實體有多筆資料用 GroupKFold;有時間順序用 TimeSeriesSplit。金融這類標籤重疊的時序資料,還要注意 purge(見〈金融時間序列 ML〉)。

為什麼調參和估分數要分開? 挑最好的那組參數時,你同時挑到了最幸運的雜訊。用 Nested CV,或三切後測試集只碰一次。

延伸:這篇真正想留下的問題

每個評估方法都在模擬同一件事:模型上線後,遇到它從沒看過的資料,會表現得怎樣。 指標選錯,是模擬的「成績單」錯了;CV 切錯,是模擬的「考試情境」錯了。

一個分數本身說明不了什麼。要看的是:它是在什麼樣的考試裡考出來的?那場考試像真實上線嗎?


延伸閱讀(本站)

參考資料