模型評估與 Cross-Validation 實務:分數高,模型就真的好嗎?¶
難度:中。會用 sklearn 訓練模型,知道混淆矩陣。 本頁的實驗數字來自 Python 3.12、scikit-learn 1.9.1,2026-10-04 執行。 本頁定位:本區評估指標與 CV 策略的完整版。〈ML 核心觀念〉§7、§8 是同主題的速查版。
前言¶
模型訓練得再好,評估做錯了,選出來的模型就是錯的。而評估出錯時通常不會報錯,只會給你一個比實際好看的數字。
本頁回答三個問題:
- 不平衡資料上,為什麼 ROC-AUC 會讓人太樂觀?(先講結論:ROC-AUC 看的是「正例排在負例前面的機率」,負例很多時,它幾乎不受誤報數量影響。同一個模型,正例佔 1.5% 時 ROC-AUC 0.741 看起來還行,PR-AUC 只有 0.081。)
- 該用哪一種 CV?(看資料的結構:分類用 Stratified、同一個人有多筆資料用 Group、有時間順序用 TimeSeriesSplit。切法錯了,分數會系統性地偏高。)
- 為什麼調參和估分數要分開?(用同一份驗證資料挑最好的參數,再拿它的分數當成績,等於挑了「最幸運的那一次」。要用 Nested CV,或嚴格的訓練/驗證/測試三切。)
1. 先想清楚:你在量什麼¶
先定義什麼叫成功,再去查指標公式。三個問題:
- 任務類型:分類?回歸?排序?
- 誤差的非對稱性:False Negative 比 False Positive 更貴嗎?(醫療診斷 vs 垃圾郵件)
- 資料特性:類別不平衡?樣本有群組結構?時序?
2. 分類指標速查¶
| 指標 | 公式 | 用途 | 陷阱 |
|---|---|---|---|
| Accuracy | (TP+TN)/(全部) | 類別平衡時直觀 | 不平衡資料會誤導:99% 負例全猜負也有 99% |
| Precision | TP/(TP+FP) | 誤報代價高(垃圾郵件誤殺重要信) | 配合 Recall 看,單看沒意義 |
| Recall | TP/(TP+FN) | 漏報代價高(腫瘤漏診) | 全猜正可得 Recall=1,但 Precision=0 |
| F1 | 2·P·R/(P+R) | P 和 R 並重時的調和平均 | 仍假設 P/R 等重;不等重用 Fβ |
| AUC-ROC | ROC 曲線下面積 | 對閾值不敏感,評整體排序能力 | 嚴重不平衡時會偏樂觀 |
| PR-AUC | Precision-Recall 曲線下面積 | 不平衡資料的首選 | 隨機基線=正例比例,正例比例不同的資料集不能直接比數字 |
不平衡資料的評估建議¶
類別比例 > 1:10 時:
- 不用 Accuracy,改用 PR-AUC 或 F1
- Confusion matrix 必看,別只看彙總指標
- class_weight='balanced' 是調模型,不是調評估
from sklearn.metrics import classification_report, roc_auc_score, average_precision_score
print(classification_report(y_test, y_pred))
print("AUC-ROC:", roc_auc_score(y_test, y_prob))
print("PR-AUC:", average_precision_score(y_test, y_prob)) # 不平衡時更重要
實驗:同一個模型,正例比例不同¶
我們用 make_classification 造 50,000 筆、20 個特徵的資料,只改正例的比例,每次都訓練一個邏輯回歸,在 30% 的測試集上算兩種 AUC:
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, average_precision_score
for w in [0.5, 0.1, 0.01]:
X, y = make_classification(n_samples=50000, n_features=20, n_informative=5,
weights=[1 - w], flip_y=0.01, class_sep=0.8, random_state=0)
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=0)
p = LogisticRegression(max_iter=1000).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
print(yte.mean(), roc_auc_score(yte, p), average_precision_score(yte, p))
| 測試集正例比例 | ROC-AUC | PR-AUC | PR-AUC 的隨機基線 |
|---|---|---|---|
| 49.9% | 0.832 | 0.837 | 0.499 |
| 10.4% | 0.822 | 0.471 | 0.104 |
| 1.5% | 0.741 | 0.081 | 0.015 |
(flip_y=0.01 會隨機翻轉 1% 的標籤,所以設定 1% 的那組實際正例是 1.5%。)
正例從一半降到 10%,ROC-AUC 幾乎沒動(0.832 → 0.822),PR-AUC 從 0.837 掉到 0.471。
原因在分母。ROC 曲線的 x 軸是誤報率 FP / 全部負例。負例有幾萬筆時,多誤報幾百筆,誤報率也只動一點點,曲線依然漂亮。PR 曲線的 precision 是 TP / (TP + FP),直接拿誤報和抓到的正例比,誤報一多就掉下來。
PR-AUC(sklearn 算的是 average precision)粗略地說,是「把各種閾值下的 precision 平均起來」。1.5% 那組的 0.081 意思是:模型說「這是正例」的時候,平均大約只有 8% 是對的。ROC-AUC 0.741 不會讓你知道這件事。
PR-AUC 要和它的隨機基線比,而基線就是正例比例。0.081 對上 0.015 是 5 倍多,模型有學到東西;但正例比例不同的兩份資料,PR-AUC 的數字不能直接比。
常見誤解:ROC-AUC 和閾值無關,所以最客觀
和閾值無關是真的,但它把「抓到正例」和「誤報」用兩個不同的分母去算。負例很多時,誤報的代價被稀釋了。 後果是:一個說「正例」時大約只有 8% 對的模型,ROC-AUC 看起來仍然中上。正例很少時,一定要同時報 PR-AUC 和它的基線。
3. 回歸指標速查¶
| 指標 | 特性 | 適用情境 |
|---|---|---|
| MAE | 對離群值穩健,單位同 y | 離群值常見時、需要可解釋誤差 |
| MSE / RMSE | 懲罰大誤差,RMSE 單位同 y | 大誤差比小誤差嚴重時 |
| MAPE | 百分比誤差,可跨不同量級比較 | y 值都 > 0;y 值近 0 時會爆 |
| R² | 解釋變異的比例,1 最好,可為負 | 快速理解模型 vs 均值基線的差距 |
| Median AE | 比 MAE 更抗離群 | 離群值極端時 |
⚠️ 回歸模型如果目標做了 log 轉換,記得把預測值反轉回原始尺度再算 MAE/RMSE——否則指標是 log 尺度的,和業務定義的「誤差」不一致。
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
# 如果 y 做過 log1p 轉換
y_pred_original = np.expm1(y_pred_log)
y_test_original = np.expm1(y_test_log)
mae = mean_absolute_error(y_test_original, y_pred_original)
rmse = np.sqrt(mean_squared_error(y_test_original, y_pred_original))
r2 = r2_score(y_test_original, y_pred_original)
4. Cross-Validation 策略一覽¶
| 策略 | 何時用 | 注意事項 |
|---|---|---|
| KFold | 回歸、類別平衡分類 | shuffle=True, random_state= 確保可重現 |
| StratifiedKFold | 分類(預設首選) | 確保每折類別比例和全集一致 |
| GroupKFold | 同一個 entity 的多筆資料(同一個用戶的多次點擊) | 防止 group 內資料跨折造成 leakage |
| TimeSeriesSplit | 時序資料 | 只往前預測,不能讓未來資料進訓練折 |
| LOOCV | 小資料集(< 100 筆) | 計算量大(N 次訓練);估計無偏但 variance 高 |
| RepeatedStratifiedKFold | 追求穩定的估計(多次重複取平均) | 計算量 × repeat 倍 |
核心原則:測試折不能「看到」訓練資訊¶
最常見的 CV 錯誤是在 cross_val_score 外面先做了 StandardScaler、SMOTE 或特徵選擇——這讓 scaler 的 mean_/scale_ 來自全部資料,測試折被「看見了」。(SMOTE 這類重採樣要放進 imblearn.pipeline.Pipeline,sklearn 的 Pipeline 不收 sampler。)
正解:把所有前處理包進 Pipeline,讓每折各自 fit:
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
pipe = Pipeline([
('scaler', StandardScaler()),
('clf', LogisticRegression(max_iter=1000))
])
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(pipe, X, y, cv=cv, scoring='roc_auc')
print(f"AUC: {scores.mean():.4f} ± {scores.std():.4f}")
時序 CV:用 TimeSeriesSplit¶
from sklearn.model_selection import TimeSeriesSplit, cross_val_score
tscv = TimeSeriesSplit(n_splits=5)
scores = cross_val_score(pipe, X_ts, y_ts, cv=tscv, scoring='neg_mean_absolute_error')
print(f"MAE: {-scores.mean():.4f}")
⚠️ 時序資料也要注意 feature leakage:如果特徵裡有「未來才能知道的資訊」(如月底才有的月報數字用於預測月中),CV 分數會虛高,上線後一定掉。
GroupKFold:防止 entity 跨折¶
from sklearn.model_selection import GroupKFold
gkf = GroupKFold(n_splits=5)
# groups = 每筆資料屬於哪個 entity(如 user_id)
scores = cross_val_score(pipe, X, y, cv=gkf, groups=groups, scoring='f1')
5. Nested CV:超參數選擇 ≠ 模型性能估計¶
最常見的評估錯誤之一:用同一份 validation set 既選超參數又估模型性能——這會讓性能估計樂觀偏誤(等於在同一份資料上挑了表現最好的一次)。
正確做法是 Nested CV:
from sklearn.model_selection import GridSearchCV, cross_val_score, StratifiedKFold
from sklearn.ensemble import RandomForestClassifier
inner_cv = StratifiedKFold(n_splits=3, shuffle=True, random_state=1)
outer_cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
param_grid = {'clf__n_estimators': [100, 300], 'clf__max_depth': [None, 5, 10]}
pipe = Pipeline([('clf', RandomForestClassifier(random_state=0))])
grid_search = GridSearchCV(pipe, param_grid, cv=inner_cv, scoring='roc_auc')
# 外層 CV 估計泛化性能(每折都跑一次完整的內層超參數搜索)
nested_scores = cross_val_score(grid_search, X, y, cv=outer_cv, scoring='roc_auc')
print(f"Nested CV AUC: {nested_scores.mean():.4f} ± {nested_scores.std():.4f}")
Nested CV 計算量是 outer_splits × inner_splits × 超參數組數,資料大時很貴。折中做法:用訓練集的一個固定 holdout 做內層調參,外層仍做 CV 估性能。不如 nested CV 嚴謹,但工程上常用。
6. 選最終模型並估真實性能¶
標準三切法:
from sklearn.model_selection import train_test_split
X_temp, X_test, y_temp, y_test = train_test_split(X, y, test_size=0.15, stratify=y, random_state=42)
X_train, X_val, y_train, y_val = train_test_split(X_temp, y_temp, test_size=0.18, stratify=y_temp, random_state=42)
# 結果約 70 / 15 / 15
# 用 train+val 做 CV 調參 → 用 test 最後報告性能
# test 只碰一次。碰了就不能再調。
⚠️ Test set 只能碰一次。看了 test 分數再調超參數,test 就污染了,不再是真實估計。如果測試結果不如預期,要回頭改訓練/驗證策略,而不是反覆試到 test 分數變好看。
7. 常見陷阱整理¶
| 陷阱 | 症狀 | 解法 |
|---|---|---|
| CV 前全量 fit scaler | 線下 CV 分數虛高,上線後表現差 | 用 Pipeline 包前處理 |
| 時序不用 TimeSeriesSplit | 訓練時「看到未來」,分數虛高 | TimeSeriesSplit 或手動按時間切 |
| 用 accuracy 評不平衡資料 | 全猜多數類也有高分 | 改用 PR-AUC 或 F1 |
| 超參數選擇和性能估計用同一份 val | 估計樂觀偏誤 | Nested CV 或嚴格三切 |
| Group leakage | 同一 entity 的樣本跨了 train/test | GroupKFold |
| 多次比較膨脹 | 試了 50 組超參數選最好的,分數虛報 | Nested CV;記錄所有試驗結果而非只報最好 |
結論¶
回到前言的三個問題。
ROC-AUC 為什麼會太樂觀? 它的誤報率除以全部負例,負例多時誤報被稀釋。正例 1.5% 時,ROC-AUC 0.741、PR-AUC 0.081。不平衡資料要報 PR-AUC,並和正例比例這個基線比。
該用哪一種 CV? 看資料結構。分類用 StratifiedKFold;同一個實體有多筆資料用 GroupKFold;有時間順序用 TimeSeriesSplit。金融這類標籤重疊的時序資料,還要注意 purge(見〈金融時間序列 ML〉)。
為什麼調參和估分數要分開? 挑最好的那組參數時,你同時挑到了最幸運的雜訊。用 Nested CV,或三切後測試集只碰一次。
延伸:這篇真正想留下的問題¶
每個評估方法都在模擬同一件事:模型上線後,遇到它從沒看過的資料,會表現得怎樣。 指標選錯,是模擬的「成績單」錯了;CV 切錯,是模擬的「考試情境」錯了。
一個分數本身說明不了什麼。要看的是:它是在什麼樣的考試裡考出來的?那場考試像真實上線嗎?
延伸閱讀(本站)¶
- 統計推論與 A/B 測試 — 另一種推論:有隨機分派時怎麼判斷差異是真的
- ML 核心觀念 — 同主題較簡略的速查版(§7 CV、§8 指標)
- Géron《Hands-On ML》Ch1–9 重點整理 — Ch3 的 threshold 調整、PR vs ROC 取捨、OvR/OvO
- 特徵工程心法 — 前處理決策影響評估設計
- sklearn Pipeline 與資料前處理模板 — Pipeline 的完整實作
- 常見 ML Case Study — 四種任務各自該用哪個指標
參考資料¶
- sklearn model_selection 官方文件
- Cross-validation: evaluating estimator performance(sklearn User Guide)
- Nested versus non-nested cross-validation(sklearn examples)
- Saito, T. & Rehmsmeier, M. (2015). The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLOS ONE, 10(3)
- Géron, A.《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》, 3rd ed. Ch2–3
- 本頁實驗為自行執行:
make_classification50,000 筆、70/30 分層切分、邏輯回歸,2026-10-04