跳轉到

ML 核心觀念:當模型預測不準時,是太簡單還是太複雜?

難度:入門。 知識需求:Python、高中代數。 本頁定位:本區 bias-variance、正則化、樹模型家族的完整說明在這頁。評估指標與 CV 的深入版在〈模型評估與 Cross-Validation 實務〉,本頁 §7、§8 只留簡易評估。 內容參考〈Géron《Hands-On ML》Ch1–9〉。

前言

本頁主要回答三個問題:

  • 模型預測不準時,怎麼判斷是太簡單還是太複雜?
    • 同時看訓練誤差和驗證誤差。兩個都高:太簡單(Underfitting);訓練誤差很低、驗證誤差高:太複雜(Overfitting)。
  • L1 和 L2 正則化差在哪?
    • L1 會讓不重要的係數剛好變成 0,等於自動選特徵;L2 只會把係數縮小,不會歸零。
  • 樹模型為什麼是表格資料的主力?
    • 隨機森林靠平均很多棵不一樣的樹來降低變異(Variance),boosting 靠一棵接一棵修錯來降偏誤(Bias)。
    • 兩者都不需要特徵縮放,對混雜的表格資料很省事。

本頁架構:

ML 類型(在學什麼)→ Bias-Variance(判斷是什麼原因不準)→ 梯度下降(模型的學習邏輯)
→ 線性 / 邏輯迴歸 → 正則化(怎麼不過擬合)
→ 樹模型家族 → 交叉驗證(怎麼公正評估)→ 評估指標(用什麼數字衡量)

1. ML 三大類型

  • 監督式:資料有 label,學「輸入→輸出」的對應。
  • 迴歸(預測連續值,指標 MAE/MSE/RMSE/R²)。
  • 分類(預測類別,指標 Accuracy/P/R/F1/AUC)。
  • 非監督式:資料沒有 label,自己找結構。
  • 分群(K-Means/DBSCAN)、降維(PCA/t-SNE)、關聯規則(購物籃)。
  • 其他:半監督、自監督(BERT 的 masked LM)、強化學習(AlphaGo)。

實務上多數任務是監督式。非監督多用在「label 很貴、先探索」或異常偵測。兩者常搭配使用,例如先用 PCA 降維,再做 K-Means 分群。


2. Bias-Variance Tradeoff:判斷模型是什麼原因不準

誤差可以拆成三塊:Total Error = Bias² + Variance + Irreducible Error

  • 偏誤(Bias)高 = 太簡單(Underfitting):模型本身就畫不出資料的形狀,例如用直線去擬合一條曲線。
  • 變異(Variance)高 = 太複雜(Overfitting):模型把訓練資料的雜訊也背下來,換一批資料答案就大變,例如深度 20 的決策樹。
  • Irreducible:資料本身的雜訊,換什麼模型都減不掉。

Bias-Variance Tradeoff 曲線 圖:模型複雜度上升 → Bias² 降、Variance 升,總誤差呈 U 型,最低點就是最佳複雜度。

範例

我們從 y = sin(x) + 雜訊(雜訊標準差 0.3)抽 60 筆當訓練集、1,000 筆當驗證集,分別用 1 次、3 次、15 次多項式迴歸去擬合:

import numpy as np
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LinearRegression

rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, 60);   y = np.sin(x) + rng.normal(0, 0.3, 60)
xv = rng.uniform(-3, 3, 1000); yv = np.sin(xv) + rng.normal(0, 0.3, 1000)
for deg in [1, 3, 15]:
    m = make_pipeline(PolynomialFeatures(deg), StandardScaler(), LinearRegression())
    m.fit(x[:, None], y)
    # 分別算訓練集與驗證集的 RMSE
次數 訓練 RMSE 驗證 RMSE 診斷
1 0.533 0.509 兩個都高、而且很接近 → 沒學到 → 太簡單(Underfitting)
3 0.298 0.322 兩個都接近雜訊的 0.3 → 剛好
15 0.239 0.369 訓練比雜訊還低、驗證變差 → 學過頭了 → 太複雜(Overfitting)

15 次多項式的訓練 RMSE 是 0.239,比雜訊本身的 0.3 還低。這只有一種可能:它把雜訊背下來了。這個訊號比「驗證誤差比訓練高」更直接,因為驗證誤差本來就會比訓練高一點。

診斷規則整理成表:

訓練誤差 驗證誤差 診斷 往哪修
高 高(接近訓練) High Bias → Underfitting 加複雜度、加特徵、降正則化、訓練更久
低 高(差距大) High Variance → Overfitting 加資料(最有效也最貴)、加正則化、簡化模型、Ensemble、Dropout、Early stopping
低 低 好模型 —

Learning curve:underfitting vs overfitting 圖:左 underfitting(train/val 都高且收斂在一起);右 overfitting(train 低、val 高、落差大)。

常見誤解:預測不準時該加資料

加資料確實最有效,但它只對 variance 有用。如果是 underfitting(兩條線都高、而且已經收斂在一起),加再多資料,兩條線也只是停在同一個高度。 實際後果:花了很多成本蒐集資料,分數卻沒有改善。調參時先看兩條線的位置,再決定修法。


3. Gradient Descent:模型怎麼學

站在目前的位置,看哪個方向能讓 Loss 下降最多,就往那個方向更新參數。重複迭代,直到跑完設定的回合數,或 Loss 不再下降。(可以想像成一顆球在滾,球會一直往低的地方滾,直到滾不動,而學習率就是每一步跨多遠。) 更新公式 θ ← θ − α·∇L(θ)(α 是 learning rate,負號代表往下坡走)。

三種變形:

  • Batch:用全部資料算一次梯度。穩,但慢。
  • SGD:一筆資料就更新一次。快,但震盪大。
  • Mini-Batch(最常用):一小批(32/64/128/256)。能用 GPU 平行計算,小幅震盪還能幫忙跳出不好的局部低點。

Learning rate:太小,收斂很慢;太大,來回震盪甚至發散。常用起點 0.001 或 0.01,搭配 scheduler(先大後小)。

進階優化器(Optimizer):Momentum(加慣性)、RMSProp(每個參數自己調 learning rate)、Adam(兩者結合,多數神經網路的預設)。高維空間裡真正常見的障礙通常不是局部最小值,而是 saddle point(某些方向往上、某些方向往下的平台)。各優化器的細節見〈深度學習訓練基礎〉。

def gradient_descent(X, y, lr=0.01, epochs=1000):
    w, b, n = 0, 0, len(X)
    for _ in range(epochs):
        y_pred = w * X + b
        dw = (2/n) * np.sum((y_pred - y) * X)
        db = (2/n) * np.sum(y_pred - y)
        w -= lr * dw; b -= lr * db
    return w, b

常見誤解:Adam 永遠比 SGD 好

Adam 收斂快、好調,所以是預設。但有不少研究和實務經驗發現,SGD + Momentum 配上好的 learning rate schedule,最終在測試集上可能泛化得更好。 實際後果:只看訓練曲線收斂速度選優化器,可能選到測試分數較差的那個。重要的模型兩種都值得試。


4. 線性迴歸 vs 邏輯迴歸

項目 線性迴歸 邏輯迴歸
任務 迴歸 分類
輸出 連續值 機率 [0,1]
激活 無 Sigmoid / Softmax
損失 MSE Cross-Entropy
解析解 有 無(要迭代)

線性迴歸與邏輯迴歸對照 圖:左邊線性迴歸畫一條直線,預測連續的數字;右邊邏輯迴歸把 z 壓進 S 形的 Sigmoid,變成 0 到 1 的機率,機率 0.5(z = 0)就是決策邊界。

  • 線性迴歸三假設:
    1. 線性關係
    2. 樣本獨立
    3. 殘差常態 N(0,σ²)
  • 邏輯迴歸(Logistic Regression):用來回答「是或不是」的問題,例如這封信是不是垃圾郵件。
    1. 先跟線性迴歸一樣,把特徵乘上權重再加起來,得到一個分數 z。z 可以是任何數字,例如 -3 或 5。
    2. 把 z 丟進 Sigmoid 函數 σ(z)=1/(1+e⁻ᶻ),壓成 0 到 1 之間的機率。z 越大,機率越接近 1;z 越小,越接近 0。
    3. 機率大於 0.5 就判成「是」,否則判成「不是」。機率剛好是 0.5 的地方就是 z = 0,這條分界線是直線,所以叫「線性決策邊界」。
    4. 超過兩類時(例如分貓、狗、鳥),把 Sigmoid 換成 Softmax。它會一次給出每一類的機率,全部加起來等於 1。

名字裡有「迴歸」,是因為核心還是線性迴歸的 z = w·x,只是多過一層 Sigmoid 變成機率。它是線性模型:決策邊界是一條直線(或超平面)。非線性的問題要靠特徵轉換、kernel SVM 或樹模型。

常見誤解:邏輯迴歸也可以用 MSE 當損失

技術上算得出來,但效果不好,原因有兩個:

  • Sigmoid 配 MSE,損失的形狀不是碗(不是凸的):兩邊有很平的地方,梯度下降走到那裡就幾乎不動。
  • 模型錯得很離譜時(答案是 1,模型卻說 0.01),Sigmoid 已經被壓平,梯度幾乎是 0,模型學不動。

Cross-Entropy 配 Sigmoid 時,損失的形狀像一個碗(凸的),沒有會騙人的小坑,梯度下降一路往下走就對了。而且錯得越離譜,梯度越大,修正得越快。

Sigmoid 配 MSE 與 Cross-Entropy 的比較 圖:左邊是損失的形狀,MSE 兩側是平的、不是碗,從紅底區域出發會卡住,Cross-Entropy 是一個碗;右邊是答案為 1 時的梯度大小,模型錯得很離譜(左側紅底)時,MSE 的梯度幾乎是 0,Cross-Entropy 還是用力修正。


5. 正則化:L1 / L2 / 其他

在損失函數後面加一個懲罰:Loss = 原損失 + λ × 參數懲罰。

  • L1(Lasso) Σ|wᵢ|:不重要的參數直接歸零,等於自動選特徵。適合「特徵很多、只有少數有用」。(L1 是絕對值:係數從 3 降到 2,懲罰少 1;從 1 降到 0,懲罰也少 1。小係數往 0 推的力氣跟大係數一樣,所以小的會被一路推到 0。)
  • L2(Ridge) Σwᵢ²:所有參數一起縮小,不會歸零。預設首選,神經網路裡叫 weight decay。(L2 是平方:係數從 3 降到 2,懲罰少 5(9 − 4);從 2 降到 1,懲罰只少 3(4 − 1)。大係數往下降省得比較多,所以會優先壓大的參數。)
  • Elastic Net:L1 + L2 折衷(l1_ratio),特徵數大於樣本數、或特徵彼此高度相關時好用。

實驗:100 個特徵,只有 5 個有用

from sklearn.linear_model import Lasso, Ridge
X = rng.normal(size=(200, 100))
w = np.zeros(100); w[:5] = [3, -2, 1.5, 1, -1]      # 只有前 5 個有用
y = X @ w + rng.normal(0, 1, 200)
lasso = Lasso(alpha=0.1).fit(X, y)
ridge = Ridge(alpha=10).fit(X, y)
係數剛好為 0 的個數 前 5 個係數(真值 3, −2, 1.5, 1, −1) 其餘 95 個裡最大的 |w|
Lasso α=0.1 74 2.89, −1.73, 1.33, 0.81, −0.80 0.150
Ridge α=10 0 2.66, −1.68, 1.35, 0.88, −0.83 0.219

兩者都抓到了前 5 個有用的特徵,係數也都被往 0 拉了一點(這就是正則化的「偏誤」)。差別在剩下的 95 個雜訊特徵:Lasso 把 74 個精確地設成 0,Ridge 讓它們全部保留一個小小的值。

為什麼?看幾何圖:

L1 與 L2 的幾何解釋 圖:L1 的限制區域是菱形,角落剛好在座標軸上,損失的等高線最容易碰到角落 → 某些權重剛好為 0;L2 是圓形,通常碰在不是軸上的點。

  • λ(sklearn 叫 alpha)用 CV 調:太小會太複雜(Overfitting),太大會太簡單(Underfitting)。注意 LogisticRegression 用的是 C = 1/λ,方向相反,C 越小正則化越強。
  • 其他正則化:Dropout(神經網路,隨機丟掉 20%–50% 的神經元)、Early stopping、Data Augmentation。細節見〈深度學習訓練基礎〉。

常見誤解:正則化前不用標準化

懲罰的是係數大小。同一個特徵用「公尺」記和用「公分」記,係數差 100 倍,被罰的程度也差很多。 實際後果:不標準化時,懲罰會跟單位有關,而不是跟特徵重不重要有關。用 Ridge、Lasso、邏輯迴歸前,先 StandardScaler。


6. 樹模型家族:RF / XGBoost / LightGBM

單棵決策樹幾乎一定太複雜(Overfitting),而且很不穩定:資料小動一下,整棵樹就長得不一樣。實務上不會直接拿來預測,只當 ensemble 的零件。而組成有以下兩條路線:

  • Bagging(並行)→ Random Forest:很多棵樹,各自吃一份 bootstrap 抽樣的資料,每個節點又只看隨機一部分特徵,最後投票或平均。降的是變異(Variance)。不容易過擬合、可以平行、預設參數通常就可以得到不錯的效果。關鍵參數:
    1. n_estimators:森林中樹的數量
    2. max_features:每次切分時,隨機挑幾個特徵來比(sklearn 預設:分類 √n、迴歸用全部特徵)
    3. max_depth:每棵樹要長多深
  • Boosting(串行)→ XGBoost / LightGBM / CatBoost:一棵接一棵,每棵新樹專門修前面的錯。降的是偏誤(Bias)。
  • XGBoost:預設一層一層長(level-wise);類別變數要開 enable_categorical 才原生處理。
  • LightGBM:每次切損失降最多的那片葉子(leaf-wise)、大資料上通常比 XGBoost 快、原生支援類別變數;小資料(< 10k 筆)容易過擬合。
  • CatBoost:類別變數是強項(ordered target statistics 防洩漏),預設參數就不差。
  • 關鍵參數:max_depth/num_leaves、learning_rate(越小需要越多樹)、n_estimators、early stopping(一定要加)、subsample/colsample_bytree(加隨機性防過擬合)。

隨機森林為什麼不容易過擬合?兩層隨機(抽樣本、抽特徵)讓每棵樹長得不一樣,彼此的錯誤不太相關,平均之後就互相抵消。如果每棵樹都一樣,平均一百棵和一棵沒有差別。

樹模型都不需要特徵縮放:它只看「比某個值大還是小」,把特徵乘以 100,切點也跟著乘以 100,結果完全一樣。

三套 boosting 實際差多少、怎麼調參、什麼時候該用哪個,見〈Gradient Boosting 實戰〉。

常見誤解:Boosting 一定比 Random Forest 好

在調好參數的情況下,boosting 通常分數較高。但它有更多參數要調,對雜訊和過擬合也更敏感;隨機森林幾乎不用調就能有不錯的分數。 實際後果:時間有限、資料雜訊多時,隨機森林是很好的基線。先有一個穩的基線,才知道 boosting 多拿的分數值不值得多花的調參時間。


7. Cross-Validation:怎麼公正評估

本節為簡單介紹。CV 的完整選擇邏輯、Nested CV、GroupKFold/TimeSeriesSplit 的程式碼與陷阱見〈模型評估與 Cross-Validation 實務〉。

訓練前會把資料切成訓練集和測試集。只切一次的話,分數會受切資料的運氣影響,樣本小時特別明顯。所以我們常切很多次,再把分數平均,減少單次切分的偶然性。常見的交叉驗證方式如下。

K-Fold:最常見的交叉驗證方法

K-Fold 的做法不複雜。假設設定 K = 5:

  1. 把資料分成 5 份。
  2. 第一次拿其中 1 份當驗證集,另外 4 份訓練模型。
  3. 接著換另一份當驗證集,重複到每份資料都被驗證過。
  4. 最後把 5 次的驗證分數取平均。

比起只切一次資料,這樣通常能更穩定地估計模型表現。

變形:

為了因應不同的資料情況,衍生出了不同的 CV 方法。

  • Stratified K-Fold:讓每一折的類別比例盡量接近原始資料。適合分類問題,尤其是類別不平衡時。
  • TimeSeriesSplit:適合時間序列資料。訓練時只能使用較早的資料,避免拿未來的資訊預測過去。
  • GroupKFold:適合同一個對象有多筆資料的情況,例如同一位病人的多次檢查紀錄。確保同一組不會同時出現在訓練集和驗證集。
  • Leave-One-Out(LOO):每次只留一筆資料做驗證。雖然能充分利用資料,但需要訓練很多次,計算成本比較高。

⚠️ 最常見的資料洩漏:在 CV 之前就用全部資料做標準化或特徵選擇。正確做法是用 Pipeline 把前處理和模型包在一起,讓每一折各自 fit(要先切資料,再做資料清理):

pipe = Pipeline([('scaler', StandardScaler()), ('model', LogisticRegression())])
scores = cross_val_score(pipe, X, y, cv=StratifiedKFold(5, shuffle=True, random_state=42))

資料洩漏的影響有時比想像中大。例如在一個純雜訊資料的示範實驗中,先用全部資料選特徵再做 CV,準確率甚至可以達到 0.87;把特徵選擇放進 Pipeline 後,才回到接近隨機猜測的 0.50。實驗見〈sklearn Pipeline 與資料前處理模板〉。


8. 評估指標速查

本節為簡單介紹。指標的完整計算、閾值選擇、指標和業務目標怎麼對齊,見〈模型評估與 Cross-Validation 實務〉;PR vs ROC 的取捨與多元分類 OvR/OvO 見〈Géron Ch3〉。

分類:從混淆矩陣出發

以法官辦案來說:

  • TP:判有罪,實際有罪 → 成功將犯人定罪
  • TN:判無罪,實際無罪 → 還好人清白
  • FP:判有罪,實際無罪 → 冤獄
  • FN:判無罪,實際有罪 → 錯放壞人

從這四格算出常用的指標:

  • Accuracy (TP+TN)/All:判對的比率。(不平衡資料有陷阱,全猜多數類也能高分。例如一種罕見疾病只有 0.01% 的人會得,完全不用看病,直接宣告所有人健康,正確率也有 99.99%。)
  • Precision TP/(TP+FP):判有罪的人裡,實際有罪的比例 → 誤報成本高時看(垃圾郵件)。
  • Recall TP/(TP+FN):真正有罪的人裡,被繩之以法的比例 → 漏報成本高時看(癌症篩檢)。
  • F1:Precision 和 Recall 的調和平均,兩個都高才會高。
  • ROC-AUC:衡量模型能不能把正例排在負例前面。例如預測誰會違約,好的模型應該讓真正會違約的人得到比較高的風險分數。ROC-AUC 越接近 1,代表區分能力越好;0.5 則接近隨機猜測。它不需要先設定分類閾值,但如果正例很少,分數可能看起來不錯,實際卻抓不到多少正例,因此建議搭配 PR-AUC 一起看。
情境 觀察指標
平衡資料 Accuracy
不平衡 PR-AUC、F1
漏報成本高(診斷/詐騙) Recall
誤報成本高(垃圾郵件/推薦) Precision
排名/機率 ROC-AUC

迴歸

符號:yᵢ 是實際值,ŷᵢ 是預測值,ȳ 是實際值的平均,n 是筆數。

  • MAE (1/n) Σ |yᵢ − ŷᵢ|:絕對誤差,對離群值不敏感。
  • MSE (1/n) Σ (yᵢ − ŷᵢ)²:平方誤差,重罰離群值,最常拿來當訓練損失。
  • RMSE √MSE:MSE 開根號,單位和 y 一樣,報告最常用。
  • R² 1 − Σ(yᵢ − ŷᵢ)² / Σ(yᵢ − ȳ)²:衡量模型相較於直接預測平均值,減少了多少平方誤差。1 代表完美預測,0 代表和預測平均值一樣,負數則表示模型比預測平均值還差。(在含截距的簡單線性迴歸訓練集上,R² 才等於相關係數的平方。)
  • MAPE(平均絕對百分比誤差)(100% / n) Σ |(yᵢ − ŷᵢ) / yᵢ|:衡量預測值平均偏離實際值多少百分比。例如 MAPE = 10%,代表平均誤差約為實際值的 10%,容易理解。但當實際值為 0 或接近 0 時,MAPE 會無法計算或變得非常大。
from sklearn.metrics import classification_report, roc_auc_score
print(classification_report(y_true, y_pred))
auc = roc_auc_score(y_true, y_pred_proba)   # 注意要用機率,不是 0/1 預測

常見誤解:AUC 高就代表模型好用

ROC-AUC 量的是排序能力,和閾值無關。但真正上線時一定要選一個閾值,而預設的 0.5 在不平衡資料上幾乎都不對。 實際後果:在正例只佔 4.5% 的資料上,一個邏輯迴歸用 0.5 當閾值,只抓到不到 1 成的正例。開發時看 AUC,部署前要依業務成本另外定閾值(〈常見 ML Case Study〉Case 1 有實測)。


結論

機器學習要的,是模型遇到沒看過的資料時,依然能做出好的預測。

模型太簡單,可能抓不到資料中的規律(Underfitting);模型太複雜,又可能把雜訊當成規律記下來(Overfitting)。

這也是為什麼我們需要正則化、Ensemble、Early Stopping 等方法來改善模型的泛化能力,再透過 Cross-Validation 和適合的評估指標,確認模型是不是真的有進步。

實務上不管是換模型、加特徵還是調參數,最後都要回到同一個問題:模型學到的規律,能不能用在沒看過的資料上?


延伸閱讀(本站)

參考資料

本頁實驗:Python 3.12、scikit-learn 1.9.1,2026-10-04 執行。多項式實驗訓練 60 筆、驗證 1,000 筆;L1/L2 實驗 200 筆、100 個特徵,種子 0。