跳轉到

特徵工程心法:資料進模型前要做什麼?Target Encoding 為什麼會騙人?

難度:入門到中。會用 pandas,知道訓練集和測試集要分開。 本頁的實驗數字來自 Python 3.12、scikit-learn 1.9.1,2026-10-04 執行。 本頁定位:本區「資料進模型前該怎麼處理」的完整版,決定做什麼;對應的怎麼寫(Pipeline、ColumnTransformer、自訂 Transformer)見〈sklearn Pipeline 與資料前處理模板〉。

前言

「Garbage in, garbage out.」常聽到的說法是資料科學家八成時間花在整理資料和做特徵。Kaggle 比賽到後段,大家用的模型都差不多(多半是 LightGBM),拉開差距的是特徵。

特徵工程的清單很容易找:縮放、編碼、填缺失值、時間特徵、交互項。但清單不會告訴你哪一步會讓模型看起來很好、上線卻很差。

本頁回答三個問題:

  • 哪些特徵需要縮放?(先講結論:看模型怎麼用特徵。靠距離或 w·x 的模型(線性、SVM、KNN、神經網路)要縮放;樹模型只看大小順序,不用。)
  • 類別太多時怎麼編碼?Target encoding 為什麼會騙人?(類別多時 one-hot 會爆,target encoding 把類別換成「這個類別的 y 平均」,最省維度。但直接用訓練集的 y 去算,等於把答案寫進特徵:在一個和 y 完全無關的類別上,訓練 AUC 0.889、測試 AUC 0.485。)
  • 缺失值該填還是該留?(通常兩個都做:填一個值讓模型能跑,再加一欄 is_missing 記錄它原本缺。缺失本身常常就是訊號。)

本頁只談表格資料。

1. 數值型特徵

縮放

from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler
# StandardScaler:平均 0、標準差 1 —— 通用首選
# MinMaxScaler :縮到 [0,1] —— 需要固定範圍輸入時(例如某些神經網路)
# RobustScaler :用中位數與 IQR —— 有離群值時

樹模型不需要縮放。 決策樹只問「比某個值大還是小」,把特徵乘以 100,切點也跟著乘以 100,結果一模一樣。

線性模型就不同了。它算的是 w·x,一個特徵範圍 0–1、另一個 0–100,000,梯度會被大範圍的那個主導,收斂又慢又歪;加了正則化之後,懲罰也會跟單位有關,而不是跟特徵重要性有關。SVM 和 KNN 靠距離,範圍大的特徵會吃掉整個距離。

分箱(Binning)

把連續變數切成類別(年齡 → 兒童/青年/中年/老年)。能吃下非線性、壓掉雜訊,代價是丟掉箱子內部的差異。樹模型自己就會切,通常不需要手動分箱;線性模型想表達非線性時才比較有用。

變換(Transformation)

Log(處理右偏分布,如收入、人口)、平方根(較溫和)、Box-Cox 或 Yeo-Johnson(自動找最佳變換,後者可處理負值)。目標變數 y 也可以做 log,但評估時記得轉回原始尺度(見〈模型評估與 Cross-Validation 實務〉)。

2. 類別型特徵

編碼 做法 適用 / 注意
One-Hot 每個類別一欄 0/1 類別少(< 10–20);類別多會維度爆炸
Ordinal / Label 紅→0、黃→1… 有序類別(學歷)可以;無序類別給線性模型會被誤當成大小關係,樹模型可以接受
Target 類別 → 該類別的 y 平均 高基數類別(郵遞區號、商品 ID)最有用;很容易洩漏,必須 cross-fitting
Frequency 類別 → 出現頻率 高基數時的輕量替代,不會洩漏

實驗:一個和 y 完全無關的類別

我們造 5,000 筆資料。類別欄 zip 有 2,000 種值(平均每種 2.5 筆),標籤 y 是隨機丟銅板,兩者完全無關。照理說,任何模型都只能拿到 AUC 0.5。

錯誤寫法:用整個訓練集的 y,算每個 zip 的平均,直接當特徵。

import numpy as np, pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import TargetEncoder

rng = np.random.default_rng(0)
n = 5000
df = pd.DataFrame({"zip": rng.integers(0, 2000, n)})   # 2000 個「郵遞區號」
y = rng.integers(0, 2, n)                              # 和 zip 完全無關
tr, te = train_test_split(np.arange(n), test_size=0.3, random_state=0)

means = pd.Series(y[tr]).groupby(df.zip.values[tr]).mean()
X_tr = df.zip.iloc[tr].map(means).to_frame()
X_te = df.zip.iloc[te].map(means).fillna(y[tr].mean()).to_frame()
m = LogisticRegression().fit(X_tr, y[tr])

正確寫法:sklearn 1.3 起的 TargetEncoder,fit_transform 內建 cross-fitting,每一筆的編碼值都只用「其他折」的 y 算。

enc = TargetEncoder(random_state=0)
X_tr = enc.fit_transform(df[["zip"]].iloc[tr], y[tr])   # 訓練集:cross-fitting
X_te = enc.transform(df[["zip"]].iloc[te])               # 測試集:用全部訓練資料的平均
寫法 訓練 AUC 測試 AUC
直接用訓練集平均 0.889 0.485
TargetEncoder(cross-fitting) 0.509 0.516

錯誤寫法的訓練 AUC 是 0.889。原因:一個 zip 平均只有 2.5 筆,這幾筆的 y 平均,很大一部分就是這筆自己的 y。如果某個 zip 只出現 1 次,它的編碼值就是它自己的答案。模型學到的是「編碼值高的就是 1」,這在訓練集上幾乎全對,在測試集上完全沒用。

如果你只看訓練分數,或者在訓練集上做 CV(編碼已經在 CV 之前做完了),就會以為 zip 是一個超強的特徵。

cross-fitting 之後,訓練和測試 AUC 都回到 0.5 附近,和真相一致。

TargetEncoder 另外還做了平滑(smooth 參數):筆數少的類別,編碼值會往整體平均拉。這樣只出現 2 次的類別不會因為兩筆剛好都是 1,就被編成 1.0。

常見誤解:只要在測試集上分開算,target encoding 就沒問題

很多人知道「測試集要用訓練集的平均」,但忽略了訓練集本身的洩漏:每一筆訓練樣本的編碼值,都包含了它自己的 y。 後果不是測試分數虛高,而是模型在訓練時過度依賴這個特徵,擠掉了真正有用的特徵。測試分數因此變差,而且你不會知道原因。訓練集內也要 cross-fitting。

3. 缺失值

策略:刪除(缺失超過一半時考慮)、填平均或中位數、填眾數(類別)、填特殊值(−999、「未知」,讓模型自己學)、用模型預測填補(MICE)、把缺失本身當成特徵。

最實用的組合通常是:填一個值,再加一欄 is_missing。

df["income_missing"] = df["income"].isna().astype(int)
df["income"] = df["income"].fillna(df["income"].median())   # 中位數要用訓練集算

缺失常常不是隨機的。沒填收入的人,行為模式可能本來就和有填的人不同。只填中位數,這個資訊就消失了;加上旗標,模型才看得到。LightGBM 和 XGBoost 能直接處理缺失值,會自己學缺失的樣本該往哪邊分,但線性模型和多數 sklearn 模型不行。

4. 時間特徵

從 datetime 抽出:年/月/日/時/星期幾、是不是週末或假日、距離某個重要日子幾天。週期性的特徵用 sin/cos 編碼,讓 23 點和 0 點在數值上靠近:

df['hour_sin'] = np.sin(2 * np.pi * df['hour'] / 24)
df['hour_cos'] = np.cos(2 * np.pi * df['hour'] / 24)

只用 hour 這一欄,23 和 0 差了 23;用 sin/cos 兩欄,它們在一個圓上是鄰居。

時序資料要特別小心 lag 特徵和滾動統計:只能用「預測當下已經知道」的資料。見〈常見 ML Case Study〉Case 3 與〈金融時間序列 ML〉。

5. 特徵交互

兩個特徵組出新特徵:BMI = 體重 ÷ 身高²、每坪單價 = 總價 ÷ 坪數、距離 = 兩組座標算出來的距離。

樹模型理論上能自己學到交互作用,但要切很多刀才能逼近一個除法。直接給它比值,一刀就夠。懂業務的人加的一個比值特徵,常常比調一整天參數有用。

6. 特徵選擇

  • 過濾式(Filter):刪掉變異很低的特徵,或用相關係數、互資訊選前 N 個。快,但看不到特徵之間的交互。
  • 包裝式(Wrapper):RFE 遞迴消除。慢,但會考慮特徵和模型的互動。
  • 嵌入式(Embedded):L1 正則化(不重要的係數直接歸零)、樹模型的 feature importance。

不管哪一種,特徵選擇都要放在 CV 裡面做。在全部資料上先選,再做 CV,選擇本身就偷看了驗證集的答案。在純雜訊資料上,這個錯誤可以讓準確率從 0.50 變成 0.87(實驗見〈sklearn Pipeline 與資料前處理模板〉)。

用 feature importance 選特徵前,也要知道它的偏差:見〈模型可解釋性〉。

7. 不平衡資料

常用手法:

  • class_weight='balanced'(或 XGBoost 的 scale_pos_weight):讓少數類的錯誤罰得比較重。最簡單,通常先試這個。
  • 上採樣/下採樣:複製少數類,或丟掉一部分多數類。
  • SMOTE:在少數類樣本之間內插出合成樣本。
  • 調整決策閾值:不改訓練,只改「機率多少以上算正例」。很多時候這一步就夠了。

重採樣只能做在訓練折上,不能在切分之前做。要放進 imblearn.pipeline.Pipeline,sklearn 原生的 Pipeline 不收 sampler。

結論

回到前言的三個問題。

哪些特徵要縮放? 看模型。線性模型、SVM、KNN、神經網路要縮放;樹模型不用。

類別太多怎麼編碼? Target encoding 最省維度,但直接用訓練集的 y 算會洩漏:在和 y 無關的類別上,訓練 AUC 0.889、測試 0.485。用 TargetEncoder 這類有 cross-fitting 的實作,訓練和測試都回到 0.5 附近。

缺失值填還是留? 都做。填一個值,加一欄 is_missing。

延伸:這篇真正想留下的問題

Target encoding 的洩漏,和先選特徵再做 CV、在全部資料上做標準化,是同一類錯誤:某一步前處理在計算時看到了它不該看到的 y 或驗證資料。

加任何一個前處理步驟之前,先想清楚:這一步在算的時候,用到了誰的資料?


延伸閱讀(本站)

參考資料