特徵工程心法:資料進模型前要做什麼?Target Encoding 為什麼會騙人?¶
難度:入門到中。會用 pandas,知道訓練集和測試集要分開。 本頁的實驗數字來自 Python 3.12、scikit-learn 1.9.1,2026-10-04 執行。 本頁定位:本區「資料進模型前該怎麼處理」的完整版,決定做什麼;對應的怎麼寫(Pipeline、ColumnTransformer、自訂 Transformer)見〈sklearn Pipeline 與資料前處理模板〉。
前言¶
「Garbage in, garbage out.」常聽到的說法是資料科學家八成時間花在整理資料和做特徵。Kaggle 比賽到後段,大家用的模型都差不多(多半是 LightGBM),拉開差距的是特徵。
特徵工程的清單很容易找:縮放、編碼、填缺失值、時間特徵、交互項。但清單不會告訴你哪一步會讓模型看起來很好、上線卻很差。
本頁回答三個問題:
- 哪些特徵需要縮放?(先講結論:看模型怎麼用特徵。靠距離或
w·x的模型(線性、SVM、KNN、神經網路)要縮放;樹模型只看大小順序,不用。) - 類別太多時怎麼編碼?Target encoding 為什麼會騙人?(類別多時 one-hot 會爆,target encoding 把類別換成「這個類別的 y 平均」,最省維度。但直接用訓練集的 y 去算,等於把答案寫進特徵:在一個和 y 完全無關的類別上,訓練 AUC 0.889、測試 AUC 0.485。)
- 缺失值該填還是該留?(通常兩個都做:填一個值讓模型能跑,再加一欄
is_missing記錄它原本缺。缺失本身常常就是訊號。)
本頁只談表格資料。
1. 數值型特徵¶
縮放¶
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler
# StandardScaler:平均 0、標準差 1 —— 通用首選
# MinMaxScaler :縮到 [0,1] —— 需要固定範圍輸入時(例如某些神經網路)
# RobustScaler :用中位數與 IQR —— 有離群值時
樹模型不需要縮放。 決策樹只問「比某個值大還是小」,把特徵乘以 100,切點也跟著乘以 100,結果一模一樣。
線性模型就不同了。它算的是 w·x,一個特徵範圍 0–1、另一個 0–100,000,梯度會被大範圍的那個主導,收斂又慢又歪;加了正則化之後,懲罰也會跟單位有關,而不是跟特徵重要性有關。SVM 和 KNN 靠距離,範圍大的特徵會吃掉整個距離。
分箱(Binning)¶
把連續變數切成類別(年齡 → 兒童/青年/中年/老年)。能吃下非線性、壓掉雜訊,代價是丟掉箱子內部的差異。樹模型自己就會切,通常不需要手動分箱;線性模型想表達非線性時才比較有用。
變換(Transformation)¶
Log(處理右偏分布,如收入、人口)、平方根(較溫和)、Box-Cox 或 Yeo-Johnson(自動找最佳變換,後者可處理負值)。目標變數 y 也可以做 log,但評估時記得轉回原始尺度(見〈模型評估與 Cross-Validation 實務〉)。
2. 類別型特徵¶
| 編碼 | 做法 | 適用 / 注意 |
|---|---|---|
| One-Hot | 每個類別一欄 0/1 | 類別少(< 10–20);類別多會維度爆炸 |
| Ordinal / Label | 紅→0、黃→1… | 有序類別(學歷)可以;無序類別給線性模型會被誤當成大小關係,樹模型可以接受 |
| Target | 類別 → 該類別的 y 平均 | 高基數類別(郵遞區號、商品 ID)最有用;很容易洩漏,必須 cross-fitting |
| Frequency | 類別 → 出現頻率 | 高基數時的輕量替代,不會洩漏 |
實驗:一個和 y 完全無關的類別¶
我們造 5,000 筆資料。類別欄 zip 有 2,000 種值(平均每種 2.5 筆),標籤 y 是隨機丟銅板,兩者完全無關。照理說,任何模型都只能拿到 AUC 0.5。
錯誤寫法:用整個訓練集的 y,算每個 zip 的平均,直接當特徵。
import numpy as np, pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import TargetEncoder
rng = np.random.default_rng(0)
n = 5000
df = pd.DataFrame({"zip": rng.integers(0, 2000, n)}) # 2000 個「郵遞區號」
y = rng.integers(0, 2, n) # 和 zip 完全無關
tr, te = train_test_split(np.arange(n), test_size=0.3, random_state=0)
means = pd.Series(y[tr]).groupby(df.zip.values[tr]).mean()
X_tr = df.zip.iloc[tr].map(means).to_frame()
X_te = df.zip.iloc[te].map(means).fillna(y[tr].mean()).to_frame()
m = LogisticRegression().fit(X_tr, y[tr])
正確寫法:sklearn 1.3 起的 TargetEncoder,fit_transform 內建 cross-fitting,每一筆的編碼值都只用「其他折」的 y 算。
enc = TargetEncoder(random_state=0)
X_tr = enc.fit_transform(df[["zip"]].iloc[tr], y[tr]) # 訓練集:cross-fitting
X_te = enc.transform(df[["zip"]].iloc[te]) # 測試集:用全部訓練資料的平均
| 寫法 | 訓練 AUC | 測試 AUC |
|---|---|---|
| 直接用訓練集平均 | 0.889 | 0.485 |
TargetEncoder(cross-fitting) |
0.509 | 0.516 |
錯誤寫法的訓練 AUC 是 0.889。原因:一個 zip 平均只有 2.5 筆,這幾筆的 y 平均,很大一部分就是這筆自己的 y。如果某個 zip 只出現 1 次,它的編碼值就是它自己的答案。模型學到的是「編碼值高的就是 1」,這在訓練集上幾乎全對,在測試集上完全沒用。
如果你只看訓練分數,或者在訓練集上做 CV(編碼已經在 CV 之前做完了),就會以為 zip 是一個超強的特徵。
cross-fitting 之後,訓練和測試 AUC 都回到 0.5 附近,和真相一致。
TargetEncoder 另外還做了平滑(smooth 參數):筆數少的類別,編碼值會往整體平均拉。這樣只出現 2 次的類別不會因為兩筆剛好都是 1,就被編成 1.0。
常見誤解:只要在測試集上分開算,target encoding 就沒問題
很多人知道「測試集要用訓練集的平均」,但忽略了訓練集本身的洩漏:每一筆訓練樣本的編碼值,都包含了它自己的 y。 後果不是測試分數虛高,而是模型在訓練時過度依賴這個特徵,擠掉了真正有用的特徵。測試分數因此變差,而且你不會知道原因。訓練集內也要 cross-fitting。
3. 缺失值¶
策略:刪除(缺失超過一半時考慮)、填平均或中位數、填眾數(類別)、填特殊值(−999、「未知」,讓模型自己學)、用模型預測填補(MICE)、把缺失本身當成特徵。
最實用的組合通常是:填一個值,再加一欄 is_missing。
df["income_missing"] = df["income"].isna().astype(int)
df["income"] = df["income"].fillna(df["income"].median()) # 中位數要用訓練集算
缺失常常不是隨機的。沒填收入的人,行為模式可能本來就和有填的人不同。只填中位數,這個資訊就消失了;加上旗標,模型才看得到。LightGBM 和 XGBoost 能直接處理缺失值,會自己學缺失的樣本該往哪邊分,但線性模型和多數 sklearn 模型不行。
4. 時間特徵¶
從 datetime 抽出:年/月/日/時/星期幾、是不是週末或假日、距離某個重要日子幾天。週期性的特徵用 sin/cos 編碼,讓 23 點和 0 點在數值上靠近:
df['hour_sin'] = np.sin(2 * np.pi * df['hour'] / 24)
df['hour_cos'] = np.cos(2 * np.pi * df['hour'] / 24)
只用 hour 這一欄,23 和 0 差了 23;用 sin/cos 兩欄,它們在一個圓上是鄰居。
時序資料要特別小心 lag 特徵和滾動統計:只能用「預測當下已經知道」的資料。見〈常見 ML Case Study〉Case 3 與〈金融時間序列 ML〉。
5. 特徵交互¶
兩個特徵組出新特徵:BMI = 體重 ÷ 身高²、每坪單價 = 總價 ÷ 坪數、距離 = 兩組座標算出來的距離。
樹模型理論上能自己學到交互作用,但要切很多刀才能逼近一個除法。直接給它比值,一刀就夠。懂業務的人加的一個比值特徵,常常比調一整天參數有用。
6. 特徵選擇¶
- 過濾式(Filter):刪掉變異很低的特徵,或用相關係數、互資訊選前 N 個。快,但看不到特徵之間的交互。
- 包裝式(Wrapper):RFE 遞迴消除。慢,但會考慮特徵和模型的互動。
- 嵌入式(Embedded):L1 正則化(不重要的係數直接歸零)、樹模型的 feature importance。
不管哪一種,特徵選擇都要放在 CV 裡面做。在全部資料上先選,再做 CV,選擇本身就偷看了驗證集的答案。在純雜訊資料上,這個錯誤可以讓準確率從 0.50 變成 0.87(實驗見〈sklearn Pipeline 與資料前處理模板〉)。
用 feature importance 選特徵前,也要知道它的偏差:見〈模型可解釋性〉。
7. 不平衡資料¶
常用手法:
class_weight='balanced'(或 XGBoost 的scale_pos_weight):讓少數類的錯誤罰得比較重。最簡單,通常先試這個。- 上採樣/下採樣:複製少數類,或丟掉一部分多數類。
- SMOTE:在少數類樣本之間內插出合成樣本。
- 調整決策閾值:不改訓練,只改「機率多少以上算正例」。很多時候這一步就夠了。
重採樣只能做在訓練折上,不能在切分之前做。要放進 imblearn.pipeline.Pipeline,sklearn 原生的 Pipeline 不收 sampler。
結論¶
回到前言的三個問題。
哪些特徵要縮放? 看模型。線性模型、SVM、KNN、神經網路要縮放;樹模型不用。
類別太多怎麼編碼? Target encoding 最省維度,但直接用訓練集的 y 算會洩漏:在和 y 無關的類別上,訓練 AUC 0.889、測試 0.485。用 TargetEncoder 這類有 cross-fitting 的實作,訓練和測試都回到 0.5 附近。
缺失值填還是留? 都做。填一個值,加一欄 is_missing。
延伸:這篇真正想留下的問題¶
Target encoding 的洩漏,和先選特徵再做 CV、在全部資料上做標準化,是同一類錯誤:某一步前處理在計算時看到了它不該看到的 y 或驗證資料。
加任何一個前處理步驟之前,先想清楚:這一步在算的時候,用到了誰的資料?
延伸閱讀(本站)¶
- sklearn Pipeline 與資料前處理模板 — 本頁每個處理步驟對應的程式碼,以及特徵選擇洩漏的實測
- ML 核心觀念 — 縮放為何影響線性模型、L1 為何能選特徵
- 模型評估與 Cross-Validation 實務 — 前處理如何在 CV 中不漏水
- 模型可解釋性 — 用 importance 選特徵前要知道的偏差
- 常見 ML Case Study — 四種任務各自的特徵設計取捨
參考資料¶
- scikit-learn User Guide: Preprocessing data
- scikit-learn: TargetEncoder(1.3 版起提供,內建 cross fitting)
- scikit-learn User Guide: Feature selection
- imbalanced-learn 官方文件(SMOTE 與重採樣)
- Micci-Barreca, D. (2001). A preprocessing scheme for high-cardinality categorical attributes in classification and prediction problems. ACM SIGKDD Explorations, 3(1)
- Géron, A.《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》, 3rd ed. Ch2
- 本頁實驗為自行執行:5,000 筆、2,000 個類別、標籤隨機,70/30 切分,種子 0,2026-10-04