金融時間序列 ML:回測分數從哪裡來?Purge 到底補了多少?¶
難度:中。需要會用 sklearn 做 CV,知道 AUC 是什麼。 本文所有數字都來自可重跑的模擬:Python 3.12、scikit-learn 1.9.1、隨機森林,資料是人造的隨機漫步價格。程式碼附在各節,2026-10-04 執行。
1. 前言¶
談金融 ML 驗證的文章,大多停在同一句話:時序資料不要亂洗,要用 purged K-Fold 加 embargo。這句話沒錯,但它沒說每一步各擋掉了多少洩漏。不知道這個,就不知道哪一步省不得、哪一步只是保險。
本文想回答三個問題:
- 完全隨機的價格,為什麼能跑出 AUC 0.68?(先講結論:模型認得的是「鄰居」,不是未來。相鄰兩天的標籤幾乎是同一件事,亂洗之後兩邊各分一個,模型背答案就能拿分。)
- Purge 和 embargo 實際補了多少?(在我測的設定裡,幾乎沒補到。九成以上的傷害來自亂洗;purge 補的是折與折的邊界,效果小到被種子間的雜訊蓋過。)
- CV 切對之後,還有哪裡會騙人?(重疊標籤讓「真正獨立的樣本」只剩約 1/h。拿名目樣本數去算 t 值或 Sharpe,信心會被灌大好幾倍。)
本文用兩組模擬回答。第一組是亂洗 K-Fold,在純雜訊上跑出漂亮分數;第二組照時間切,分數回到 0.5 附近。兩組的差別只有一件事:測試樣本的鄰居有沒有出現在訓練集裡。
本文只討論日頻、單一資產、分類標籤、樹模型的情形。
2. 實驗一:隨機漫步上的 0.68¶
我們讓每天的報酬服從 N(0, 1%),累乘出 3,000 天的價格。照定義,沒有任何特徵能預測它。
特徵用四個常見的技術指標:5 日與 20 日動能、20 日波動、價格對 50 日均線的乖離。標籤是「未來 20 日報酬 > 0」。
import numpy as np, pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import KFold
from sklearn.metrics import roc_auc_score
rng = np.random.default_rng(0)
n, h = 3000, 20 # 3000 個交易日,標籤看未來 20 日
px = pd.Series(100 * np.exp(np.cumsum(rng.normal(0, 0.01, n))))
r = px.pct_change()
X = pd.DataFrame({
"mom_5": px.pct_change(5), "mom_20": px.pct_change(20),
"vol_20": r.rolling(20).std(), "ma_gap": px / px.rolling(50).mean() - 1,
})
y = (px.shift(-h) / px - 1 > 0).astype(int)
ok = X.notna().all(axis=1) & px.shift(-h).notna()
X, y = X[ok].reset_index(drop=True), y[ok].reset_index(drop=True)
t = np.arange(len(X)) # 樣本 i 的標籤用到第 i 到 i+h 天
def run(splits):
aucs = []
for tr, te in splits:
m = RandomForestClassifier(300, min_samples_leaf=5, n_jobs=-1, random_state=0)
m.fit(X.iloc[tr], y.iloc[tr])
aucs.append(roc_auc_score(y.iloc[te], m.predict_proba(X.iloc[te])[:, 1]))
return np.mean(aucs), np.std(aucs)
print(run(KFold(5, shuffle=True, random_state=0).split(X))) # 亂洗
print(run(KFold(5).split(X))) # 照時間切
用 KFold(shuffle=True) 做 5 折 CV,AUC 是 0.681。照時間順序切,同一份資料掉到 0.488。
換五個亂數種子重跑:
| 種子 | 亂洗 KFold | 照時間切 KFold |
|---|---|---|
| 0 | 0.681 | 0.488 |
| 1 | 0.678 | 0.476 |
| 2 | 0.694 | 0.524 |
| 3 | 0.676 | 0.525 |
| 4 | 0.647 | 0.434 |
亂洗那欄五次都在 0.65 以上。在真實資料上看到這種數字,很容易被當成找到 alpha。
3. 為什麼:重疊的標籤讓模型認得鄰居¶
第 i 天的標籤看第 i 到 i+20 天的價格。第 i+1 天的標籤看第 i+1 到 i+21 天。兩者有 19 天重疊,標籤幾乎一樣。
特徵也一樣。20 日動能、50 日均線這種東西,隔一天只差一點點。
所以資料裡其實是一串一串「長得很像、答案也很像」的樣本。亂洗之後,第 i 天進了訓練集,第 i+1 天進了測試集。模型不用學任何規律,只要記住「長這樣的那幾天,答案是漲」,就能在測試集上猜對鄰居。隨機森林特別擅長這種記憶。
0.68 量到的是「模型認得出鄰居」,不是「模型會預測未來」。
照時間切的時候,測試段是一整塊連續的日子。它的鄰居大多也在測試段裡,訓練集碰不到,記憶就派不上用場。
值得一提的是,照時間切那欄的五折標準差在 0.04–0.08 之間。純雜訊在某個種子上跑出 0.525,一點也不奇怪。一次 CV 跑出 0.52–0.53,不能當成訊號的證據。
4. 實驗二:Purge 和 Embargo 補了多少?¶
照時間切還留著一個洞:每一折的邊界。訓練段最後 20 天的標籤,看的是測試段開頭的價格,等於偷看了測試期的一小段答案。
López de Prado 在《Advances in Financial Machine Learning》第 7 章提出兩個修正:
- Purge:訓練集裡,標籤區間和測試段重疊的樣本,整筆刪掉。
- Embargo:測試段結束後再空一段,才開始放訓練樣本。特徵常回看過去(50 日均線),測試段剛結束那幾天的特徵,還帶著測試期的價格。
def purged_kfold(t, h, k=5, embargo=None):
"""t:樣本的時間索引;h:標籤往後看幾期。"""
embargo = h if embargo is None else embargo
for te in np.array_split(t, k):
lo, hi = te[0], te[-1]
tr = t[(t + h < lo) | (t > hi + embargo)]
yield tr, te
print(run(purged_kfold(t, h)))
標籤長度固定時,t + h 就是標籤結束的時間。長度不固定(例如第 5 節的三重障礙),就把每筆的實際結束時間傳進來,條件改成 end < lo。
我原本預期 purge 會讓分數再往下掉一截。結果沒有。
為了看邊界變大時會不會有差,我把三種設定各跑 20 個種子。小樣本時某些折只有一種答案、算不出 AUC,所以這裡改成把各折的預測合併,算一個整體 AUC:
| 設定 | 每折樣本 | 邊界佔每折 | 照時間切 | Purge + Embargo | 差距 | 差距的種子間 SD |
|---|---|---|---|---|---|---|
| n=3000, h=20, 5 折 | 586 | 3% | 0.480 | 0.479 | +0.001 | 0.005 |
| n=3000, h=60, 10 折 | 289 | 21% | 0.483 | 0.480 | +0.004 | 0.007 |
| n=1500, h=100, 10 折 | 135 | 74% | 0.441 | 0.432 | +0.009 | 0.043 |
方向是對的:邊界佔比越大,purge 拿掉的分數越多。但就算邊界佔到每折的 74%,差距也只有 0.009,還比種子之間的波動小。
這裡有一個副作用要先講清楚:合併各折預測算出的 AUC 會系統性低於 0.5(表上的 0.44)。原因是每折的模型主要在學「訓練段漲的比例」,而訓練段漲得多的時候,被拿掉的測試段往往漲得少,預測方向剛好相反。比較兩種切法的差距沒問題,但不要拿這個絕對數字當基準。
小節
亂洗是主要的洩漏來源。 在這組模擬裡,它把純雜訊的 AUC 從 0.5 灌到 0.68。 Purge 補的是邊界,而邊界的影響比我預期的小。 三種設定下差距 0.001–0.009,都在雜訊範圍內。 我還是每次都 purge,因為它幾乎不花成本。但如果有人說「我沒做 purge,所以結果不可信」,在日頻、標籤 20 天左右的設定下,這個指控大概不成立;「我有亂洗」才是。
sklearn 的 TimeSeriesSplit 有 gap 參數,作用是訓練段和測試段之間空幾筆,相當於簡化版的 purge:
from sklearn.model_selection import TimeSeriesSplit
tscv = TimeSeriesSplit(n_splits=5, gap=20) # gap 設成標籤長度
5. 標籤怎麼定:固定期間 vs 三重障礙¶
「未來 20 日報酬 > 0」這種標籤有兩個毛病。
第一,它不管路上發生什麼事。先跌 15% 再漲回來,標籤一樣是「漲」,但實際交易早就停損出場了。
第二,門檻固定為 0。大波動期和小波動期混在一起,同樣是「漲」,意義差很多。
三重障礙(triple barrier)把交易規則寫進標籤。從每個時點往後看,設一條上界、一條下界、一個時間上限:
- 先碰上界 →
+1 - 先碰下界 →
-1 - 時間到都沒碰 →
0
上下界用當時的波動決定,大波動期自動放寬。
def triple_barrier(px, vol, up=1.0, dn=1.0, max_h=20):
"""回傳標籤,以及每筆實際出場的位置(purge 要用)。"""
p, v = px.to_numpy(), vol.to_numpy()
lab = np.full(len(p), np.nan); end = np.full(len(p), -1)
for i in range(len(p) - max_h):
if np.isnan(v[i]):
continue
path = p[i + 1:i + 1 + max_h] / p[i] - 1
hit_up = np.flatnonzero(path >= up * v[i])
hit_dn = np.flatnonzero(path <= -dn * v[i])
first_up = hit_up[0] if hit_up.size else max_h
first_dn = hit_dn[0] if hit_dn.size else max_h
if first_up == first_dn == max_h:
lab[i], end[i] = 0, i + max_h
elif first_up < first_dn:
lab[i], end[i] = 1, i + 1 + first_up
else:
lab[i], end[i] = -1, i + 1 + first_dn
return pd.Series(lab, px.index), pd.Series(end, px.index)
vol = px.pct_change().rolling(20).std() * np.sqrt(20) # 換算成 20 日尺度
lab, end = triple_barrier(px, vol)
同一段隨機漫步,上下界設 1 倍 20 日波動:0 佔 45.7%、-1 佔 31.1%、+1 佔 23.2%,平均持有 15.3 天。
我第一次設成 2 倍波動,結果 93% 的樣本都是 0,等於沒有標籤。障礙寬度要先看標籤分布再定,不要直接抄書上的倍數。
end 這個欄位別丟掉。三重障礙每筆標籤的長度不同,purge 時要用實際出場位置判斷重疊。
6. CV 切對之後,還會騙人的地方¶
6.1 有效樣本數¶
3,000 天、每筆標籤看 20 天,名目上有 3,000 筆樣本。但相鄰樣本幾乎是同一件事,真正獨立的大約只有 3,000 ÷ 20 ≈ 150 筆。
這會影響所有拿「樣本數」去算的東西:t 統計量、p-value、信賴區間、Sharpe 的標準誤。拿 3,000 去算,信心會被灌大好幾倍。重疊視窗算出的 Sharpe 看起來特別穩,常常就是這個原因。
兩種處理方式:
- 算統計量時用非重疊樣本:每 20 天取一筆,或用 Newey-West 這類處理自相關的標準誤。
- 訓練時降低重疊樣本的權重:López de Prado 第 4 章的做法是,算每筆標籤區間和其他樣本重疊的程度,重疊越多權重越低。sklearn 的
fit(X, y, sample_weight=w)可以直接吃這個權重。
6.2 Walk-forward¶
Purged K-Fold 會拿「未來」的資料訓練、拿「過去」測試。研究特徵有沒有用時可以接受,因為每段資料都當過一次測試集。但要估「上線後會怎樣」,就該照真實時間走:
訓練 [1 ─────── 600] → 空 20 天 → 測試 [621 ── 800]
訓練 [1 ─────────────── 800] → 空 20 天 → 測試 [821 ── 1000]
訓練 [1 ─────────────────────── 1000] → 空 20 天 → 測試 [1021 ── 1200]
這就是 TimeSeriesSplit(gap=20) 做的事。
6.3 試驗次數¶
研究過程試了 50 種特徵組合、20 組參數,最後挑出最好的那個。這和 A/B 測試的多重比較是同一個問題(見〈統計推論與 A/B 測試〉§4.3):試得夠多,總會撿到一個看起來顯著的。
Bailey 與 López de Prado 的 Deflated Sharpe Ratio 會把試驗次數算進門檻。最低限度,也要記下總共試了幾次,報告時一起寫出來。
7. 結論¶
回到前言的三個問題。
隨機價格為什麼能跑出 0.68? 相鄰樣本的標籤重疊 19/20,特徵也幾乎一樣。亂洗讓鄰居同時出現在訓練和測試兩邊,模型靠記憶就能拿分。
Purge 補了多少? 在本文的三種設定下,0.001–0.009,比種子間的雜訊還小。邊界佔比越大補得越多,但主要的洩漏在第一步就已經發生:亂洗。
CV 切對之後還有什麼? 有效樣本數大約是名目樣本數的 1/h,所有統計量都要照這個打折;試過幾次也要算進去。
我拿到一條新的研究 pipeline,第一件事是餵它一段隨機漫步。特徵、標籤、CV、評估全部照原樣跑。在隨機資料上跑出 AUC 0.55 以上或明顯為正的 Sharpe,pipeline 本身就有洩漏,不用往下看真實資料的結果。
例外:標籤只看下一期(h = 1)、特徵也只用當期資訊時,重疊問題很小,purge 和樣本權重可以先不管。但不亂洗這條永遠成立。
延伸:這篇真正想留下的問題¶
本文的主角是重疊的標籤,但「鄰居長得像」不只發生在金融時序。同一個病人的多次就診、同一個使用者的多次點擊、同一棟房子的多次成交,都是同一回事。GroupKFold 處理的是同一個問題。
所以下次看到一個好看的 CV 分數,值得停下來問一句:測試集裡的每一筆樣本,它的鄰居在哪一邊?
延伸閱讀(本站)¶
- 模型評估與 Cross-Validation 實務 — TimeSeriesSplit、GroupKFold、Nested CV 的一般用法
- 統計推論與 A/B 測試 — 多重比較與 peeking,和策略回測的過度擬合是同一類問題
- 常見 ML Case Study — Case 3 時間序列預測的 lag 特徵與時序切分
- Gradient Boosting 實戰 — 表格型特徵最常用的模型與 early stopping
參考資料¶
- López de Prado, M.《Advances in Financial Machine Learning》(Wiley, 2018),Ch3(三重障礙標籤)、Ch4(樣本權重)、Ch7(Purged K-Fold 與 Embargo)
- Bailey, D. H. & López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5)
- scikit-learn: TimeSeriesSplit(
gap參數自 0.24 版起提供) - 本頁實驗為自行模擬:隨機漫步、隨機森林(
min_samples_leaf=5;第 2 節 300 棵、第 4 節 150 棵),第 2 節種子 0–4、第 4 節種子 0–19,2026-10-04 執行