跳轉到

金融時間序列 ML:回測分數從哪裡來?Purge 到底補了多少?

難度:中。需要會用 sklearn 做 CV,知道 AUC 是什麼。 本文所有數字都來自可重跑的模擬:Python 3.12、scikit-learn 1.9.1、隨機森林,資料是人造的隨機漫步價格。程式碼附在各節,2026-10-04 執行。

1. 前言

談金融 ML 驗證的文章,大多停在同一句話:時序資料不要亂洗,要用 purged K-Fold 加 embargo。這句話沒錯,但它沒說每一步各擋掉了多少洩漏。不知道這個,就不知道哪一步省不得、哪一步只是保險。

本文想回答三個問題:

  • 完全隨機的價格,為什麼能跑出 AUC 0.68?(先講結論:模型認得的是「鄰居」,不是未來。相鄰兩天的標籤幾乎是同一件事,亂洗之後兩邊各分一個,模型背答案就能拿分。)
  • Purge 和 embargo 實際補了多少?(在我測的設定裡,幾乎沒補到。九成以上的傷害來自亂洗;purge 補的是折與折的邊界,效果小到被種子間的雜訊蓋過。)
  • CV 切對之後,還有哪裡會騙人?(重疊標籤讓「真正獨立的樣本」只剩約 1/h。拿名目樣本數去算 t 值或 Sharpe,信心會被灌大好幾倍。)

本文用兩組模擬回答。第一組是亂洗 K-Fold,在純雜訊上跑出漂亮分數;第二組照時間切,分數回到 0.5 附近。兩組的差別只有一件事:測試樣本的鄰居有沒有出現在訓練集裡。

本文只討論日頻、單一資產、分類標籤、樹模型的情形。

2. 實驗一:隨機漫步上的 0.68

我們讓每天的報酬服從 N(0, 1%),累乘出 3,000 天的價格。照定義,沒有任何特徵能預測它。

特徵用四個常見的技術指標:5 日與 20 日動能、20 日波動、價格對 50 日均線的乖離。標籤是「未來 20 日報酬 > 0」。

import numpy as np, pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import KFold
from sklearn.metrics import roc_auc_score

rng = np.random.default_rng(0)
n, h = 3000, 20                      # 3000 個交易日,標籤看未來 20 日
px = pd.Series(100 * np.exp(np.cumsum(rng.normal(0, 0.01, n))))
r = px.pct_change()
X = pd.DataFrame({
    "mom_5": px.pct_change(5), "mom_20": px.pct_change(20),
    "vol_20": r.rolling(20).std(), "ma_gap": px / px.rolling(50).mean() - 1,
})
y = (px.shift(-h) / px - 1 > 0).astype(int)
ok = X.notna().all(axis=1) & px.shift(-h).notna()
X, y = X[ok].reset_index(drop=True), y[ok].reset_index(drop=True)
t = np.arange(len(X))                # 樣本 i 的標籤用到第 i 到 i+h 天

def run(splits):
    aucs = []
    for tr, te in splits:
        m = RandomForestClassifier(300, min_samples_leaf=5, n_jobs=-1, random_state=0)
        m.fit(X.iloc[tr], y.iloc[tr])
        aucs.append(roc_auc_score(y.iloc[te], m.predict_proba(X.iloc[te])[:, 1]))
    return np.mean(aucs), np.std(aucs)

print(run(KFold(5, shuffle=True, random_state=0).split(X)))   # 亂洗
print(run(KFold(5).split(X)))                                 # 照時間切

用 KFold(shuffle=True) 做 5 折 CV,AUC 是 0.681。照時間順序切,同一份資料掉到 0.488。

換五個亂數種子重跑:

種子 亂洗 KFold 照時間切 KFold
0 0.681 0.488
1 0.678 0.476
2 0.694 0.524
3 0.676 0.525
4 0.647 0.434

亂洗那欄五次都在 0.65 以上。在真實資料上看到這種數字,很容易被當成找到 alpha。

3. 為什麼:重疊的標籤讓模型認得鄰居

第 i 天的標籤看第 i 到 i+20 天的價格。第 i+1 天的標籤看第 i+1 到 i+21 天。兩者有 19 天重疊,標籤幾乎一樣。

特徵也一樣。20 日動能、50 日均線這種東西,隔一天只差一點點。

所以資料裡其實是一串一串「長得很像、答案也很像」的樣本。亂洗之後,第 i 天進了訓練集,第 i+1 天進了測試集。模型不用學任何規律,只要記住「長這樣的那幾天,答案是漲」,就能在測試集上猜對鄰居。隨機森林特別擅長這種記憶。

0.68 量到的是「模型認得出鄰居」,不是「模型會預測未來」。

照時間切的時候,測試段是一整塊連續的日子。它的鄰居大多也在測試段裡,訓練集碰不到,記憶就派不上用場。

值得一提的是,照時間切那欄的五折標準差在 0.04–0.08 之間。純雜訊在某個種子上跑出 0.525,一點也不奇怪。一次 CV 跑出 0.52–0.53,不能當成訊號的證據。

4. 實驗二:Purge 和 Embargo 補了多少?

照時間切還留著一個洞:每一折的邊界。訓練段最後 20 天的標籤,看的是測試段開頭的價格,等於偷看了測試期的一小段答案。

López de Prado 在《Advances in Financial Machine Learning》第 7 章提出兩個修正:

  • Purge:訓練集裡,標籤區間和測試段重疊的樣本,整筆刪掉。
  • Embargo:測試段結束後再空一段,才開始放訓練樣本。特徵常回看過去(50 日均線),測試段剛結束那幾天的特徵,還帶著測試期的價格。
def purged_kfold(t, h, k=5, embargo=None):
    """t:樣本的時間索引;h:標籤往後看幾期。"""
    embargo = h if embargo is None else embargo
    for te in np.array_split(t, k):
        lo, hi = te[0], te[-1]
        tr = t[(t + h < lo) | (t > hi + embargo)]
        yield tr, te

print(run(purged_kfold(t, h)))

標籤長度固定時,t + h 就是標籤結束的時間。長度不固定(例如第 5 節的三重障礙),就把每筆的實際結束時間傳進來,條件改成 end < lo。

我原本預期 purge 會讓分數再往下掉一截。結果沒有。

為了看邊界變大時會不會有差,我把三種設定各跑 20 個種子。小樣本時某些折只有一種答案、算不出 AUC,所以這裡改成把各折的預測合併,算一個整體 AUC:

設定 每折樣本 邊界佔每折 照時間切 Purge + Embargo 差距 差距的種子間 SD
n=3000, h=20, 5 折 586 3% 0.480 0.479 +0.001 0.005
n=3000, h=60, 10 折 289 21% 0.483 0.480 +0.004 0.007
n=1500, h=100, 10 折 135 74% 0.441 0.432 +0.009 0.043

方向是對的:邊界佔比越大,purge 拿掉的分數越多。但就算邊界佔到每折的 74%,差距也只有 0.009,還比種子之間的波動小。

這裡有一個副作用要先講清楚:合併各折預測算出的 AUC 會系統性低於 0.5(表上的 0.44)。原因是每折的模型主要在學「訓練段漲的比例」,而訓練段漲得多的時候,被拿掉的測試段往往漲得少,預測方向剛好相反。比較兩種切法的差距沒問題,但不要拿這個絕對數字當基準。

小節

亂洗是主要的洩漏來源。 在這組模擬裡,它把純雜訊的 AUC 從 0.5 灌到 0.68。 Purge 補的是邊界,而邊界的影響比我預期的小。 三種設定下差距 0.001–0.009,都在雜訊範圍內。 我還是每次都 purge,因為它幾乎不花成本。但如果有人說「我沒做 purge,所以結果不可信」,在日頻、標籤 20 天左右的設定下,這個指控大概不成立;「我有亂洗」才是。

sklearn 的 TimeSeriesSplit 有 gap 參數,作用是訓練段和測試段之間空幾筆,相當於簡化版的 purge:

from sklearn.model_selection import TimeSeriesSplit
tscv = TimeSeriesSplit(n_splits=5, gap=20)   # gap 設成標籤長度

5. 標籤怎麼定:固定期間 vs 三重障礙

「未來 20 日報酬 > 0」這種標籤有兩個毛病。

第一,它不管路上發生什麼事。先跌 15% 再漲回來,標籤一樣是「漲」,但實際交易早就停損出場了。

第二,門檻固定為 0。大波動期和小波動期混在一起,同樣是「漲」,意義差很多。

三重障礙(triple barrier)把交易規則寫進標籤。從每個時點往後看,設一條上界、一條下界、一個時間上限:

  • 先碰上界 → +1
  • 先碰下界 → -1
  • 時間到都沒碰 → 0

上下界用當時的波動決定,大波動期自動放寬。

def triple_barrier(px, vol, up=1.0, dn=1.0, max_h=20):
    """回傳標籤,以及每筆實際出場的位置(purge 要用)。"""
    p, v = px.to_numpy(), vol.to_numpy()
    lab = np.full(len(p), np.nan); end = np.full(len(p), -1)
    for i in range(len(p) - max_h):
        if np.isnan(v[i]):
            continue
        path = p[i + 1:i + 1 + max_h] / p[i] - 1
        hit_up = np.flatnonzero(path >= up * v[i])
        hit_dn = np.flatnonzero(path <= -dn * v[i])
        first_up = hit_up[0] if hit_up.size else max_h
        first_dn = hit_dn[0] if hit_dn.size else max_h
        if first_up == first_dn == max_h:
            lab[i], end[i] = 0, i + max_h
        elif first_up < first_dn:
            lab[i], end[i] = 1, i + 1 + first_up
        else:
            lab[i], end[i] = -1, i + 1 + first_dn
    return pd.Series(lab, px.index), pd.Series(end, px.index)

vol = px.pct_change().rolling(20).std() * np.sqrt(20)   # 換算成 20 日尺度
lab, end = triple_barrier(px, vol)

同一段隨機漫步,上下界設 1 倍 20 日波動:0 佔 45.7%、-1 佔 31.1%、+1 佔 23.2%,平均持有 15.3 天。

我第一次設成 2 倍波動,結果 93% 的樣本都是 0,等於沒有標籤。障礙寬度要先看標籤分布再定,不要直接抄書上的倍數。

end 這個欄位別丟掉。三重障礙每筆標籤的長度不同,purge 時要用實際出場位置判斷重疊。

6. CV 切對之後,還會騙人的地方

6.1 有效樣本數

3,000 天、每筆標籤看 20 天,名目上有 3,000 筆樣本。但相鄰樣本幾乎是同一件事,真正獨立的大約只有 3,000 ÷ 20 ≈ 150 筆。

這會影響所有拿「樣本數」去算的東西:t 統計量、p-value、信賴區間、Sharpe 的標準誤。拿 3,000 去算,信心會被灌大好幾倍。重疊視窗算出的 Sharpe 看起來特別穩,常常就是這個原因。

兩種處理方式:

  • 算統計量時用非重疊樣本:每 20 天取一筆,或用 Newey-West 這類處理自相關的標準誤。
  • 訓練時降低重疊樣本的權重:López de Prado 第 4 章的做法是,算每筆標籤區間和其他樣本重疊的程度,重疊越多權重越低。sklearn 的 fit(X, y, sample_weight=w) 可以直接吃這個權重。

6.2 Walk-forward

Purged K-Fold 會拿「未來」的資料訓練、拿「過去」測試。研究特徵有沒有用時可以接受,因為每段資料都當過一次測試集。但要估「上線後會怎樣」,就該照真實時間走:

訓練 [1 ─────── 600] → 空 20 天 → 測試 [621 ── 800]
訓練 [1 ─────────────── 800] → 空 20 天 → 測試 [821 ── 1000]
訓練 [1 ─────────────────────── 1000] → 空 20 天 → 測試 [1021 ── 1200]

這就是 TimeSeriesSplit(gap=20) 做的事。

6.3 試驗次數

研究過程試了 50 種特徵組合、20 組參數,最後挑出最好的那個。這和 A/B 測試的多重比較是同一個問題(見〈統計推論與 A/B 測試〉§4.3):試得夠多,總會撿到一個看起來顯著的。

Bailey 與 López de Prado 的 Deflated Sharpe Ratio 會把試驗次數算進門檻。最低限度,也要記下總共試了幾次,報告時一起寫出來。

7. 結論

回到前言的三個問題。

隨機價格為什麼能跑出 0.68? 相鄰樣本的標籤重疊 19/20,特徵也幾乎一樣。亂洗讓鄰居同時出現在訓練和測試兩邊,模型靠記憶就能拿分。

Purge 補了多少? 在本文的三種設定下,0.001–0.009,比種子間的雜訊還小。邊界佔比越大補得越多,但主要的洩漏在第一步就已經發生:亂洗。

CV 切對之後還有什麼? 有效樣本數大約是名目樣本數的 1/h,所有統計量都要照這個打折;試過幾次也要算進去。

我拿到一條新的研究 pipeline,第一件事是餵它一段隨機漫步。特徵、標籤、CV、評估全部照原樣跑。在隨機資料上跑出 AUC 0.55 以上或明顯為正的 Sharpe,pipeline 本身就有洩漏,不用往下看真實資料的結果。

例外:標籤只看下一期(h = 1)、特徵也只用當期資訊時,重疊問題很小,purge 和樣本權重可以先不管。但不亂洗這條永遠成立。

延伸:這篇真正想留下的問題

本文的主角是重疊的標籤,但「鄰居長得像」不只發生在金融時序。同一個病人的多次就診、同一個使用者的多次點擊、同一棟房子的多次成交,都是同一回事。GroupKFold 處理的是同一個問題。

所以下次看到一個好看的 CV 分數,值得停下來問一句:測試集裡的每一筆樣本,它的鄰居在哪一邊?


延伸閱讀(本站)

參考資料

  • López de Prado, M.《Advances in Financial Machine Learning》(Wiley, 2018),Ch3(三重障礙標籤)、Ch4(樣本權重)、Ch7(Purged K-Fold 與 Embargo)
  • Bailey, D. H. & López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5)
  • scikit-learn: TimeSeriesSplit(gap 參數自 0.24 版起提供)
  • 本頁實驗為自行模擬:隨機漫步、隨機森林(min_samples_leaf=5;第 2 節 300 棵、第 4 節 150 棵),第 2 節種子 0–4、第 4 節種子 0–19,2026-10-04 執行