Machine Learning¶
本區整理機器學習、深度學習、表格資料的實作與評估,以及實驗設計。大多數文章附可重跑的模擬實驗:每篇先丟出三個問題、先講結論,再用一個「方法有效」和一個「方法失靈」的對照實驗說明原因。
重點放在容易被誤用的地方:哪一步會讓分數看起來很好、上線卻很差。
閱讀地圖¶
| 頁面 | 回答什麼問題 | 主要實驗 |
|---|---|---|
| ML 核心觀念 | 模型學壞了,是太簡單還是太複雜? | 多項式次數 1/3/15;L1 vs L2 |
| Géron《Hands-On ML》Ch1–9 | 這本書前九章怎麼串成一條路? | 教科書整理(無實驗) |
| 深度學習訓練基礎 | 為什麼深的網路以前訓練不起來? | 20 層網路的梯度消失 |
| Transformer 與注意力機制 | Attention 在算什麼?為什麼要除以 √d? | √d 與 softmax 飽和;詞序 |
| 特徵工程心法 | 資料進模型前要做什麼? | Target encoding 洩漏 |
| sklearn Pipeline 模板 | 為什麼前處理一定要包進 Pipeline? | 先選特徵再 CV |
| 模型評估與 Cross-Validation | 分數高,模型就真的好嗎? | ROC-AUC vs PR-AUC |
| Gradient Boosting 實戰 | 三套 GBDT 差多少?什麼時候會輸? | 四套 GBDT 實測;不會外插 |
| 模型可解釋性 | 哪個特徵最重要?這個答案可信嗎? | 三種 importance;相關特徵 |
| 常見 ML Case Study | 拿到任務第一步做什麼?閾值怎麼定? | 閾值 0.5 vs 調整後 |
| 金融時間序列 ML | 回測分數從哪裡來? | 隨機漫步上的 CV 洩漏 |
| 統計推論與 A/B 測試 | 這個差異是真的嗎?該不該上線? | Peeking 模擬;樣本數 |
依目標分流¶
- 剛開始學 ML → ML 核心觀念 → 特徵工程 → Pipeline 模板 → 模型評估。需要照教科書順序對照時,看 Géron 筆記。
- 想懂大型語言模型的底層 → 深度學習訓練基礎 → Transformer 與注意力機制。
- 要做完一個表格資料的專案 → 特徵工程 → Pipeline 模板 → 模型評估 → Gradient Boosting → Case Study。要向別人解釋模型時,加讀模型可解釋性。
- 要用 ML 做交易研究 → 模型評估 → 金融時間序列 ML。後者的洩漏問題在一般時序任務(Case Study 的 Case 3)也成立。
- 要驗證一個產品改動有沒有效 → 統計推論與 A/B 測試單獨成立,不需要先讀其他篇。
一條貫穿的線:資料洩漏¶
本區至少有 6 篇在處理同一件事:某一步用到了上線時拿不到的資訊,分數就會虛高。
| 洩漏的形式 | 後果 | 在哪一篇 |
|---|---|---|
| 先在全部資料上選特徵,再做 CV | 純雜訊準確率 0.870(應為 0.5) | Pipeline 模板 |
| Target encoding 用到自己的 y | 純雜訊訓練 AUC 0.889 | 特徵工程 |
| 時序資料亂洗 K-Fold | 隨機漫步 AUC 0.681 | 金融時間序列 |
| 在測試集上挑閾值、做 early stopping | 測試分數不再是沒看過的資料 | Gradient Boosting、Case Study |
| EDA 時看了測試集 | 前處理決策偏向測試集 | Géron 筆記 |
主題歸屬(避免多頁分歧)¶
同一主題只在一頁寫完整版,其他頁指過去:
| 主題 | 完整版在 | 其他頁的處理 |
|---|---|---|
| Bias-Variance、正則化、樹模型家族觀念 | ML 核心觀念 | Géron 筆記保留書中獨有的推導與參數陷阱 |
| 神經網路訓練(激活、優化器、梯度消失) | 深度學習訓練基礎 | ML 核心觀念只講梯度下降的基本形式 |
| 前處理與特徵設計 | 特徵工程心法 | Pipeline 模板提供對應的程式碼 |
| Pipeline 與前處理洩漏 | sklearn Pipeline 模板 | Géron 筆記的 Ch2 保留端到端流程脈絡 |
| 評估指標、CV 策略、Nested CV | 模型評估與 CV | ML 核心觀念保留速查表,Géron 筆記保留 threshold/PR vs ROC |
| GBDT 的實作、調參與限制 | Gradient Boosting 實戰 | ML 核心觀念保留 Bagging vs Boosting 的觀念比較 |
| 特徵重要度與 SHAP | 模型可解釋性 | Géron 筆記的 Ch6 只指出內建 importance 的偏差 |
| 時序資料的 CV 洩漏與 purge | 金融時間序列 ML | 模型評估保留 TimeSeriesSplit 的一般用法 |
| 假設檢定、樣本數、實驗設計 | 統計推論與 A/B 測試 | 模型評估談的是模型的推論,不涉隨機分派 |
Learning Paths¶
上面的地圖可以直接點選前往。這份清單保留完整內容——它同時是站內搜尋的索引來源,也是 JavaScript 未載入時的備援,因此不隨地圖移除。
展開完整清單(含一句話導讀)
基礎觀念¶
- ML 核心觀念
八個核心觀念串成一條線:ML 類型、bias-variance、梯度下降、線性/邏輯回歸、正則化、樹模型家族、CV、評估指標。實測多項式次數與 L1/L2 的差別。 - ML 數學觀念
讀 ML 文章時卡住的數學名詞小辭典,一個觀念一小節。目前收錄凸函數(Convex)。 - Géron《Hands-On ML》Ch1–9 重點整理
照書走章節:ML 全景、端到端專案、分類與 threshold、訓練原理、SVM、決策樹、集成、降維、分群。每章附一個最常見的誤解。
深度學習¶
- 深度學習訓練基礎
神經網路的訓練迴路:激活函數、損失、優化器、反向傳播、Dropout/BatchNorm、CNN 入門。實測 20 層網路的梯度消失與初始化的影響。 - Transformer 與注意力機制
用 numpy 從零實作 attention,實測不除以 √d 時 softmax 怎麼飽和、attention 為什麼不知道詞序,以及 O(n²) 的記憶體代價。
表格資料實作¶
- 特徵工程心法
數值、類別、缺失值、時間特徵的處理,特徵交互與選擇,不平衡資料手法。實測 target encoding 的洩漏與 cross-fitting 修法。 - sklearn Pipeline 與資料前處理模板
ColumnTransformer、自訂 Transformer、GridSearchCV 整合到儲存部署的可複製模板。實測先選特徵再做 CV 的洩漏。 - 模型評估與 Cross-Validation 實務
指標選擇、CV 策略(Stratified / Group / TimeSeriesSplit)、Nested CV。實測不平衡資料上 ROC-AUC 與 PR-AUC 的落差。 - Gradient Boosting 實戰
同一份資料實測 XGBoost / LightGBM / CatBoost / HistGB,拆解 learning rate 與 early stopping,以及樹模型不會外插的失敗情境。 - 模型可解釋性:Feature Importance 與 SHAP
三種重要度方法為什麼給出不同排名,以及高度相關的特徵如何讓它們一起失準、怎麼分組修正。
綜合應用¶
- 常見 ML Case Study:分類、回歸、時間序列與推薦
四種任務類型的端到端解題思路、典型陷阱與程式碼骨架。實測不平衡分類上閾值 0.5 與調整後閾值的差距。 - 金融時間序列 ML:回測分數從哪裡來
用隨機漫步實測亂洗 K-Fold 的洩漏、purge/embargo 的實際效果、三重障礙標籤與有效樣本數。
統計與實驗¶
- 統計推論與 A/B 測試
假設檢定的最小框架、樣本數與 MDE 計算、A/B 測試完整流程,以及七個會讓結論失效的實務謬誤(peeking、SRM、多重比較、辛普森悖論等)。獨立於其他各篇,可單獨閱讀。