跳轉到

Machine Learning

本區整理機器學習、深度學習、表格資料的實作與評估,以及實驗設計。大多數文章附可重跑的模擬實驗:每篇先丟出三個問題、先講結論,再用一個「方法有效」和一個「方法失靈」的對照實驗說明原因。

重點放在容易被誤用的地方:哪一步會讓分數看起來很好、上線卻很差。

閱讀地圖

頁面 回答什麼問題 主要實驗
ML 核心觀念 模型學壞了,是太簡單還是太複雜? 多項式次數 1/3/15;L1 vs L2
Géron《Hands-On ML》Ch1–9 這本書前九章怎麼串成一條路? 教科書整理(無實驗)
深度學習訓練基礎 為什麼深的網路以前訓練不起來? 20 層網路的梯度消失
Transformer 與注意力機制 Attention 在算什麼?為什麼要除以 √d? √d 與 softmax 飽和;詞序
特徵工程心法 資料進模型前要做什麼? Target encoding 洩漏
sklearn Pipeline 模板 為什麼前處理一定要包進 Pipeline? 先選特徵再 CV
模型評估與 Cross-Validation 分數高,模型就真的好嗎? ROC-AUC vs PR-AUC
Gradient Boosting 實戰 三套 GBDT 差多少?什麼時候會輸? 四套 GBDT 實測;不會外插
模型可解釋性 哪個特徵最重要?這個答案可信嗎? 三種 importance;相關特徵
常見 ML Case Study 拿到任務第一步做什麼?閾值怎麼定? 閾值 0.5 vs 調整後
金融時間序列 ML 回測分數從哪裡來? 隨機漫步上的 CV 洩漏
統計推論與 A/B 測試 這個差異是真的嗎?該不該上線? Peeking 模擬;樣本數

依目標分流

  • 剛開始學 ML → ML 核心觀念 → 特徵工程 → Pipeline 模板 → 模型評估。需要照教科書順序對照時,看 Géron 筆記。
  • 想懂大型語言模型的底層 → 深度學習訓練基礎 → Transformer 與注意力機制。
  • 要做完一個表格資料的專案 → 特徵工程 → Pipeline 模板 → 模型評估 → Gradient Boosting → Case Study。要向別人解釋模型時,加讀模型可解釋性。
  • 要用 ML 做交易研究 → 模型評估 → 金融時間序列 ML。後者的洩漏問題在一般時序任務(Case Study 的 Case 3)也成立。
  • 要驗證一個產品改動有沒有效 → 統計推論與 A/B 測試單獨成立,不需要先讀其他篇。

一條貫穿的線:資料洩漏

本區至少有 6 篇在處理同一件事:某一步用到了上線時拿不到的資訊,分數就會虛高。

洩漏的形式 後果 在哪一篇
先在全部資料上選特徵,再做 CV 純雜訊準確率 0.870(應為 0.5) Pipeline 模板
Target encoding 用到自己的 y 純雜訊訓練 AUC 0.889 特徵工程
時序資料亂洗 K-Fold 隨機漫步 AUC 0.681 金融時間序列
在測試集上挑閾值、做 early stopping 測試分數不再是沒看過的資料 Gradient Boosting、Case Study
EDA 時看了測試集 前處理決策偏向測試集 Géron 筆記

主題歸屬(避免多頁分歧)

同一主題只在一頁寫完整版,其他頁指過去:

主題 完整版在 其他頁的處理
Bias-Variance、正則化、樹模型家族觀念 ML 核心觀念 Géron 筆記保留書中獨有的推導與參數陷阱
神經網路訓練(激活、優化器、梯度消失) 深度學習訓練基礎 ML 核心觀念只講梯度下降的基本形式
前處理與特徵設計 特徵工程心法 Pipeline 模板提供對應的程式碼
Pipeline 與前處理洩漏 sklearn Pipeline 模板 Géron 筆記的 Ch2 保留端到端流程脈絡
評估指標、CV 策略、Nested CV 模型評估與 CV ML 核心觀念保留速查表,Géron 筆記保留 threshold/PR vs ROC
GBDT 的實作、調參與限制 Gradient Boosting 實戰 ML 核心觀念保留 Bagging vs Boosting 的觀念比較
特徵重要度與 SHAP 模型可解釋性 Géron 筆記的 Ch6 只指出內建 importance 的偏差
時序資料的 CV 洩漏與 purge 金融時間序列 ML 模型評估保留 TimeSeriesSplit 的一般用法
假設檢定、樣本數、實驗設計 統計推論與 A/B 測試 模型評估談的是模型的推論,不涉隨機分派

Learning Paths

上面的地圖可以直接點選前往。這份清單保留完整內容——它同時是站內搜尋的索引來源,也是 JavaScript 未載入時的備援,因此不隨地圖移除。

展開完整清單(含一句話導讀)

基礎觀念

  • ML 核心觀念
    八個核心觀念串成一條線:ML 類型、bias-variance、梯度下降、線性/邏輯回歸、正則化、樹模型家族、CV、評估指標。實測多項式次數與 L1/L2 的差別。
  • ML 數學觀念
    讀 ML 文章時卡住的數學名詞小辭典,一個觀念一小節。目前收錄凸函數(Convex)。
  • Géron《Hands-On ML》Ch1–9 重點整理
    照書走章節:ML 全景、端到端專案、分類與 threshold、訓練原理、SVM、決策樹、集成、降維、分群。每章附一個最常見的誤解。

深度學習

  • 深度學習訓練基礎
    神經網路的訓練迴路:激活函數、損失、優化器、反向傳播、Dropout/BatchNorm、CNN 入門。實測 20 層網路的梯度消失與初始化的影響。
  • Transformer 與注意力機制
    用 numpy 從零實作 attention,實測不除以 √d 時 softmax 怎麼飽和、attention 為什麼不知道詞序,以及 O(n²) 的記憶體代價。

表格資料實作

  • 特徵工程心法
    數值、類別、缺失值、時間特徵的處理,特徵交互與選擇,不平衡資料手法。實測 target encoding 的洩漏與 cross-fitting 修法。
  • sklearn Pipeline 與資料前處理模板
    ColumnTransformer、自訂 Transformer、GridSearchCV 整合到儲存部署的可複製模板。實測先選特徵再做 CV 的洩漏。
  • 模型評估與 Cross-Validation 實務
    指標選擇、CV 策略(Stratified / Group / TimeSeriesSplit)、Nested CV。實測不平衡資料上 ROC-AUC 與 PR-AUC 的落差。
  • Gradient Boosting 實戰
    同一份資料實測 XGBoost / LightGBM / CatBoost / HistGB,拆解 learning rate 與 early stopping,以及樹模型不會外插的失敗情境。
  • 模型可解釋性:Feature Importance 與 SHAP
    三種重要度方法為什麼給出不同排名,以及高度相關的特徵如何讓它們一起失準、怎麼分組修正。

綜合應用

統計與實驗

  • 統計推論與 A/B 測試
    假設檢定的最小框架、樣本數與 MDE 計算、A/B 測試完整流程,以及七個會讓結論失效的實務謬誤(peeking、SRM、多重比較、辛普森悖論等)。獨立於其他各篇,可單獨閱讀。