跳轉到

DA 轉 DS 學習地圖:要補的是機器學習和工程

摘要

有經濟或計量背景的資料分析師(DA)想轉資料科學家(DS),要補的主要是機器學習實作和軟體工程習慣,統計和因果推論大多不用重學。一般 DA 已經有 SQL、敘述統計、BI 和商業脈絡;轉 DS 的真正缺口有三塊:會評估、不洩漏資料的機器學習,能上線的 Python,以及「設計並驗證」實驗而不只是報告實驗結果(SeekerScore)。念過經濟所的話,計量訓練已經涵蓋第三塊的大半,所以時間應該押在 ML:美國職缺有 69.3% 提到 machine learning,深度學習只有 11.7%(365 Data Science)。平日已經在寫 Python 的話,兼職 6–9 個月是合理時程。

一、學習地圖總覽:已經走完一半,缺的是 ML 和工程

DA 已經有的 vs. 真正的缺口

知識領域 典型現況(經濟背景的零售 DA) 缺口 建議投入
SQL 日常在用 面試等級的 window function、cohort、去重等邊界情況 持續練,面試前集中衝刺
統計與推論 經濟所已涵蓋 線上實驗語彙:SRM、CUPED、sequential testing、guardrail metric、Bayesian A/B 4–6 週
因果推論 經濟所已涵蓋(DiD、IV、RDD、panel FE) Python 套件(EconML、CausalML、DoubleML)、uplift、DML 併入實驗階段
數學 經濟所已涵蓋(矩陣 OLS、MLE、最適化) 複習 PCA/SVD、梯度下降、正則化的幾何直覺 1–2 週
機器學習 最大缺口 預測思維、tree ensemble、交叉驗證、leakage、校準、SHAP、時間序列預測 3–4 個月
Python 工程 會用 pandas 分析 模組化、Git、pytest、套件化、Docker 3–4 週,之後每個專案都用
深度學習 / LLM 大概沒碰過 embedding、transformer 概念、LLM API、LLM 評估 4–6 週
MLOps 沒碰過 MLflow、排程批次 pipeline、drift 監控 併入作品集
商業與指標 強項(零售 KPI、促銷、門市營運) 把它寫進作品集和面試 —

經濟背景在實驗、因果、定價、促銷效果這類 DS 職位是加分,偏 ML 的職位就比較吃虧:美國職缺裡經濟系只出現在 0.7% 的條件中(365 Data Science)。產品型 DS 面試裡,實驗與指標設計是主要的淘汰關卡(DataInterview)。

建議順序與時程(每週 10–15 小時)

ML 排第一,因為缺口最大、職缺最看重;統計因果排第二而且短,多半是複習;深度學習放後面,一般 DS 只需要會用。時數依教材份量估計,不是調查數字。

月份 重點 產出
0–1 Python 工程基礎(函式、模組、Git、venv、pytest)+數學複習 把一份工作上的分析重構成小套件
1–4 核心 ML:ISLP → Géron Part I;CV、leakage、LightGBM、不平衡與校準、SHAP 作品 1:鮮食需求預測,時間切分 CV+SHAP
4–5 實驗與因果(複習為主):A/B 設計、power、CUPED、Bayesian A/B 作品 2:用 DiD 或 synthetic control 評估一檔促銷
5–6 DL/LLM 基礎+LLM 評估 作品 3:用 LLM 分類商品評論,附正式評估集
6–9 面試準備、輕量部署(FastAPI/Docker、MLflow) 投履歷、整理 repo 和簡報

如果工作只用 Excel 和 SQL,時程要拉長到 12–18 個月,或先轉 analytics engineer、ML analyst 當跳板(SeekerScore)。這些時程都是估計,沒有公開方法論。

二、學習路徑流程圖

flowchart TD
    A["起點:會 SQL、報表、計量<br/>已具備,不用重學"] --> B["Python・Git・測試<br/>第 0–1 個月"]
    B --> C["數學複習:梯度下降・PCA・正則化<br/>第 0–1 個月"]
    C --> D["機器學習:LightGBM・時間切分 CV<br/>第 1–4 個月,最大的一塊"]
    D --> E{"贏過「照上週訂」嗎?"}
    E -- 還沒 --> D
    E -- 贏了 --> F["A/B test・因果推論<br/>第 4–5 個月"]
    F --> G["LLM 與評估<br/>第 5–6 個月"]
    G --> H["MLOps:MLflow・排程・監控<br/>第 6–9 個月"]
    H --> I{"資料分布變了嗎?"}
    I -- 變了 --> D
    I -- 沒變 --> J["作品集・SQL・案例題面試<br/>第 6–9 個月"]

兩個回圈是這張圖的重點:模型贏不了「照上週訂」就回去重練,上線後店裡情況一變,也要繞回機器學習那一步。

三、學習手冊:七個章節,各自學到哪裡算夠

第 1 章 Python 工程:從 notebook 到能交接的程式

為什麼要學。 DA 的程式跑一次就好,DS 的程式要每天跑、要給別人改。「production 等級的程式碼,而不只是 notebook」是 DA 轉 DS 的缺口之一(SeekerScore);台灣金控 DS 職缺已寫明要和 IT 一起部署、監控模型(Cake)。

要學什麼。 函式、模組、class、型別標註、虛擬環境;NumPy 向量化;scikit-learn API 與 Pipeline;Git 分支與 PR;pytest 和資料測試;ruff/black;logging;把 notebook 重構成腳本。SQL 練到 window function(ROW_NUMBER/LAG/LEAD)、CTE、條件聚合、D1/D7/D30 留存,以及重複事件、測試帳號、遲到資料等邊界情況(DataInterview)。

推薦資源。 Catherine Nelson《Software Engineering for Data Scientists》(O'Reilly, 2024)(O'Reilly)。

練習任務。 挑一份每週都在做的報表(例如各區鮮食報廢率),改寫成 src/+tests/+README+pyproject.toml 的小套件,同事 clone 下來一個指令就能跑。

學到什麼程度算夠。 repo 結構乾淨、可重現、commit 有意義、有測試;面試 SQL 題能又快又對。

第 2 章 數學複習:只補 ML 會用到的那幾塊

為什麼要學。 計算交給套件,但你得知道演算法何時適用、極限在哪;只有走重度深度學習或研發演算法才需要更深的數學(Interview Query)。

要學什麼。 矩陣 OLS、偏微分、最適化經濟所都教過。要補 SVD 和 PCA、梯度下降、L1/L2 正則化為什麼把係數往 0 壓。

推薦資源。 Deisenroth 等《Mathematics for Machine Learning》,免費 PDF,當工具書查(mml-book)。

練習任務。 用 NumPy 手刻梯度下降解線性迴歸,和 statsmodels OLS 對答案。

學到什麼程度算夠。 能在白板上解釋梯度下降、正則化、PCA、共線性的影響。一般 DS 是「會解釋、會挑」,ML engineer 才要「會推導、會實作」。

第 3 章 機器學習:最大的一塊,也是轉職的主要訊號

為什麼要學。 職缺最常寫的就是 ML。SeekerScore 宣稱沒有 ML 專案經驗直接投 DS 的轉換率不到 8%,但沒公開方法,只能參考(SeekerScore)。

要學什麼。

  • 思維轉換:經濟學問係數能不能解釋(inference),ML 問樣本外準不準(prediction)。bias-variance、train/validation/test、data leakage、時間切分(零售預測一定要)。
  • 監督式學習:正則化線性/邏輯迴歸、決策樹、random forest、gradient boosting(XGBoost/LightGBM/CatBoost)。在 45 個中型表格資料集上,調過參數的 tree ensemble 仍贏過深度網路(Grinsztajn et al., 2022)。
  • 非監督:k-means、GMM、PCA,用於門市與會員分群。
  • 評估:ROC-AUC、PR-AUC、log loss、校準、RMSE/MAE/MAPE;k-fold、group、time-series CV;用商業成本決定門檻。
  • 特徵工程:編碼、lag 和 rolling 特徵、防洩漏的 target encoding、ColumnTransformer。
  • 不平衡資料:優先用 class weight 和調門檻。SMOTE 會破壞校準,對 LightGBM 這類強模型的 AUC 也沒幫助(Mindful Modeler)。
  • 可解釋性:permutation importance、PDP/ICE、SHAP。「特徵重要」不等於「因果效果」。
  • 時間序列:先建 baseline,再做 ETS/ARIMA、帶 lag 特徵的 LightGBM、階層式預測。

零售連結。 Walmart 資料的 M5 競賽有 42,840 條時間序列(Makridakis et al.),前幾名都是以 LightGBM 為主的 ML 方法,深度學習沒擠進前段(Towards Data Science)。鮮食補貨要先把缺貨造成的低估修回真實需求,再用 newsvendor 邏輯平衡報廢和缺貨;McKinsey 報告這類系統缺貨最多減少 80%、報廢減少超過 10%(McKinsey)。全家自 2022 年起做 AI 鮮食訂貨,訂貨時間減少超過 75%、食物浪費減少超過 10%(Taiwan News)。

推薦資源。 ISLP(免費,ch. 2–10、12,附 Python lab)(statlearning.com);Géron《Hands-On ML with Scikit-Learn and PyTorch》2025 版 Part I(O'Reilly);Molnar《Interpretable Machine Learning》(online);Hyndman《Forecasting: Principles and Practice》第 3 版(fpp3)。

練習任務。 用 M5 或去識別化門市資料做「門市 × 品項 × 日」鮮食需求預測:季節性 naive baseline → LightGBM,CV 照時間切;預測分位數、模擬 newsvendor 訂貨,換算成報廢和缺貨金額。

學到什麼程度算夠。 能把表格型商業問題做成不洩漏的 pipeline,用 LightGBM 贏過合理 baseline,挑跟商業成本掛鉤的指標,用 SHAP 解釋、講得出限制,全部放在公開 repo。

第 4 章 實驗設計與因果推論:經濟背景的主場

為什麼要學。 DA 報告實驗,DS 設計並驗證實驗。產品型 DS 的統計與實驗關卡約 60 分鐘,是權重最高的關卡之一(Yale career guide)。

要學什麼。 DiD、IV、RDD、PSM 都學過,要補的是線上實驗語彙和 Python 工具:

  • A/B 從頭設計:假設、主要與 guardrail 指標、隨機化單位、power/MDE/樣本數、實驗天數。
  • SRM 檢查:用卡方檢定比對各組人數;Microsoft 門檻 p < 0.0005,約 6% 的實驗有 SRM(Microsoft Research)。
  • CUPED:用實驗前指標當共變數縮小 CI,對沒有歷史的新客、二元指標效果弱(Optimizely)。
  • 干擾與分群隨機:DoorDash 用 switchback 搭配 cluster-robust 標準誤(DoorDash);門市互相搶客也是同類問題。
  • 不能隨機時:Netflix 用地區配對做準實驗(MarTech);地區行銷常用 synthetic control(TDS)。
  • 因果 ML:uplift modeling 找「會被說服」的客人(CausalML);DML 估價格彈性。

零售連結。 「第二件六折」要拆開真正增量、原本就會買的補貼、同系列侵蝕和囤貨效應。分批上線的活動不能直接用 TWFE,要用 Callaway–Sant'Anna 這類估計式。Instacart 用 hash 隨機 holdout 量測零售媒體增量並算 iROAS(Instacart)。

推薦資源。 Kohavi 等《Trustworthy Online Controlled Experiments》(experimentguide.com);Cunningham《Causal Inference: The Mixtape》(mixtape);Facure《Causal Inference for the Brave and True》Part II(online)。

練習任務。 拿一檔只在部分區域辦的促銷,用 DiD 或 synthetic control 評估,畫 event-study 圖檢查平行趨勢,換算成增量毛利。另做一份模擬 A/B:算樣本數、跑 SRM、套 CUPED,比較前後 CI 寬度。

學到什麼程度算夠。 能從頭設計 A/B test、跟 PM 解釋 p-value 和 CI,不能隨機時挑對準實驗方法並說出假設。

第 5 章 深度學習與 LLM:會用、會評估就好

為什麼要學。 美國 DS 職缺提到 NLP 的比例從 2024 年的 5% 升到 19%,但 LangChain(0.4%)、Hugging Face(0.7%)仍少見(365 Data Science)。台灣南山人壽和 Appier 已把 RAG、agentic analytics 寫進 JD(Cake、Appier)。

要學什麼。 神經網路與 backprop 概念、embedding、transformer 與 attention(白板等級)、Hugging Face 預訓練模型、LLM API、結構化輸出、RAG 概念。重點是 LLM 評估:抽樣至少 100 筆人工標註、錯誤分類、用人工標籤驗證 LLM judge 的 TPR/TNR、用 Cohen's kappa 看標註一致性。實務團隊說 60–80% 的開發時間花在錯誤分析和評估(Hamel Husain & Shreya Shankar)。

推薦資源。 fast.ai Part 1(免費,2022 年內容,適合打底)(course.fast.ai);Géron 2025 版 Part II;Hamel 的 evals FAQ。

練習任務。 拿超商商品的網路評論當作品 3:用 LLM 把留言分成口味、價格、份量、新鮮度,補上正式評估集、人工標註和 judge 驗證。

學到什麼程度算夠。 能講清楚 embedding 和 transformer,能用 LLM 把文字變成特徵或標籤,並用統計方法證明它準不準。fine-tune 和 agent 是加分,不是門檻。

第 6 章 MLOps:把模型送到正式環境門口

為什麼要學。 ML engineer 把專案推上線,MLOps engineer 蓋平台(Marvelous MLOps);DS 至少要把模型送到正式環境門口。零售的高價值模型多半是每日批次,用不到即時推論。

要學什麼。 必備:Git、虛擬環境、pytest、排程概念(Airflow DAG 或 dbt)、MLflow tracking 與 model registry、訓練或批次評分的 Dockerfile、批次 vs 線上推論、train/serve skew、drift 監控(PSI/KS、Evidently)。概念就好:feature store、FastAPI、GitHub Actions、shadow/canary。Kubernetes、Terraform、GPU serving 留給 MLE。

練習任務。 把第 3 章的需求預測包成 Docker 化每日批次 pipeline,用 MLflow 記錄訓練,輸出 drift 報告,README 寫清楚商業影響。

學到什麼程度算夠。 別人拿到 repo,一個指令能重跑訓練和評分,也看得到模型最近有沒有走鐘。

第 7 章 零售 DS 題目地圖:作品集題庫

問題 常用方法 超商的眉角
需求預測(門市×品項×日) 季節性 naive → LightGBM 全域模型;階層調和;分位數預測 鮮食保存 1–2 天,要修正缺貨低估,用 newsvendor 決定訂量
促銷效果 門市隨機實驗;DiD/synthetic control;含侵蝕與月暈效應的 panel 迴歸 增量和補貼要分開算
定價/即期品折扣 log-log panel 或 DML 估彈性;markdown 最佳化 即期折扣本身就是價格和報廢的取捨
會員分群/CLV RFM、k-means/GMM;BG/NBD+Gamma-Gamma 需要會員 ID,非會員交易是匿名購物籃
App 優惠券投放 uplift 模型(T/X/DR-learner、causal forest),Qini 曲線評估 前提是有隨機化活動資料
選址 空間迴歸、gravity model 台灣超商密度極高,自家店侵蝕是核心

最快見效的三題:鮮食預測加訂貨模擬、促銷的 DiD 評估、隨機優惠券的 uplift 分析(公司有隨機化資料時)。

四、實務上會遇到的問題:模型只佔一小塊

DA 轉 DS 後最大的衝擊,是發現模型只佔工作和失敗原因的一小部分。Google 一條大型 ML pipeline 的 96 次失敗裡,60 次跟 ML 沒有直接關係(Chip Huyen)。

問題 真實案例或數據 為什麼會發生 怎麼預防
1. 一半時間在搬資料、洗資料 Anaconda 2020 調查:載入 19%、清理 26%,模型選擇、訓練、部署各約 11%(InfoWorld) 資料來源分散、定義不一致、權限要排隊 把 SQL 和資料管線當主要技能;進公司前先問資料在哪
2. 模型做完卻沒上線 Rexer 2023:只有 32% 說模型通常會部署(KDnuggets);平均約 45% 專案上線(arXiv 2402.05333)。「87% 沒上線」出處很薄,別引用 沒規劃部署;給主管看 AUC 而不是錢 第一天就定誰用、接進哪個系統、改變哪個決策;用金額報告
3. 資料洩漏讓模型看起來很準 Princeton 發現 leakage 影響 30 個領域 648 篇論文(Princeton) 對銷售資料做隨機 K-fold;用了促銷結束才知道的欄位 每個特徵標「何時可取得」;一律時間切分;量測 train/serve skew(Google Rules of ML)
4. 標籤本身是錯的 10 個 benchmark 測試集平均至少 3.3% 標錯(arXiv 2103.14749);Amazon 履歷工具學會扣分「women's」(CNBC) 歷史標籤記錄的是過去決策;缺貨日銷量被貨架上限截斷 動手前抽查標籤;缺貨日另外處理;評估集共用、定期更新(Shankar et al.)
5. 離線指標變好,生意沒變好 Booking.com 150 個模型:表現提升不一定帶來價值,延遲 +30% 轉換掉約 0.5%(Acolyer);Epic 敗血症模型外部 AUC 0.63(Healthcare IT News) 優化代理指標,門檻用預設 0.5 和店長、商品部訂報廢與缺貨成本比;用門市 A/B 驗證價值
6. 一開始就用 ML Google Rules of ML 第 1 條:不用 ML 也能上線;Eugene Yan 舉移動平均常和 ML 差不多(Eugene Yan) 想證明自己會 ML,跳過 baseline 先放「照上週同日訂」的分數,ML 贏不了就不上
7. 上線後沒人看,模型走鐘 57.9% 沒監控、43.9% 上線後不重訓(DataTalks.Club);Zillow 單季虧損 3.3 億美元(Robust Intelligence) 以為上線就結束;標籤延遲好幾週 滑動視窗監控分布;颱風、連假先標註;可退回舊模型;主管覆寫要有護欄
8. A/B 結果漂亮,實驗其實壞了 Microsoft 約 6%、LinkedIn 約 10% 實驗有 SRM(Microsoft Research);CUPED 在複雜設計下變異數估計會失真(arXiv 2606.18750) 分流、串接、資格篩選不對稱 先跑 SRM 再看效果;門市實驗用 cluster-robust 標準誤
9. 技術債與一人 DS 團隊 模型程式碼只佔 ML 系統一小部分(Sculley et al.);新創前兩位 DS 得自己建資料庫(TDS) 膠水程式、隱藏回饋迴路;沒有高層支持 設定檔也做 code review;面試問職位計畫和 data champion
10. 個資與 AI 法規 個資法修正 2025/11/11 公布,未改正可按次罰 15 萬到 1,500 萬元(K&L Gates);AI 基本法 2025/12/23 三讀(Baker McKenzie) 會員資料直接進特徵管線 假名化、最小化欄位;分群與投放模型按族群做公平性切片

個資法修正的施行日期在研究時尚未公布;AI 基本法自公布日起施行,子法和細則需要自己追蹤。

開工前檢查表

  • 這個模型改變哪個決策?誰負責?
  • 商業 KPI 和離線指標怎麼連起來(A/B)?
  • 不用 ML 的 baseline 分數是多少?
  • 預測時間點、特徵可取得時間、時間切分
  • 標籤定義審過、抽查過(缺貨日怎麼處理)
  • 部署路徑、負責人、多久要出結果
  • 監控計畫:分布、延遲標籤、警示門檻、重訓條件、退版方式
  • 公平性切片、個資最小化
  • 資料、程式、設定、seed 都版本化

五、轉職策略與台灣市場:先在現職內部做出模型

台灣 DS 職缺最多的是金融和保險業(國泰、南山、台新、凱基),2025–26 年的 JD 已從「分析」轉向「ML 模型+部署/MLOps+LLM/RAG」(Cake)。產品型 DS 如 Appier 要 3 年以上經驗、實驗統計、PySpark 和流利英文(Appier)。統一超商 OPEN POINT 的 DA 職缺已要求推薦模型和會員標籤(Yourator):在零售業,有沒有做出並上線模型,比職稱更能區分 DA 和 DS。

薪資。 104 的 2024–2025 調查顯示資料科學家平均年薪 110.2 萬元(網管人);2025–2026 調查全體中位數總年薪 67.3 萬元(經濟日報)。GoodJob 有人自填台新數據規劃師 120 萬、行動貝果 DS 77 萬(GoodJob)。

路徑。 沒有任何路徑有成功率數據。質性證據最支持內部轉調,或把現在的 DA 工作往建模、實驗方向擴,累積 JD 要的「上線經驗+商業影響」。外部轉職靠作品集:避開 Titanic 這類通用資料集,每個專案收在一個帶金額的建議上(KDnuggets)。證照只幫你敲門(Careery),104 上就有 65 種 AI 證照(工商時報)。

面試。 台灣 DS 面試少考 LeetCode,常見是專案深度追問、線上 SQL/Python/統計測驗,有時加資料分析作業;國泰人壽第二關分析公開資料集,Deloitte 有專案簡報關(GoodJob)。準備一份 10 分鐘專案簡報(背景、方法、困難、建議),加上 SQL 和 A/B 基本功。

GenAI 的影響。 104 的 AI 相關職缺 2025 年 11 月達 9.9 萬個,年增 38%(工商時報)。DataCamp 分析約 200 萬筆職缺:AI engineering 年增 255%,傳統 DS/DA/BI 成長不到 50%(01net/DataCamp)。純描述性分析最容易被取代,實驗、因果和判斷力比較耐久。

轉職時程、成功率、ML 職缺比例大多來自美國資料或沒有公開方法的估計;台灣還沒有全家、momo、蝦皮等零售電商 DS 職缺的系統性資料。

資料來源