Prompt Caching:用前綴快取砍掉成本與延遲¶
整理自 Anthropic 官方文件與廠商文件(見文末),2026-06-20 初版,2026-10-06 改成白話版。
實證標記:〔Anthropic〕= Anthropic 官方文件;〔廠商〕= 模型供應商文件;〔實務〕= 業界慣例或本人整理。數字依供應商而異,也會變。
先講結論:三件事¶
- 快取只認「開頭一模一樣」。開頭改一個字,從那個字往後全部作廢。
- 不變的放前面,會變的放後面。整個技巧幾乎就這一條。
- 有沒有命中,看帳單欄位,不要憑感覺。
做對的話,重複那段的費用約剩 1/10,回應也更快開始。
原理:模型讀過的東西,可以不用再讀一次¶
例子:每天背同一篇課文¶
想像你是補習班老師。每堂課開始前,你都要先把一篇 20 頁的講義從頭讀一遍,才能回答學生的問題。
- 學生的問題每次都不一樣。
- 但那 20 頁講義每次都一樣。
每次重讀 20 頁,又慢又累。聰明的做法是:讀完一次,把重點筆記留著。下堂課直接翻筆記,馬上就能回答。
對回模型¶
模型收到 prompt(你送給它的整段文字)時,第一步要先「讀懂」全部內容。這一步叫 prefill(預先處理)。讀懂的結果會變成一堆中間資料,叫 KV 快取(可以想成老師的筆記)。
Prompt caching 就是:很多次請求的開頭都一樣時,把那段的筆記存起來重用。〔廠商〕
省到的有兩樣:
- 錢:讀筆記比重讀便宜很多。
- 時間:第一個字更快出來。這段等待時間叫 TTFT(Time To First Token,首字延遲)。
唯一鐵律:只認「從頭開始一模一樣」¶
例子:影印店的接龍¶
你拿一份 100 頁的文件去影印店。店員記得你上次印過的內容。
- 你這次只改了第 100 頁 → 前 99 頁直接拿上次的,只重做最後一頁。
- 你這次改了第 1 頁 → 店員從第 1 頁開始比,第一頁就不一樣,後面 99 頁就算完全沒改,也全部重做。
店員只會「從第一頁往後比,比到第一個不一樣的地方就停」。這就是 前綴比對(prefix match,前綴 = 開頭那一段)。
快取是逐個 byte 比對開頭。開頭任何一個 byte 改了,從那裡往後全部失效。〔Anthropic〕
推出唯一的擺放原則:便當怎麼裝¶
裝便當時,白飯每天都一樣,放最底層。每天換的菜放上面。
Prompt 也一樣:不變的放前面,會變的放後面。
Anthropic 組 prompt 的順序固定是 tools(工具清單)→ system(系統指示)→ messages(對話內容)。〔Anthropic〕
- 放前面(白飯):寫死的 system prompt、順序固定的工具清單。
- 放最後(每天換的菜):時間、每次請求的 ID、這次的問題。這些要放在最後一個快取標記之後。
兩家供應商的做法¶
例子:手排車和自排車¶
- Anthropic 像手排車:你要自己告訴它「快取到這裡」。這個標記叫
cache_control斷點。麻煩一點,但你能精準控制。 - OpenAI 像自排車:開頭夠長,它就自動幫你快取。省事,但你能調的地方少。
| Anthropic | OpenAI | |
|---|---|---|
| 怎麼開始 | 你自己標記 cache_control 斷點 |
自動(超過最小長度就開) |
| 能控制什麼 | 快取哪一段、存多久(TTL) | 幾乎不用管,一樣是開頭比對 |
| 省多少(廠商自己說的) | 讀快取約 0.1 倍原價(那段省約 90%) | 約省 50% |
〔廠商〕兩家都是比對開頭,所以「不變的放前面」對兩家都有用。
Anthropic 的價格:像影印店的「製版費」¶
例子:第一次製版貴,之後每張很便宜¶
傳統印刷要先做一張「版」。
- 做版那一次比較貴(寫入快取)。
- 之後每印一張都很便宜(讀取快取)。
- 版有保存期限。過期沒再印,版就丟掉,下次又要重做。
實際數字〔Anthropic〕¶
以「沒快取的原價」當 1 倍來算:
| 動作 | 價格 | 白話 |
|---|---|---|
| 讀快取 | 約 0.1 倍 | 命中時超便宜 |
| 寫快取(存 5 分鐘) | 1.25 倍 | 製版費,比原價貴一點 |
| 寫快取(存 1 小時) | 2 倍 | 版保存比較久,製版費也比較貴 |
多久回本?
- 存 5 分鐘:用 2 次就回本。不快取:2 次 × 1 倍 = 2 倍。有快取:寫一次 1.25 倍 + 讀一次 0.1 倍 = 1.35 倍。
- 存 1 小時:寫入比較貴,要用 3 次才回本。
TTL 怎麼選?(TTL = Time To Live,快取能活多久)
這就像停車:
- 預設 5 分鐘:像臨停。請求一直連續進來就很划算。
- 選 1 小時:像月租。適合「隔一陣子才爆一波」的流量。但租金(寫入費)翻倍,要用比較多次才划算。
2026-10 補充:新模型讀快取更便宜。Claude Fable 5.1 讀快取約 0.025 倍,Claude Opus 5.5 約 0.05 倍,回本也更快。
太短不給快取:像集點門檻¶
便利商店消費太少不給點數,而且不會告訴你。
快取也有最小長度。開頭太短就不快取,也不會報錯。唯一線索是回應裡 cache_creation_input_tokens 等於 0。
最小可快取長度(依模型,資料基準 2026-08):
| 模型 | 最少要幾個 token |
|---|---|
| Opus 5、Fable 5、Fable 5.1 | 512 |
| Opus 4.8、Sonnet 5 / 4.6 / 4.5 | 1024 |
| Opus 4.7 | 2048 |
| Opus 4.6 / 4.5、Haiku 4.5 | 4096 |
注意:門檻不是越新越低。新一代降到 512,但 Opus 4.6 和 Haiku 4.5 還是 4096。別用「新模型應該比較低」去猜。
另外,每次請求最多放 4 個 cache_control 斷點。
有沒有命中:看發票,別猜〔Anthropic〕¶
例子:看發票才知道有沒有打折¶
結帳時你覺得「應該有打折吧」,不準。看發票上的折扣欄才準。
回應裡的 usage 欄位就是發票:
| 欄位 | 意思 | 價格 |
|---|---|---|
cache_read_input_tokens |
這次從快取讀的量 | 約 0.1 倍 |
cache_creation_input_tokens |
這次寫進快取的量 | 約 1.25 倍 |
input_tokens |
只有沒快取的剩下那段 | 原價 |
陷阱:input_tokens 不是全部。總長度 = 三個欄位加起來。只看 input_tokens,會誤以為 prompt 很短。
一直送一樣的開頭,cache_read_input_tokens 卻一直是 0?那就是有東西偷偷改了開頭。
會偷偷讓快取失效的坑〔Anthropic〕〔實務〕¶
例子:作文第一行寫上現在幾點¶
你每次交作文,第一行都寫「現在是 10 點 03 分」。老師的規則是「從頭比對,有改就從改的地方重批」。結果第一行每次都不一樣,老師每次都從頭批到尾。
下面這些寫法,都是「在第一行寫現在幾點」:
| 寫法 | 為什麼會壞 | 日常比喻 |
|---|---|---|
datetime.now() / Date.now() 放進 system prompt |
開頭每次都不同 | 作文第一行寫現在幾點 |
uuid4() / request ID 放前面 |
每次請求都是新號碼 | 每次都換一個新的號碼牌 |
json.dumps() 沒加 sort_keys,或直接跑 set |
內容一樣,但順序每次可能不同 | 購物清單一樣,但每次項目順序亂排 |
| 把使用者 ID 塞進 system prompt | 每個人的開頭都不同,大家無法共用 | 每份講義封面都印上學生名字,就不能一起影印 |
依條件加段落(if flag: system += ...) |
每種條件組合都是不同開頭 | 便當底層的飯,有時白飯有時炒飯 |
| 每個使用者的工具清單不同 | 工具排在最前面,一不同整段都不能共用 | 講義第一頁就不一樣,整本都要重印 |
修法:
- 會變的東西,搬到最後一個斷點之後。
- 讓輸出順序固定(例如
json.dumps(..., sort_keys=True))。 - 不必要的動態內容,直接刪掉。
Agent 特別要注意:做到一半別打翻〔Anthropic〕¶
Agent(會自己連續做很多步的 AI 流程)一次對話很長,快取一壞損失特別大。有三件事最常把整段快取打翻:
- 中途改 system prompt
- 比喻:考試寫到一半,回去改考卷第一題的題目,後面全部要重算。
-
修法:不要改開頭。改成在
messages最後追加一則 system 訊息(有支援的模型才行),已存的快取就保得住。 -
中途換模型
- 比喻:換了一個老師,前一個老師的筆記他看不懂。快取是每個模型各自一份。
-
修法:想讓便宜模型做子任務,就開一個 subagent(子代理,另一個獨立小幫手)去做。不要在主流程裡換模型。
-
中途增刪工具
- 比喻:工具清單排在最前面,就像書的第一頁。改了第一頁,整本書都要重印。
- 修法:用 tool search 這種「往後追加、不換掉前面」的方式。
快取和 context 預算要一起想,見 Context Engineering 實作篇。
落地檢查清單〔實務〕¶
- 不變的放前面,會變的放後面。 先把順序排對,再談斷點。
- 斷點放在「大家共用那段」的結尾,不是整段 prompt 的最後。放在最後,每個請求都會各存一份,永遠讀不到別人的。
- system prompt 寫死。 不要塞日期、模式、使用者名字。
- 確認開頭夠長。 例如 Opus 4.8 至少要 1024 tokens 才會快取。
- 看
usage.cache_read_input_tokens確認。 不要靠感覺。
延伸閱讀(本站)¶
- Context Engineering 實作篇:快取和 context 預算的關係
- Caveman:壓縮 Agent 輸出 Token:從輸出端省 token
- Agent Observability:用成本數字驗證快取有沒有效
來源¶
- Prompt caching — Anthropic(cache_control、TTL、pricing)
- Prompt caching — OpenAI API
- Prompt Caching with OpenAI, Anthropic, and Google Models(PromptHub)
- Prompt Caching in 2026: Cut LLM Costs, Keep Quality(DigitalApplied)
- Don't Break the Cache: Prompt Caching for Long-Horizon Agentic Tasks(arXiv 2601.06007)