跳轉到

Prompt Caching:用前綴快取砍掉成本與延遲

整理自 Anthropic 官方文件與廠商文件(見文末),2026-06-20 初版,2026-10-06 改成白話版。

實證標記:〔Anthropic〕= Anthropic 官方文件;〔廠商〕= 模型供應商文件;〔實務〕= 業界慣例或本人整理。數字依供應商而異,也會變。

先講結論:三件事

  1. 快取只認「開頭一模一樣」。開頭改一個字,從那個字往後全部作廢。
  2. 不變的放前面,會變的放後面。整個技巧幾乎就這一條。
  3. 有沒有命中,看帳單欄位,不要憑感覺。

做對的話,重複那段的費用約剩 1/10,回應也更快開始。

原理:模型讀過的東西,可以不用再讀一次

例子:每天背同一篇課文

想像你是補習班老師。每堂課開始前,你都要先把一篇 20 頁的講義從頭讀一遍,才能回答學生的問題。

  • 學生的問題每次都不一樣。
  • 但那 20 頁講義每次都一樣。

每次重讀 20 頁,又慢又累。聰明的做法是:讀完一次,把重點筆記留著。下堂課直接翻筆記,馬上就能回答。

對回模型

模型收到 prompt(你送給它的整段文字)時,第一步要先「讀懂」全部內容。這一步叫 prefill(預先處理)。讀懂的結果會變成一堆中間資料,叫 KV 快取(可以想成老師的筆記)。

Prompt caching 就是:很多次請求的開頭都一樣時,把那段的筆記存起來重用。〔廠商〕

省到的有兩樣:

  • 錢:讀筆記比重讀便宜很多。
  • 時間:第一個字更快出來。這段等待時間叫 TTFT(Time To First Token,首字延遲)。

唯一鐵律:只認「從頭開始一模一樣」

例子:影印店的接龍

你拿一份 100 頁的文件去影印店。店員記得你上次印過的內容。

  • 你這次只改了第 100 頁 → 前 99 頁直接拿上次的,只重做最後一頁。
  • 你這次改了第 1 頁 → 店員從第 1 頁開始比,第一頁就不一樣,後面 99 頁就算完全沒改,也全部重做。

店員只會「從第一頁往後比,比到第一個不一樣的地方就停」。這就是 前綴比對(prefix match,前綴 = 開頭那一段)。

快取是逐個 byte 比對開頭。開頭任何一個 byte 改了,從那裡往後全部失效。〔Anthropic〕

推出唯一的擺放原則:便當怎麼裝

裝便當時,白飯每天都一樣,放最底層。每天換的菜放上面。

Prompt 也一樣:不變的放前面,會變的放後面。

Anthropic 組 prompt 的順序固定是 tools(工具清單)→ system(系統指示)→ messages(對話內容)。〔Anthropic〕

  • 放前面(白飯):寫死的 system prompt、順序固定的工具清單。
  • 放最後(每天換的菜):時間、每次請求的 ID、這次的問題。這些要放在最後一個快取標記之後。

兩家供應商的做法

例子:手排車和自排車

  • Anthropic 像手排車:你要自己告訴它「快取到這裡」。這個標記叫 cache_control 斷點。麻煩一點,但你能精準控制。
  • OpenAI 像自排車:開頭夠長,它就自動幫你快取。省事,但你能調的地方少。
Anthropic OpenAI
怎麼開始 你自己標記 cache_control 斷點 自動(超過最小長度就開)
能控制什麼 快取哪一段、存多久(TTL) 幾乎不用管,一樣是開頭比對
省多少(廠商自己說的) 讀快取約 0.1 倍原價(那段省約 90%) 約省 50%

〔廠商〕兩家都是比對開頭,所以「不變的放前面」對兩家都有用。

Anthropic 的價格:像影印店的「製版費」

例子:第一次製版貴,之後每張很便宜

傳統印刷要先做一張「版」。

  • 做版那一次比較貴(寫入快取)。
  • 之後每印一張都很便宜(讀取快取)。
  • 版有保存期限。過期沒再印,版就丟掉,下次又要重做。

實際數字〔Anthropic〕

以「沒快取的原價」當 1 倍來算:

動作 價格 白話
讀快取 約 0.1 倍 命中時超便宜
寫快取(存 5 分鐘) 1.25 倍 製版費,比原價貴一點
寫快取(存 1 小時) 2 倍 版保存比較久,製版費也比較貴

多久回本?

  • 存 5 分鐘:用 2 次就回本。不快取:2 次 × 1 倍 = 2 倍。有快取:寫一次 1.25 倍 + 讀一次 0.1 倍 = 1.35 倍。
  • 存 1 小時:寫入比較貴,要用 3 次才回本。

TTL 怎麼選?(TTL = Time To Live,快取能活多久)

這就像停車:

  • 預設 5 分鐘:像臨停。請求一直連續進來就很划算。
  • 選 1 小時:像月租。適合「隔一陣子才爆一波」的流量。但租金(寫入費)翻倍,要用比較多次才划算。

2026-10 補充:新模型讀快取更便宜。Claude Fable 5.1 讀快取約 0.025 倍,Claude Opus 5.5 約 0.05 倍,回本也更快。

太短不給快取:像集點門檻

便利商店消費太少不給點數,而且不會告訴你。

快取也有最小長度。開頭太短就不快取,也不會報錯。唯一線索是回應裡 cache_creation_input_tokens 等於 0。

最小可快取長度(依模型,資料基準 2026-08):

模型 最少要幾個 token
Opus 5、Fable 5、Fable 5.1 512
Opus 4.8、Sonnet 5 / 4.6 / 4.5 1024
Opus 4.7 2048
Opus 4.6 / 4.5、Haiku 4.5 4096

注意:門檻不是越新越低。新一代降到 512,但 Opus 4.6 和 Haiku 4.5 還是 4096。別用「新模型應該比較低」去猜。

另外,每次請求最多放 4 個 cache_control 斷點。

有沒有命中:看發票,別猜〔Anthropic〕

例子:看發票才知道有沒有打折

結帳時你覺得「應該有打折吧」,不準。看發票上的折扣欄才準。

回應裡的 usage 欄位就是發票:

欄位 意思 價格
cache_read_input_tokens 這次從快取讀的量 約 0.1 倍
cache_creation_input_tokens 這次寫進快取的量 約 1.25 倍
input_tokens 只有沒快取的剩下那段 原價

陷阱:input_tokens 不是全部。總長度 = 三個欄位加起來。只看 input_tokens,會誤以為 prompt 很短。

一直送一樣的開頭,cache_read_input_tokens 卻一直是 0?那就是有東西偷偷改了開頭。

會偷偷讓快取失效的坑〔Anthropic〕〔實務〕

例子:作文第一行寫上現在幾點

你每次交作文,第一行都寫「現在是 10 點 03 分」。老師的規則是「從頭比對,有改就從改的地方重批」。結果第一行每次都不一樣,老師每次都從頭批到尾。

下面這些寫法,都是「在第一行寫現在幾點」:

寫法 為什麼會壞 日常比喻
datetime.now() / Date.now() 放進 system prompt 開頭每次都不同 作文第一行寫現在幾點
uuid4() / request ID 放前面 每次請求都是新號碼 每次都換一個新的號碼牌
json.dumps() 沒加 sort_keys,或直接跑 set 內容一樣,但順序每次可能不同 購物清單一樣,但每次項目順序亂排
把使用者 ID 塞進 system prompt 每個人的開頭都不同,大家無法共用 每份講義封面都印上學生名字,就不能一起影印
依條件加段落(if flag: system += ...) 每種條件組合都是不同開頭 便當底層的飯,有時白飯有時炒飯
每個使用者的工具清單不同 工具排在最前面,一不同整段都不能共用 講義第一頁就不一樣,整本都要重印

修法:

  • 會變的東西,搬到最後一個斷點之後。
  • 讓輸出順序固定(例如 json.dumps(..., sort_keys=True))。
  • 不必要的動態內容,直接刪掉。

Agent 特別要注意:做到一半別打翻〔Anthropic〕

Agent(會自己連續做很多步的 AI 流程)一次對話很長,快取一壞損失特別大。有三件事最常把整段快取打翻:

  1. 中途改 system prompt
  2. 比喻:考試寫到一半,回去改考卷第一題的題目,後面全部要重算。
  3. 修法:不要改開頭。改成在 messages 最後追加一則 system 訊息(有支援的模型才行),已存的快取就保得住。

  4. 中途換模型

  5. 比喻:換了一個老師,前一個老師的筆記他看不懂。快取是每個模型各自一份。
  6. 修法:想讓便宜模型做子任務,就開一個 subagent(子代理,另一個獨立小幫手)去做。不要在主流程裡換模型。

  7. 中途增刪工具

  8. 比喻:工具清單排在最前面,就像書的第一頁。改了第一頁,整本書都要重印。
  9. 修法:用 tool search 這種「往後追加、不換掉前面」的方式。

快取和 context 預算要一起想,見 Context Engineering 實作篇。

落地檢查清單〔實務〕

  1. 不變的放前面,會變的放後面。 先把順序排對,再談斷點。
  2. 斷點放在「大家共用那段」的結尾,不是整段 prompt 的最後。放在最後,每個請求都會各存一份,永遠讀不到別人的。
  3. system prompt 寫死。 不要塞日期、模式、使用者名字。
  4. 確認開頭夠長。 例如 Opus 4.8 至少要 1024 tokens 才會快取。
  5. 看 usage.cache_read_input_tokens 確認。 不要靠感覺。

延伸閱讀(本站)

來源