四种提示词缓存机制下的前缀稳定性
·Codot Engineering
Agent 以一连串模型调用构成的循环运行。在每一步,完整的上下文(指令、工具 schema、消息历史、工具结果)都会被重新发送,而模型解码出的只是一段较短的结构化输出。这类负载因此以预填充(prefill)为主:输入 token 比输出 token 高出数个数量级。对这样的系统而言,成本与首 token 延迟在很大程度上取决于服务端能够从键值缓存(KV cache)中恢复多少输入,而无需重新计算。
提示词缓存指的是在请求之间复用这部分预先计算好的状态。复用以前缀为单位:一个请求只能恢复从第一个位置起、与此前某个请求完全相同的那一段 token 的状态,第一个不同的 token 会使其后的全部内容失效。因此,提高缓存复用可以归结为一个工程问题:在能够共享缓存的那一组请求之间,使尽可能长的前缀保持逐字节相同。
较少被讨论的是,这一组请求的范围在不同服务商之间并不相同。我们在生产环境中使用多个模型,并在其中遇到了四种不同的缓存机制,各自的复用范围也不相同。本文将对这些机制进行分类,说明我们如何定位到自身前缀的失效位置,并介绍我们目前针对每种机制采用的提示词排布与路由方式。
四种缓存机制
缓存机制可以从三个维度加以区分:由谁创建缓存条目,条目存储在何处,以及请求需要满足什么条件才能命中。
| 机制 | 条目的创建方 | 存储位置 | 命中条件 |
|---|---|---|---|
| 显式缓存对象 | 调用方,通过单独的调用创建并指定存活时间(TTL) | 具名、可寻址的对象 | 请求在 TTL 到期之前引用该对象 |
| 隐式前缀缓存 | 服务商,自行决定 | 未公开 | 前缀与此前的请求相同,尽力而为 |
| 全局自动前缀缓存 | 服务商,对每个请求创建 | 共享且长期保留的存储 | 前缀从第一个位置起与此前的请求相同 |
| 按机器的自动前缀缓存 | 服务商,对每个请求创建 | 单个推理节点的内存 | 前缀相同,且请求被路由至同一节点 |
前两种是同一模型提供的两个可选项:调用方要么显式构建缓存,要么依赖服务商自行缓存。我们在相同的流量上对二者进行了评估。隐式方式的命中率明显更低,每轮成本更高,因此我们采用显式方式。
复用范围
缓存条目只有在被后续请求复用时才有价值。对于 agent,我们认为有必要区分四个逐层嵌套的复用范围。
| 范围 | 定义 |
|---|---|
| 跨用户 | 提示词中对所有用户均相同的部分:指令与工具 schema |
| 跨会话 | 同一用户在一段空闲之后开启的新会话 |
| 跨轮 | 同一会话中的下一轮 |
| 跨步 | 同一轮内,在一次工具结果之后的下一次模型调用 |
下表汇总了我们在所使用的模型上,对每种机制实测得到的复用情况。
| 机制 | 跨用户 | 跨会话 | 跨轮 | 跨步 |
|---|---|---|---|---|
| 显式缓存对象,每轮创建 | 否 | 否 | 否 | 是,包括第一步,因为对象在第一步之前即已创建 |
| 隐式前缀缓存 | 是,限于提示词中共享的头部 | 前缀相同时 | 前缀相同时 | 是 |
| 全局自动前缀缓存 | 是 | 是 | 是 | 是 |
| 按机器的自动前缀缓存 | 否;每个用户携带不同的路由键,由不同的节点处理 | 否;在每次试验中,新对话的第一个请求均未命中 | 是 | 是 |
这一矩阵是本次调查的核心结论,本文其余部分均由此展开。支持跨轮与跨用户复用的机制,会从头部保持不变的提示词中获益;仅支持跨步复用的机制,则与此无关。
定位失效位置
这项调查始于一处差异:在相同的提示词模板与负载下,一种机制的整体命中率远低于另一种。
整体数字具有误导性。将命中率按一轮之内的步序号拆分后,第一步之后的每一步几乎完全命中,这符合预期,因为每一步都是在上一个请求的基础上追加一条工具结果。然而,每一轮的第一步几乎完全未命中。这表明前缀是在两轮之间、靠近提示词头部的位置失效的。
为了确定提示词的序列化顺序,我们针对一份合成提示词进行了单变量探测,每次只改动一个元素。
| 改动 | 对已缓存区间的影响 |
|---|---|
| 用户消息的尾部,或在历史之后追加内容 | 可以忽略 |
| 替换或追加 schema 末尾的一个工具 | 损失较大 |
| 替换第一个工具,或重排工具顺序 | 损失更大 |
| 在系统提示末尾追加一行 | 与重排工具相当 |
| 在系统提示开头插入一行 | 全部损失 |
这些结果表明,序列化顺序依次为系统提示、工具 schema、消息历史。任何一段发生改动,都会使其后的所有段失效。
随后,我们对连续的生产请求进行了逐字节比对。系统提示由静态头部与动态尾部组成,尾部包含针对当前查询选取的检索结果、每个用户的状态以及墙上时钟时间。该尾部在每一轮都会变化。我们还发现,检索结果的顺序并不确定:即使结果集没有变化,连续两轮的序列化结果也可能不同。
因此,失效位置位于系统提示内部,既在工具 schema 之前,也在整段消息历史之前。工具 schema 是第二处失效位置,因为工具按轮选取,其集合与顺序都会变化。
按易变程度对各段排序
我们采用的排布遵循一条原则:各段按变化频率排序,由最稳定到最易变。
| 位置 | 段 | 易变程度 |
|---|---|---|
| 1 | 静态指令 | 对所有用户与所有轮次保持不变 |
| 2 | 完整的工具 schema,按名称排序 | 对所有用户与所有轮次保持不变 |
| 3 | 消息历史 | 只追加 |
| 4 | 每轮上下文:检索结果、每个用户的状态、墙上时钟时间 | 每轮变化 |
| 5 | 新的用户输入 | 每轮变化 |
我们通过回放成对的连续生产轮次来评估这一排布,输出由三个相互独立的评审模型进行盲评。
单独固定工具 schema 并无收益。动态上下文仍位于 schema 之前,前缀在到达 schema 之前即已失效,而更大的 schema 还提高了每轮的成本。
固定 schema 并将动态上下文移至历史之后是有效的。每轮第一步由几乎完全未命中变为大部分命中,每轮成本明显下降,三个评审模型给出的评分均不低于基线排布。
其中有两项发现与直觉相反。
第一,在全局缓存上,冷启动的命中情况与后续轮次相当。第 1、2 段对所有用户相同,因此新会话的第一个请求能够恢复由其他用户的请求所创建的状态。
第二,完整且固定的工具 schema,其成本低于规模更小但动态选取的 schema。一段较长但已缓存的区间,成本低于一段较短但未缓存的区间;而动态选取工具本身就是失效的来源。
要点: 前缀的稳定性比前缀的长度更重要。内容变化得越频繁,就越应当靠近提示词的尾部。
各机制的特定要求
上述排布对所有机制通用。在此之上,每种机制还各有一项额外要求。
| 机制 | 我们的做法 | 否则出现的失效模式 |
|---|---|---|
| 显式缓存对象 | 每轮创建一个短 TTL 的对象,覆盖包括最新历史在内的完整前缀;该轮的每一步均引用它 | 循环中的每一步均按未缓存输入计费 |
| 隐式前缀缓存 | 不使用;同一模型上的显式对象表现更好 | 不适用 |
| 全局自动前缀缓存 | 除排布之外无其他要求 | 每轮第一步未命中 |
| 按机器的自动前缀缓存 | 为每个请求附加对同一用户保持稳定的路由键,由用户标识的哈希派生,而非标识本身 | 请求被分散至不同节点,观测到的命中率为零 |
按机器的缓存
需要说明的是,我们自己的测量曾出现过一次错误。最初的探测在不携带任何路由字段的情况下,将同一段前缀发送了数次,没有观测到任何已缓存的 token。我们据此认为该模型不支持提示词缓存。这一结论并不正确:缓存是存在的,只是我们的请求由不同的节点处理。
此后,我们对服务商文档中列出的路由字段逐一进行了测试。其中一个字段能够产生命中,而服务商自身指南所推荐的字段反而使缓存失效。
节点本地存储还带来另外两项性质。其一,命中是尽力而为的,因为请求偶尔会到达尚未建立条目的节点。其二,我们没有观测到跨会话复用:在系统提示逐字节相同的情况下,每段新对话的第一个请求均未命中,与此前有多少段对话使用过同一路由键无关。这种机制的收益仅限于跨轮与跨步两个范围。
显式缓存对象
由于对象在每一轮都会重建,跨轮稳定的前缀在这里并无优势,因此我们未改动该模型的排布。
每轮重建看似浪费,但它有一项容易被忽视的性质:最新的历史始终包含在对象之内,因此完整的前缀自第一步起即按缓存价计费。若每个会话只创建一次对象,则无法纳入此后追加的历史。每轮创建是否经济,取决于服务商对缓存创建的计费方式;我们建议在依赖这一做法之前,对照账单加以核实。
建议
基于上述工作,对于在多种缓存机制上运行 agent 的团队,我们建议采取以下做法。
按步序号统计命中率。 整体数字可能掩盖双峰分布:其中一步接近于零,其余各步接近完全命中。
比对连续的生产请求。 第一个不同的字节即为失效位置。在我们的案例中,它是检索结果的顺序不确定。
使序列化具有确定性。 对工具 schema 以及所有集合类型的上下文进行排序。即使内容没有变化,不稳定的顺序也会使前缀失效。
避免将易变内容置于提示词头部。 时间戳、检索结果与每个用户的状态应置于消息历史之后。
避免动态选取工具。 schema 的任何变化都会使其后的历史失效。
在认定某个模型没有缓存之前,先探测路由字段。 每次只测试一个字段,并以探测结果为准,而非以文档为准。
将排布视为与机制相关的设计。 同一项改动在一种机制下带来明显收益,在另一种机制下则没有收益。
在上线之前以真实请求验证。 检查每一步的用量字段,确认第一步报告了已缓存的 token,系统提示逐字节相同,且 schema 是同一份已排序的列表。
持续监控。 我们针对每个模型跟踪已缓存 token 占比、每轮成本与每轮延迟,并与滑动基线比较,在出现明显下降时告警。曾有一次,客户端库的升级导致命中率下降,并于次日修复。
局限与未解决的问题
我们在生产环境中观测到的收益小于在回放中测得的收益。上线之后命中率有所提高,但幅度低于离线评估的预测,其差异的来源尚未确定。
基本原则已有广泛共识:保持前缀稳定,上下文只追加,避免在任务进行中改动工具。服务商之间的差别,在于每种机制所提供的复用范围。根据我们的经验,文档对这一范围的描述并不可靠,需要通过实测获得。
结果
采用本文所述的排布与路由方式之后,我们将 agent 负载的成本降低了约 50%,输出质量没有可测量的下降。
参考文献
- Anthropic. Prompt caching. Claude API 文档.
- Anthropic. Effective context engineering for AI agents.
- DeepSeek. 上下文硬盘缓存. DeepSeek API 文档.
- DeepSeek. DeepSeek API 创新采用硬盘缓存,价格再降一个数量级.
- Yichao "Peak" Ji. Context Engineering for AI Agents: Lessons from Building Manus.
- Cognition. Devin Fusion: Frontier Performance at 60% Lower Cost.
- Cognition. Introducing Fusion in Devin Desktop & CLI.
- Walden Yan. Don't Build Multi-Agents. Cognition.
- Walden Yan. Multi-Agents: What's Actually Working. Cognition.
- Cognition. Rebuilding Devin for Claude Sonnet 4.5: Lessons and Challenges.