English

四种提示词缓存机制下的前缀稳定性

·Codot Engineering

Agent 以一连串模型调用构成的循环运行。在每一步,完整的上下文(指令、工具 schema、消息历史、工具结果)都会被重新发送,而模型解码出的只是一段较短的结构化输出。这类负载因此以预填充(prefill)为主:输入 token 比输出 token 高出数个数量级。对这样的系统而言,成本与首 token 延迟在很大程度上取决于服务端能够从键值缓存(KV cache)中恢复多少输入,而无需重新计算。

提示词缓存指的是在请求之间复用这部分预先计算好的状态。复用以前缀为单位:一个请求只能恢复从第一个位置起、与此前某个请求完全相同的那一段 token 的状态,第一个不同的 token 会使其后的全部内容失效。因此,提高缓存复用可以归结为一个工程问题:在能够共享缓存的那一组请求之间,使尽可能长的前缀保持逐字节相同。

较少被讨论的是,这一组请求的范围在不同服务商之间并不相同。我们在生产环境中使用多个模型,并在其中遇到了四种不同的缓存机制,各自的复用范围也不相同。本文将对这些机制进行分类,说明我们如何定位到自身前缀的失效位置,并介绍我们目前针对每种机制采用的提示词排布与路由方式。

四种缓存机制

缓存机制可以从三个维度加以区分:由谁创建缓存条目,条目存储在何处,以及请求需要满足什么条件才能命中。

机制条目的创建方存储位置命中条件
显式缓存对象调用方,通过单独的调用创建并指定存活时间(TTL)具名、可寻址的对象请求在 TTL 到期之前引用该对象
隐式前缀缓存服务商,自行决定未公开前缀与此前的请求相同,尽力而为
全局自动前缀缓存服务商,对每个请求创建共享且长期保留的存储前缀从第一个位置起与此前的请求相同
按机器的自动前缀缓存服务商,对每个请求创建单个推理节点的内存前缀相同,且请求被路由至同一节点

前两种是同一模型提供的两个可选项:调用方要么显式构建缓存,要么依赖服务商自行缓存。我们在相同的流量上对二者进行了评估。隐式方式的命中率明显更低,每轮成本更高,因此我们采用显式方式。

复用范围

缓存条目只有在被后续请求复用时才有价值。对于 agent,我们认为有必要区分四个逐层嵌套的复用范围。

范围定义
跨用户提示词中对所有用户均相同的部分:指令与工具 schema
跨会话同一用户在一段空闲之后开启的新会话
跨轮同一会话中的下一轮
跨步同一轮内,在一次工具结果之后的下一次模型调用

下表汇总了我们在所使用的模型上,对每种机制实测得到的复用情况。

机制跨用户跨会话跨轮跨步
显式缓存对象,每轮创建否否否是,包括第一步,因为对象在第一步之前即已创建
隐式前缀缓存是,限于提示词中共享的头部前缀相同时前缀相同时是
全局自动前缀缓存是是是是
按机器的自动前缀缓存否;每个用户携带不同的路由键,由不同的节点处理否;在每次试验中,新对话的第一个请求均未命中是是

这一矩阵是本次调查的核心结论,本文其余部分均由此展开。支持跨轮与跨用户复用的机制,会从头部保持不变的提示词中获益;仅支持跨步复用的机制,则与此无关。

定位失效位置

这项调查始于一处差异:在相同的提示词模板与负载下,一种机制的整体命中率远低于另一种。

整体数字具有误导性。将命中率按一轮之内的步序号拆分后,第一步之后的每一步几乎完全命中,这符合预期,因为每一步都是在上一个请求的基础上追加一条工具结果。然而,每一轮的第一步几乎完全未命中。这表明前缀是在两轮之间、靠近提示词头部的位置失效的。

为了确定提示词的序列化顺序,我们针对一份合成提示词进行了单变量探测,每次只改动一个元素。

改动对已缓存区间的影响
用户消息的尾部,或在历史之后追加内容可以忽略
替换或追加 schema 末尾的一个工具损失较大
替换第一个工具,或重排工具顺序损失更大
在系统提示末尾追加一行与重排工具相当
在系统提示开头插入一行全部损失

这些结果表明,序列化顺序依次为系统提示、工具 schema、消息历史。任何一段发生改动,都会使其后的所有段失效。

随后,我们对连续的生产请求进行了逐字节比对。系统提示由静态头部与动态尾部组成,尾部包含针对当前查询选取的检索结果、每个用户的状态以及墙上时钟时间。该尾部在每一轮都会变化。我们还发现,检索结果的顺序并不确定:即使结果集没有变化,连续两轮的序列化结果也可能不同。

因此,失效位置位于系统提示内部,既在工具 schema 之前,也在整段消息历史之前。工具 schema 是第二处失效位置,因为工具按轮选取,其集合与顺序都会变化。

按易变程度对各段排序

我们采用的排布遵循一条原则:各段按变化频率排序,由最稳定到最易变。

位置段易变程度
1静态指令对所有用户与所有轮次保持不变
2完整的工具 schema,按名称排序对所有用户与所有轮次保持不变
3消息历史只追加
4每轮上下文:检索结果、每个用户的状态、墙上时钟时间每轮变化
5新的用户输入每轮变化

我们通过回放成对的连续生产轮次来评估这一排布,输出由三个相互独立的评审模型进行盲评。

单独固定工具 schema 并无收益。动态上下文仍位于 schema 之前,前缀在到达 schema 之前即已失效,而更大的 schema 还提高了每轮的成本。

固定 schema 并将动态上下文移至历史之后是有效的。每轮第一步由几乎完全未命中变为大部分命中,每轮成本明显下降,三个评审模型给出的评分均不低于基线排布。

其中有两项发现与直觉相反。

第一,在全局缓存上,冷启动的命中情况与后续轮次相当。第 1、2 段对所有用户相同,因此新会话的第一个请求能够恢复由其他用户的请求所创建的状态。

第二,完整且固定的工具 schema,其成本低于规模更小但动态选取的 schema。一段较长但已缓存的区间,成本低于一段较短但未缓存的区间;而动态选取工具本身就是失效的来源。

要点: 前缀的稳定性比前缀的长度更重要。内容变化得越频繁,就越应当靠近提示词的尾部。

各机制的特定要求

上述排布对所有机制通用。在此之上,每种机制还各有一项额外要求。

机制我们的做法否则出现的失效模式
显式缓存对象每轮创建一个短 TTL 的对象,覆盖包括最新历史在内的完整前缀;该轮的每一步均引用它循环中的每一步均按未缓存输入计费
隐式前缀缓存不使用;同一模型上的显式对象表现更好不适用
全局自动前缀缓存除排布之外无其他要求每轮第一步未命中
按机器的自动前缀缓存为每个请求附加对同一用户保持稳定的路由键,由用户标识的哈希派生,而非标识本身请求被分散至不同节点,观测到的命中率为零

按机器的缓存

需要说明的是,我们自己的测量曾出现过一次错误。最初的探测在不携带任何路由字段的情况下,将同一段前缀发送了数次,没有观测到任何已缓存的 token。我们据此认为该模型不支持提示词缓存。这一结论并不正确:缓存是存在的,只是我们的请求由不同的节点处理。

此后,我们对服务商文档中列出的路由字段逐一进行了测试。其中一个字段能够产生命中,而服务商自身指南所推荐的字段反而使缓存失效。

节点本地存储还带来另外两项性质。其一,命中是尽力而为的,因为请求偶尔会到达尚未建立条目的节点。其二,我们没有观测到跨会话复用:在系统提示逐字节相同的情况下,每段新对话的第一个请求均未命中,与此前有多少段对话使用过同一路由键无关。这种机制的收益仅限于跨轮与跨步两个范围。

显式缓存对象

由于对象在每一轮都会重建,跨轮稳定的前缀在这里并无优势,因此我们未改动该模型的排布。

每轮重建看似浪费,但它有一项容易被忽视的性质:最新的历史始终包含在对象之内,因此完整的前缀自第一步起即按缓存价计费。若每个会话只创建一次对象,则无法纳入此后追加的历史。每轮创建是否经济,取决于服务商对缓存创建的计费方式;我们建议在依赖这一做法之前,对照账单加以核实。

建议

基于上述工作,对于在多种缓存机制上运行 agent 的团队,我们建议采取以下做法。

按步序号统计命中率。 整体数字可能掩盖双峰分布:其中一步接近于零,其余各步接近完全命中。

比对连续的生产请求。 第一个不同的字节即为失效位置。在我们的案例中,它是检索结果的顺序不确定。

使序列化具有确定性。 对工具 schema 以及所有集合类型的上下文进行排序。即使内容没有变化,不稳定的顺序也会使前缀失效。

避免将易变内容置于提示词头部。 时间戳、检索结果与每个用户的状态应置于消息历史之后。

避免动态选取工具。 schema 的任何变化都会使其后的历史失效。

在认定某个模型没有缓存之前,先探测路由字段。 每次只测试一个字段,并以探测结果为准,而非以文档为准。

将排布视为与机制相关的设计。 同一项改动在一种机制下带来明显收益,在另一种机制下则没有收益。

在上线之前以真实请求验证。 检查每一步的用量字段,确认第一步报告了已缓存的 token,系统提示逐字节相同,且 schema 是同一份已排序的列表。

持续监控。 我们针对每个模型跟踪已缓存 token 占比、每轮成本与每轮延迟,并与滑动基线比较,在出现明显下降时告警。曾有一次,客户端库的升级导致命中率下降,并于次日修复。

局限与未解决的问题

我们在生产环境中观测到的收益小于在回放中测得的收益。上线之后命中率有所提高,但幅度低于离线评估的预测,其差异的来源尚未确定。

基本原则已有广泛共识:保持前缀稳定,上下文只追加,避免在任务进行中改动工具。服务商之间的差别,在于每种机制所提供的复用范围。根据我们的经验,文档对这一范围的描述并不可靠,需要通过实测获得。

结果

采用本文所述的排布与路由方式之后,我们将 agent 负载的成本降低了约 50%,输出质量没有可测量的下降。

参考文献

  1. Anthropic. Prompt caching. Claude API 文档.
  2. Anthropic. Effective context engineering for AI agents.
  3. DeepSeek. 上下文硬盘缓存. DeepSeek API 文档.
  4. DeepSeek. DeepSeek API 创新采用硬盘缓存,价格再降一个数量级.
  5. Yichao "Peak" Ji. Context Engineering for AI Agents: Lessons from Building Manus.
  6. Cognition. Devin Fusion: Frontier Performance at 60% Lower Cost.
  7. Cognition. Introducing Fusion in Devin Desktop & CLI.
  8. Walden Yan. Don't Build Multi-Agents. Cognition.
  9. Walden Yan. Multi-Agents: What's Actually Working. Cognition.
  10. Cognition. Rebuilding Devin for Claude Sonnet 4.5: Lessons and Challenges.

← 全部文章