开发工具

不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数

首次出现 8月14日 10:09·最近更新 8月14日 10:09

1. 缓存命中强相关你的任务场景和输入，如果你的输入每次都有巨大增幅，且新增内容不同，缓存命中自然就低呀 2. 缓存命中更多是服务端的 harness ，比如 ds 缓存过期时间长，那命中率自然高 3. 缓存命中在多轮对话中数学角度一定是不断增长的，且你每次请求 prompt 中固定部分（一些全局/工具描述等）越大，缓存命中越高就这么一个和多个环节相关的参数，被很多人拿来评价用户侧 agent, 不禁感叹智商的分布，很长时间不理解。当前摘要基于 1 条公开证据，并区分官方信息与社区讨论。

多来源证据

V2EX AI 用户与重大信号·v2ex·8月14日 09:16

不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数

1. 缓存命中强相关你的任务场景和输入，如果你的输入每次都有巨大增幅，且新增内容不同，缓存命中自然就低呀 2. 缓存命中更多是服务端的 harness ，比如 ds 缓存过期时间长，那命中率自然高 3. 缓存命中在多轮对话中数学角度一定是不断增长的，且你每次请求 prompt 中固定部分（一些全局/工具描述等）越大，缓存命中越高就这么一个和多个环节相关的参数，被很多人拿来评价用户侧 agent, 不禁感叹智商的分布，很长时间不理解。你的缓存命中高，很可能只是你的任务简单，迭代次数多罢了

事件时间线

8月14日 09:16
V2EX AI 用户与重大信号
不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数