AI 产品

微软新论文揭示GitHub Copilot中87%的LLM调用来自代理，建议采用轮次/会话级调度

首次出现 8月10日 06:32·最近更新 8月10日 06:32

微软发布新论文，基于GitHub Copilot的生产跟踪数据。研究分析了1350万会话，发现87%的LLM调用由代理自主发起，而非用户请求，这表明编码代理的工作模式与聊天请求不同。用户提示可触发代理自主链式调用、工具操作和上下文增长，使得轮次或会话成为更有效的调度单元。在KV缓存方面，轮次内缓存命中率从首调用的约45%升至第三次调用后的92-94%，但模型切换时降至8%；轮次间空闲时间较长，容器空闲时间从5.8秒增至243秒。论文基于这些事实讨论了资源管理的优化方向。

多来源证据

Twitter/X AI List·twitter·8月9日 15:38

新微软论文关于GitHub Copilot生产跟踪显示为何编码代理不应像聊天请求那样服务

新微软论文关于GitHub Copilot生产跟踪显示为何编码代理不应像聊天请求那样服务。在1350万GitHub Copilot会话中，87%的LLM调用来自代理本身而非用户。用户提示可以展开成自主的模型调用链、工具操作、重试和增长上下文，使得轮次或会话成为比孤立请求更有用的调度单元。这种结构在KV缓存中尤为明显。它表明KV缓存并非真正的请求级资源；其价值取决于代理在工作流中的位置。在轮次内，平均缓存命中率从首次LLM调用的约45%上升到第三次调用后的92-94%。在同模型轮次边界，它降至55%，而模型切换则将其降至8%。轮次内KV缓存空闲时间的中位数为1.2秒，而跨轮次

事件时间线

8月9日 15:38
Twitter/X AI List
新微软论文关于GitHub Copilot生产跟踪显示为何编码代理不应像聊天请求那样服务