AI 产品

SWE-agent开发历程：从目标设定到12.29%的SWE-bench准确率提升

首次出现 8月12日 07:31·最近更新 8月12日 07:31

2023年底，在提交SWE-bench基准测试后，团队启动SWE-agent项目。初期系统准确率约为2%，团队讨论目标时设定从6%到15%不等，最终在发布时达到12.29%的准确率。该项目发布比Devin晚一周，但通过开源释放和Devin的市场推广，推动了SWE-bench竞赛的兴起。

多来源证据

Twitter/X AI List·twitter·8月12日 00:10

故事时间：就在我们提交SWE-bench（2023年底）时，我们开始开发SWE-agent，我们最大的疑问是应该在SWE-bench上瞄准多少百分比。

故事时间：就在我们提交SWE-bench（2023年底）时，我们开始开发SWE-agent，我们最大的疑问是应该在SWE-bench上瞄准多少百分比。我们在SWE-bench论文中的基线系统获得了约2%的准确率，所以我认为SWE-agent的目标定为6%会是一个惊人的成就。我告诉所有人，如果我们达到6%的准确率，我就请大家吃gelato。这段时间我打电话给@karthik_r_n，问他觉得目标应该是多少，他说是15%。我记得当时想，要达到15%的SWE-bench准确率需要很长时间，可能一年，觉得Karthik建议15%的目标是疯了。总之，SWE-agent几个月后以12.29%的SW

事件时间线

8月12日 00:10
Twitter/X AI List
故事时间：就在我们提交SWE-bench（2023年底）时，我们开始开发SWE-agent，我们最大的疑问是应该在SWE-bench上瞄准多少百分比。