AI 产品

SWE-bench Science：编程智能体更擅长消除表面故障，修复科学软件根因仍受限

首次出现 8月26日 14:30·最近更新 8月26日 14:30

一篇关于SWE-bench Science的论文讨论编程智能体修复科学软件缺陷的能力。该基准区分智能体可见的公开测试与不可见的私有测试。据所给内容，Claude Code配合Opus-5通过96.64%的公开测试，但要求全部隐藏测试通过的Pass@1仅为47.90%。论文据此认为，主要瓶颈可能在验证：智能体常能让可见故障消失，却未必恢复底层科学逻辑；补充领域知识也不一定稳定改善结果。以上为论文结论及社交平台转述，尚未提供独立复现证据。

多来源证据

Twitter/X AI List·twitter·8月25日 11:14

SWE-bench Science：编程智能体能否解决科学领域的工程任务？

编程智能体更常修复被展示出来的症状，而非底层缺陷。SWE-bench Science收集开源科学软件仓库中的真实问题，并分别使用可见的公开测试和不可见的私有测试评分。据所给内容，表现最佳的Claude Code与Opus-5组合通过96.64%的公开测试，但要求所有隐藏测试通过的Pass@1为47.90%。论文讨论认为，限制可能更多来自验证能力，而非知识不足；提供领域知识也未必能稳定帮助智能体恢复正确的科学逻辑。

事件时间线

8月25日 11:14
Twitter/X AI List
SWE-bench Science：编程智能体能否解决科学领域的工程任务？