AI 产品
AI 新基准 ProgramBench 挑战：仅凭文档重新实现终端程序
ProgramBench 是一个新兴基准测试，旨在评估 AI 代理的编程和推理能力。已确认事实：该任务要求代理仅根据提供的文档和访问使用终端程序的方式来重新实现这些程序，而不接触源代码。这直接测试了代理在限制条件下的实现能力。讨论：虽然这些程序均为开源，但代理不能依赖训练数据中可能记忆的代码，必须基于文档进行全新理解和重写，以确保评估的公正性。这一设计有助于揭示代理在真实世界任务中的泛化表现，而非简单复述先验知识。
多来源证据
事件时间线
- Twitter/X AI ListProgramBench 要求代理仅通过文档和访问使用这些程序来重新实现终端程序，而不提供源代码