AI 产品

字节跳动新论文挑战AI代理可控性评估方法

首次出现 8月18日 05:31·最近更新 8月18日 05:31

字节跳动最近发表了一篇论文，提出了新的测试方法Harness-IF，用于评估编程AI代理的指令遵循能力。论文基于实证测试，指出现有评估可能高估了AI代理的可控性，因为测试指令往往与模型的默认行为一致。Harness-IF引入违背模型默认行为的规则进行测试，在12个前沿模型和60个多轮编码任务中，所有模型在面对此类对抗性指令时表现均显著下降，表明AI代理在指令遵循方面存在局限性。这引发了对AI可控性评估方法的讨论，但核心事实是测试方法和结果。

多来源证据

Twitter/X AI List·twitter·8月18日 04:21

字节跳动新论文提出更佳问题：AI代理的指令是否真正改变了行为？

字节跳动新论文提出了一个关于AI代理的更好问题：指令是否真正改变了行为？我们可能高估了AI代理的可控性，因为我们的测试往往与它们的默认行为一致。想知道你的代理是否真正遵循指令？给它一条违背其正常行为的规则。Harness-IF测试了这个更难的情况：规则推动模型的默认行为，遍布编程代理实际阅读的地方，包括系统提示、工具描述、技能描述、项目文件和用户指令。在12个前沿模型和60个多轮编码任务中，所有模型在这些违背先前规则（即指令推动其自然默认行为）的情况下得分都更差。

事件时间线

8月18日 04:21
Twitter/X AI List
字节跳动新论文提出更佳问题：AI代理的指令是否真正改变了行为？