AI代理自改进中记忆错误导致性能下降的Echo Gap现象

自改进LLM代理中的记忆奖励膨胀

一个自改进代理可以保持其权重冻结，但通过它学会信任的记忆而变差。这些代理存储过去的事件，用LLM评分，并作为先例重用，而不改变模型权重。错误的事件仍然可以获得高自评分；在论文的事实库中，测试模型将31%到54%的自己的错误答案认可为正确。一旦该评分进入持久记忆，错误可能影响未来决策，而不是在一次错误回答后消失。作者称之为Echo Gap。更强或不同的LLM没有可靠地修复它，因为它们的评分错误通常与原始自评分偏差相关。– arxiv.org/abs/2608.00017 标题："自改进LLM代理中的记忆奖励膨胀"