AI 产品
论文揭示在线策略蒸馏主要传递推理行为而非答案
一项研究指出，在线策略蒸馏（OPD）主要传递教师的推理行为，而非针对特定问题的答案。训练问题的难度对蒸馏效果影响较小，即使教师从未解决的问题也能提供有用监督。模型来源至关重要：相同来源的教师-学生对在语言、推理范围和领域上泛化良好，而跨来源教师传递效果较差。在多教师设置中，改变教师混合比例会调整学生能力偏向不同教师，而非简单结合其专业知识。
多来源证据
事件时间线
- Twitter/X AI List本文探讨在线策略蒸馏实际传递了什么。 训练问题难度影响惊人地小：即使老师从未