AI 产品

研究称仅训练投影器即可为语言模型添加新模态

首次出现 8月26日 14:30·最近更新 8月26日 14:30

一则社交平台帖子援引论文《Projector Is All You Train》称，为语言模型接入新模态时，可冻结主干模型，仅训练连接编码器与嵌入空间的投影器。帖子称，在3D测试中，该方法表现不逊于联合微调且训练速度约快一倍；联合微调的Llama在GSM8K上从86.96%降至0.61%。这些结果属于论文及帖文陈述，尚需结合原论文实验设置与独立复现评估。

多来源证据

Twitter/X AI List·twitter·8月25日 12:20

无需调整主干权重，也能让语言模型学习新模态

帖子称，只训练编码器与语言模型主干之间的投影器，即可添加新模态，并降低已有能力退化的风险。其援引的3D实验显示，冻结主干的模型达到或超过联合微调模型，训练速度约快一倍；联合微调的Llama在GSM8K上的成绩据称由86.96%跌至0.61%。上述内容为论文相关主张，并非互动量所能验证。

事件时间线

8月25日 12:20
Twitter/X AI List
无需调整主干权重，也能让语言模型学习新模态