其他

新研究：仅调0.01%参数可接近全量微调，聚焦Value偏置项效果最佳

首次出现 8月12日 20:22·最近更新 8月12日 20:22

瑞典隆德大学与Google DeepMind团队在ACL 2026上发表研究，系统比较了Transformer注意力模块中Query、Key、Value三类偏置项（b(q), b(k), b(v)）在低数据微调中的效果。研究发现，在数据有限的场景下，仅微调Value偏置项b(v)通常能取得比微调其他两类偏置更好的下游任务性能，并且仅需约0.01%的参数即可达到接近全参数微调的效果。该方案基于已有偏置项进行更新，无需新增模块，具有参数高效、结构改动小的优势，相关代码已集成进Hugging Face PEFT库。

多来源证据

微信公众号 WeWe-RSS·wechat·8月12日 11:17

0.01%参数就能接近全量微调！低数据微调极致省参方案来了 | ACL'26

0.01%参数就能接近全量微调！低数据微调极致省参方案来了 | ACL'26 关注前沿科技关注前沿科技量子位在小说阅读器读本章去阅读在小说阅读器中沉浸阅读 BEFT 团队投稿量子位 | 公众号 QbitAI 大模型微调的极致省参方案，要先回答一个更基本的问题：模型里的偏置项，究竟哪个最值得训练？来自瑞典隆德大学与Google DeepMind 的研究团队，系统比较了注意力模块中Query、Key、Value三类偏置b(q)、b(k)、b(v)。团队给出的核心结论非常直接：在低数据场景下，直接微调Value投影中的b(v)，通常比微调b(q)或b(k)获得更好的下游性能。

事件时间线

8月12日 11:17
微信公众号 WeWe-RSS
0.01%参数就能接近全量微调！低数据微调极致省参方案来了 | ACL'26