AI 产品
JEPA世界模型新机制SIGReg被称作解决模型崩溃的简洁方案
JEPA（联合嵌入预测架构）世界模型近期因一种名为SIGReg的新反崩溃机制而受到关注，该机制由Yann LeCun和Randall Balestrero提出。据技术博客介绍，JEPA在训练中面临预测损失两侧通过同一编码器导致的模型崩溃问题，即编码器可能将所有输入映射为常数点，使损失为零但信息量也为零。此前研究通常采用停止梯度、教师-学生模型、冻结预训练编码器或VICReg等复杂方法来缓解，但这些方法会引入不稳定性和超参数调优负担。SIGReg则用一种基于正则化器的方法，强制编码器的嵌入批次呈现各向同性高斯分布的样本特性，从而以更简洁的方式防止崩溃。
多来源证据
事件时间线
- Twitter/X AI ListJEPA世界模型新机制SIGReg被称作解决模型崩溃的简洁方案