AI 产品

移除模型93%连接后性能反升：稀疏架构挑战传统认知

首次出现 8月15日 11:31·最近更新 8月15日 11:31

研究团队在Un-0图像模型中移除了93.25%的连接，原预期会降低质量，但模型在ImageNet 64x64数据集上的FID分数反而提升至7.15，比同等规模的密集基线模型提高约1.9分。这一反直觉结果源于稀疏连接避免了系统中所有振荡器完全同步导致的“灾难性同步”现象，使模型动态得以维持，从而持续学习。该发现表明网络连接密度可能是可调节的控制变量，而非越高越好。

多来源证据

Twitter/X AI List·twitter·8月13日 23:56

我们移除了Un-0图像模型中93.25%的连接，原以为质量会下降。但它变得更好了。在ImageNet 64x64上FID为7.15，大约

我们移除了Un-0图像模型中93.25%的连接，原以为质量会下降。但它变得更好了。在ImageNet 64x64上FID为7.15，比匹配规模下的密集基线模型领先约1.9。同系列的模型，连接数极少，分数却更高。原因如下：Un-0是一个耦合振荡器模型，密集版本中每个振荡器都与其他所有振荡器相连。这看似优点，但意味着整个系统可能陷入灾难性同步：所有部分锁步运行，梯度趋平，学习停滞。更稀疏的连接允许相干和非相干活动共存。动态得以保持活跃，模型持续学习。连接性原来是一个控制旋钮，而非需要一直调高直到停止的刻度。了解更多：https://t.co/N4lIri8UQQ

事件时间线

8月13日 23:56
Twitter/X AI List
我们移除了Un-0图像模型中93.25%的连接，原以为质量会下降。但它变得更好了。在ImageNet 64x64上FID为7.15，大约

移除模型93%连接后性能反升：稀疏架构挑战传统认知

多来源证据

我们移除了Un-0图像模型中93.25%的连接，原以为质量会下降。但它变得更好了。 在ImageNet 64x64上FID为7.15，大约

事件时间线

我们移除了Un-0图像模型中93.25%的连接，原以为质量会下降。但它变得更好了。在ImageNet 64x64上FID为7.15，大约