英伟达研究人员推出新型Transformer变体，解码速度提升1.7倍

英伟达研究人员构建新型Transformer变体。 对层的一个小改动带来了： - 解码速度提升1.7倍 - 长推理准确性提高6.5点 在

英伟达研究人员构建了新型Transformer变体。 对层的一个小改动带来了： - 解码速度提升1.7倍 - 长推理准确性提高6.5点 在典型Transformer架构中，每个注意力层计算Q、K和V。 英伟达的调整添加了第四个投影，用于预测下一层所需信息。 要理解他们为什么这样做，让我们先看看当前Transformer架构推理时发生了什么。 Sparse attention是处理长上下文推理的尝试。现代设计不对每个缓存令牌进行注意力计算，而是对KV缓存进行分块评分，保留top-k，并仅对这些进行注意力计算。 这减少了注意力计算和带宽，但仍存在两个问题。 > 首先，KV缓存随每个