GPU架构分析：内存带宽成为计算性能关键瓶颈

GPU架构详解：通常假设更快的GPU意味着更多计算能力，因此每秒操作次数更高的芯片应该产生更多

GPU架构详解。 通常假设更快的GPU意味着更多计算能力，因此每秒操作次数更高的芯片应该每秒生成更多令牌。 这很少成立。你可以租用顶级芯片，加载模型，观察利用率保持高位，但硬件能执行千万亿次操作时，你只能得到每秒几十个令牌。 算术单元不是限制。它们大部分时间在等待数据到达。 内存带宽决定了数据交付的速度，且每一代新硬件的增长远慢于算术能力。 H100具体化了这一点。它在16位精度下每秒执行989万亿次操作，而其内存每秒交付3.35万亿字节。 将两者相除，你得到约295。这是芯片每获取一个字节必须执行的操作次数，以保持算术单元繁忙。 生成令牌远不及此。每个权重...