技术专家解析GPU性能瓶颈判断方法

如何判断你的GPU是计算密集型还是内存密集型？

如何判断你的GPU是计算密集型还是内存密集型？这是一个简单的解释：你的模型权重存储在HBM（高带宽内存）中，这是GPU板上的大内存池。在进行任何乘法运算之前，这些权重必须从HBM传输到算术单元，而这个传输是芯片最慢的部分。因此，真正的问题是每个权重在传输后能完成多少工作。这给出一个比率：计算某个操作执行的算术操作数，然后除以从HBM拉取的字节数。这个工作量与字节数的比率是图表中的横轴。每个芯片都有一个平衡值，即峰值算术操作除以峰值内存带宽。以H100为例，它在16位精度下每秒执行989万亿次操作，内存带宽为每秒3.35万亿字节。将前者除以后者...