AI 产品
Nvidia GH200在64个并行请求下实现3.3k tokens/s处理性能
根据Twitter/X AI List用户分享，在单个Nvidia GH200硬件上处理64个并行请求时，处理速度达到每秒3.3千个tokens。分享者评论称这一表现相当令人印象深刻。此信息源自非官方社交媒体渠道，属于未经证实的讨论，性能数据需进一步验证。
多来源证据
事件时间线
- Twitter/X AI List在单个Nvidia GH200上，64个并行请求下达到3.3k tokens/s！这相当令人印象深刻！