AI 产品

AI服务器负载测试显示Alibaba Qwen与NVIDIA组合性能大幅提升

首次出现 8月15日 04:01·最近更新 8月15日 04:01

一条推特帖子声称，在Alibaba Qwen、NVIDIA和LambdaAPI支持的同一服务器上进行负载测试，从1个流的148 tok/s（tokens per second）提升到64个并发请求的3395 tok/s，聚合吞吐量增加22.93倍，且无性能降级。测试基于3次运行的中位数，每次请求输出4k tokens，使用了LambdaAPI计算信用。此信息源自非官方推特，未经官方验证，属于声称而非确认事实。

多来源证据

Twitter/X AI List·twitter·8月15日 01:07

@Alibaba_Qwen @nvidia @LambdaAPI 在同一服务器负载下：1个流时148 tok/s → 64个并发请求时3,395 tok/s，聚合吞吐量22.93倍

@Alibaba_Qwen @nvidia @LambdaAPI 在同一服务器负载下：> 1个流时148 tok/s → 64个并发请求时3,395 tok/s。> 22.93倍聚合吞吐量，且通过64个请求无降级。> 3次运行的中位数；每次请求输出4k tokens。> @LambdaAPI 计算信用。https://t.co/lXyZ9osbIJ

事件时间线

8月15日 01:07
Twitter/X AI List
@Alibaba_Qwen @nvidia @LambdaAPI 在同一服务器负载下：1个流时148 tok/s → 64个并发请求时3,395 tok/s，聚合吞吐量22.93倍