LMSys 联合英伟达在 GB300 上部署 DeepSeek,吞吐量较 GB200 提升 1.53 倍
LMSys 与英伟达合作在 GB300 NVL72 上实现 DeepSeek 长上下文推理新里程碑:峰值 226 TPS/GPU,借助 288GB HBM3e 解码批次扩大 1.6 倍,128K prefill 仅需 8.6 秒。
查看原文本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。
LMSys 与英伟达合作在 GB300 NVL72 上实现 DeepSeek 长上下文推理新里程碑:峰值 226 TPS/GPU,借助 288GB HBM3e 解码批次扩大 1.6 倍,128K prefill 仅需 8.6 秒。
查看原文