vLLM 社区加速适配 DeepSeek DSpark 推测解码
vLLM 社区正全力适配 DeepSeek 新开源的 DSpark 推测解码算法,将为所有人带来更快推理。DSpark 由 DeepSeek 联手北大开源,单用户推理提速 60-85%。
查看原文解读生成中或暂时不可用,请稍后刷新重试,或直接查看原文。
vLLM 社区正全力适配 DeepSeek 新开源的 DSpark 推测解码算法,将为所有人带来更快推理。DSpark 由 DeepSeek 联手北大开源,单用户推理提速 60-85%。
查看原文