vLLM 0.25.0 发布
vLLM 发布 0.25.0(据 GitHub Releases,232 位贡献者、558 次提交):Model Runner V2 成为稠密模型默认引擎;新增 LLaVA-OneVision-2、Unlimited OCR 等模型;统一流式解析引擎(含 Kimi parser);投机解码与多硬件(NVIDIA/ROCm/XPU/CPU)优化。
查看原文解读生成中或暂时不可用,请稍后刷新重试,或直接查看原文。
vLLM 发布 0.25.0(据 GitHub Releases,232 位贡献者、558 次提交):Model Runner V2 成为稠密模型默认引擎;新增 LLaVA-OneVision-2、Unlimited OCR 等模型;统一流式解析引擎(含 Kimi parser);投机解码与多硬件(NVIDIA/ROCm/XPU/CPU)优化。
查看原文