vLLM：携手 TorchSpec 团队，为 Kimi 2.5 引入 EAGLE3 推测解码加速推理
vLLM 与 TorchSpec 团队合作，采用最受欢迎的开源 EAGLE3 草稿模型为 Kimi 2.5 提供低延迟推理支持，进一步提升大模型推理效率。
查看原文vLLM 联合 TorchSpec 为 Kimi 2.5 接入 EAGLE3 推测解码，通过「小模型预判 + 大模型验证」机制实现推理加速。延迟敏感型应用（如 Kimi 的对话场景）受益明显，但实际收益取决于流量特征与模型匹配度。
产品是什么
EAGLE3 是目前开源社区最活跃的推测解码（Speculative Decoding）方案，由 TorchSpec 团队维护。它通过一个轻量的「草稿模型」先行生成多个候选 token，再由目标大模型并行验证，快速拒绝错误分支，从而减少大模型的 decode 步数。
此次合作意味着 Kimi 2.5 在 vLLM 推理引擎层面获得了 EAGLE3 加速能力，而非仅靠硬件或批处理优化。这是算法层面的实质性加速。
解决什么问题
大模型推理的核心瓶颈在于自回归 decode 阶段——每生成一个 token 都必须等待大模型完整前向传播。EAGLE3 的思路是：用小模型「打草稿」，大模型「批量验收」，理想情况下可以用 1 次大模型调用验证 4-8 个 token，将端到端延迟降低 2-4 倍。
Kimi 的to-C对话场景对首 token 延迟（TTFT）和回复流式输出要求极高，EAGLE3 能显著改善用户体验。
对比同类竞品
- EAGLE3 vs HuggingFace Speculative Decoding：HF 官方方案要求草稿模型与目标模型结构相近（通常是同系
● 未登录访客SMARTFLOW PRO
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
加入机智流 PRO →¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈
- vLLM 官推宣布 EAGLE3 + Kimi 2.5 合作 · 2026-04-05
- EAGLE GitHub 仓库（TorchSpec 维护） · 2024-01-01
- vLLM 官方文档 - 推测解码支持 · 2024-01-01