vLLM：v0.18.0 原生支持推测解码隐藏状态提取
vLLM v0.18.0 新增原生隐藏状态提取功能，用于训练推测解码草稿模型（Eagle-3 等），支持前缀缓存、分块预填充和分页内存，已集成到 Speculators v0.5.0。
查看原文本解读由 AI 自动生成 · 模板：事件解读 · 仅供参考，请以原文为准。
vLLM v0.18.0 新增原生隐藏状态提取功能，用于训练推测解码草稿模型（Eagle-3 等），支持前缀缓存、分块预填充和分页内存，已集成到 Speculators v0.5.0。
查看原文