vLLM：DeepSeek V4 base 模型支持即将就绪
V4 共 4 款模型（base/instruct × flash/pro），首批先支持 instruct；与 DeepSeek 合作在 config 中新增 expert_dtype 字段（base 用 fp8、instruct 用 fp4）以扩展 base 支持。
查看原文vLLM宣布即将支持DeepSeek V4 base模型，引入expert_dtype字段实现fp8/fp4混合精度。这是MoE推理框架针对不同模型变体的精细化量化方案，对部署成本和精度平衡有重要意义。首批先支持instruct，base模型支持紧随其后。
产品是什么
vLLM在X平台宣布即将支持DeepSeek V4 base模型。DeepSeek V4是一个MoE（Mixture of Experts）架构的模型家族，分为4个变体：base × flash/pro和instruct × flash/pro。首批先上线instruct版本支持，base模型的适配工作正在进行中。
关键的技术更新是vLLM与DeepSeek合作在config中新增了expert_dtype字段，用于指定不同专家模块的数据精度。具体来说：
- base模型：使用fp8精度（8位浮点）
- instruct模型：使用fp4精度（4位浮点）
这种差异化精度设计反映了MoE架构中不同专家模块的重要性差异——base模型的专家需要保留更多精度以支持通用预训练任务，而instruct模型经过微调后可承受更激进的量化。
解决什么问题
MoE模型的核心挑战在于参数量巨大。DeepSeek V4的expert_dtype设计本质上是精细化量化策略：对Exp
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈
- vLLM：DeepSeek V4 base 模型支持即将就绪 · 2026-04-27
- DeepSeek-V4 Technical Report · 2025-03-01
- vLLM MoE Model Support Documentation · 2026-01-15