vLLM:llm-compressor 突破 3K Star,已支持 Gemma 4 和 Qwen 3.5 量化
vLLM 旗下 llm-compressor 项目达到 3000 Star 里程碑,已支持 Gemma 4 和 Qwen 3.5 的 NVFP4 和 FP8 量化检查点,实现一次量化、vLLM 直接部署。
查看原文本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。
vLLM 旗下 llm-compressor 项目达到 3000 Star 里程碑,已支持 Gemma 4 和 Qwen 3.5 的 NVFP4 和 FP8 量化检查点,实现一次量化、vLLM 直接部署。
查看原文