Perplexity 开源 Unigram 分词器，CPU 利用率优化 5-6 倍
Perplexity 宣布开源重新构建的 Unigram 分词器，通过算法优化将 CPU 利用率降低 5-6 倍，显著提升大模型推理效率。
查看原文Perplexity 开源重新构建的 Unigram 分词器，通过算法优化将 CPU 利用率降低 5-6 倍，直接降低大模型推理成本，对 CPU 部署场景意义重大。
事件维度：Perplexity 再度开源核心技术组件
Perplexity 于 2026 年 5 月 27 日在 X 平台宣布开源其重新构建的 Unigram 分词器（Unigram Tokenizer），并强调该实现通过算法层面的优化，实现了 CPU 利用率降低 5-6 倍的显著效果。这意味着在相同硬件条件下，推理吞吐量可提升数倍，或在相同任务负载下显著减少计算资源消耗。
Unigram 分词器最初由 Google 在 2018 年提出，是一种基于语言模型概率分布的分词算法，相比 BPE（Byte-Pair Encoding）等方法，能够为每个子词分配更细粒度的概率权重，从而在分词质量上具有优势。但传统 Unigram 实现计算复杂度较高，在大规模部署时成为推理瓶颈之一。Perplexity 此番开源的实现，显然是针对这一痛点进行了深度优化。
行业影响：开源军备竞赛中的差异化布局
从行业视角看，大模型推理效率已经成为 2026 年的核心竞争维度。Perplexity 选择在此时开源分词器优化方案，有几层战略考量：
- 吸引开发者生态：分词器是每个 LLM 项目都需要的
● 未登录访客SMARTFLOW PRO
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
加入机智流 PRO →¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈