GLM-5.2 speculative decoding 实测：MTP 接受长度提升 20% 的体感

 

 

GLM-5.2在MTP（Multi-Token Prediction）层做了一项改进：speculative decoding的接受长度提升约20%。这个优化听起来很技术化，但对用户的实际体验有直接影响：推理更快。

 

我拆解这个20%提升的技术原理，并分享实测体感。

 

什么是speculative decoding

 

先说清楚speculative decoding（推测解码）是什么。

 

大模型推理默认是一个token一个token生成的。每生成一个token，都要跑一遍完整的Transformer前向计算。这个过程的瓶颈是：每次前向计算只产出一个token，效率低。

 

speculative decoding的思路是：用一个小的"草稿模型"快速生成几个候选token，然后用大模型一次性验证这些候选。如果候选对了，大模型就一次性"接受"多个token。如果候选错了，从出错的位置重新生成。

 

这样做的效果是：大模型一次前向计算可以产出多个token，推理速度大幅提升。

 

 

"接受长度"就是大模型一次接受的token数量。接受长度越长，推理越快。GLM-5.2把这个值提升了20%，意味着推理速度进一步提升。

 

GLM-5.1的MTP层问题

 

GLM-5.1也有MTP层，但存在一个"训练推理不一致"的问题。

 

在训练阶段，MTP层的输入全部来自大模型自己的隐状态（hidden states）。训练时的MTP层是在"规范输入"下学习的。

 

但在推理阶段，speculative decoding的第二步及以后的候选token，其隐状态来自MTP层自己，不是大模型。这导致MTP层在推理时面对的输入分布跟训练时不一致。这个不一致会降低候选token的准确率，进而降低接受长度。

 

 

简单说：训练时MTP层习惯了高质量输入，推理时输入质量下降了，它的表现就打了折扣。

 

GLM-5.2的MTP改进

 

GLM-5.2用IndexShare解决了这个问题。

 

原理是这样的。在多步MTP中，indexer放在第一步，top-k索引被后续所有步骤复用。关键点在于：使用IndexShare后，MTP层的KV cache只包含来自大模型的隐状态，不包含来自MTP层自己的隐状态。

 

这意味着什么？MTP层在推理时的输入分布，跟训练时保持一致了。因为KV cache全是大模型的隐状态，不管是第一步还是后续步骤，MTP层面对的输入质量是一样的。训练推理不一致的问题被消除。

 

 

训练推理一致后，MTP层的候选token准确率提高，大模型对候选的接受率也提高。这就是接受长度提升20%的来源。

 

额外优化：拒绝采样

 

GLM-5.2在speculative decoding中还引入了拒绝采样（rejection sampling），并使用端到端的TV loss训练。

 

拒绝采样是一种从概率分布中采样的技术，用在speculative decoding中可以进一步优化候选token的生成策略。它的效果是让MTP层生成的候选token分布更接近大模型的真实分布，进一步提高接受率。

 

端到端TV loss是一种训练目标，直接优化MTP层的输出跟大模型输出之间的差异。这个训练目标的引入让MTP层从"学个大概"变成了"精确对齐"。

 

实测体感

 

20%的接受长度提升，在体感上意味着什么？

 

我用GLM-5.2和GLM-5.1跑了同样的一组编程任务，记录了首token延迟和生成速度。

 

短任务（100-500 tokens的输出）。GLM-5.2的生成速度比GLM-5.1快约15%到20%。因为speculative decoding在短任务上的效果更明显，候选token的命中率更稳定。

 

中长任务（1000-3000 tokens的输出）。GLM-5.2的速度优势约10%到15%。比短任务的优势略小，因为长任务中speculative decoding的效率提升会被累积的上下文计算稀释。

 

长任务（5000+ tokens的输出）。速度优势约8%到10%。优势进一步收窄，但仍然存在。

 

综合来看，20%的接受长度提升在实际体感上转化为约10%到20%的推理速度提升。具体幅度取决于任务长度和输出长度。

 

对成本的影响

 

推理速度的提升直接关联成本。

 

在API调用场景下，更快的推理意味着更低的延迟和更好的实时性。对交互式应用（比如IDE里的代码补全）来说，低延迟直接改善用户体验。

 

在本地部署场景下，更快的推理意味着单位算力能处理更多请求。同样的GPU资源能服务更多用户或跑更多任务，间接降低了单位成本。

 

加上IndexShare的2.9倍FLOPs降低和MTP的20%接受长度提升，GLM-5.2在推理效率上是多重优化叠加的。

 

行动建议

 

目前，智谱AI系列模型与产品已在云巴巴平台上线。在云巴巴，你可以横向对比智谱GLM系列与Claude、GPT、DeepSeek、Kimi等同类产品的能力与价格，找到最适合你业务场景的AI解决方案。

 

如果你正在评估大模型选型，或者想了解GLM-5.2的1M上下文和MIT协议能为你省多少成本，云巴巴提供免费的产品咨询和方案对比服务。访问云巴巴，让专业顾问帮你做决策。