微信自研大语言模型 WeLM 近日再次更新。WeLM 官方博客发布了一篇题为《Hidden Decoding at Scale：面向前沿大模型的潜空间计算扩展》的技术论文，将此前已在中小规模模型上验证的「隐式解码」机制，扩展到了 100B+ 参数量的前沿 MoE 大模型。

这篇论文的技术含量较高，但核心思想可以提炼为几个关键点。

WeLM：微信自研大语言模型

WeLM 是微信团队自研的大语言模型，其研发时间甚至早于腾讯混元。目前小范围公测的「微信小微」智能助手，底层就运行着 WeLM 模型。

当前主流大模型的推理方式通常包含一个「内心独白」环节——模型需要将推理过程逐步写出来，通过中间状态的表达来完成思考。例如「首先、然后、其次、最后，答案是……」这种 Chain-of-Thought 模式。

为什么要这样做？因为模型中间状态（Hidden States）的表达能力，直接决定了最终输出质量。在相同参数规模下，增加中间计算步骤通常能获得更好的效果。

但这种做法有三个痛点：速度慢、效率低、算力成本高。

如果微信小微处理一个请求需要等待十几秒，用户体验很难接受。而如果面向十亿级微信用户全量开放，所需的算力和存储成本更是难以承受。

Hidden Decoding：让模型在「脑子里」思考

为解决这个问题，WeLM 提出了一种创新机制——Hidden Decoding（隐式解码）。

论文中的核心方法是：在不增加 Transformer 主体参数的前提下，通过复制多份 Vocab Embedding 将序列长度扩展 n 倍，使每个 token 在单次前向传播中获得 n 倍的有效计算量。实验表明，该方法在多个模型规模上均带来持续的 loss 下降和评测指标提升，且在较大规模模型上只需少量 continue training 步数即可看到显著收益。

用通俗的话解释：能不能让模型在「潜空间」里默默思考，而不把中间过程写出来？

打个比方——团队给老板出方案：

• 以前的做法：每个人每次都必须把草稿和中间过程写出来，每写一版汇报一次，耗时长、效率低。
• Hidden Decoding 的做法：前三版在各自「脑子里」迭代，只把最终方案呈现给老板，时间短、质量高。

这就是 Hidden Decoding 的核心机制——在时间、效率、成本三个维度上实现优化。

此前，Hidden Decoding 机制仅在 WeLM 的 6B、8B、80B 等中小规模模型上得到验证。

扩展到 100B+ MoE 大模型

这次更新的论文回答了一个关键问题：Hidden Decoding 能否应用到主流的 100B+ 参数量大模型上？

结论是：完全可行。并且论文给出了 3 个关键工程设计：

1. Stream-Factorized Attention（流式注意力分解）

让大多数注意力层只在同一条 stream 内计算，只有少数层跨 stream 混合。即「大部分时候各想各的，关键节点才碰头」，兼顾效果与效率。

2. 保留中间流 KV

模型在处理后续内容时仍需回忆前文重点，因此需要将中间步骤对应的 Key 和 Value 缓存下来——好记性不如烂笔头。

3. KV-mirror 加速

后段的计算步骤不再从输入重新推导，而是直接复用前段已处理好的数据，减少重复计算。

通过这三项工程设计，Hidden Decoding 成功扩展到了前沿的 100B+ MoE 大模型。在 WeLM-HD4-617B 模型上，该机制已得到充分验证。

WeLM 的定位与未来

WeLM 是闭源模型，专为微信生态定制。由于微信的庞大体量和高日活，WeLM 相比其他大模型更注重：低成本、低延迟、高效率、稳定可控和长上下文理解能力。

微信小微一旦全面开放，WeLM 有望成为国内调用量最大的大语言模型，全球范围也有望跻身前三。

WeLM 的每一次技术创新，都是在为小微的全量开放做准备。