#MoE架构

Kimi K3 深度评测:2.8T 参数开源模型,性能能否媲美旗舰?
近日,Kimi K3 正式发布,成为目前参数规模最大的开源大语言模型,引发业界广泛关注。如何看待这一模型的实际能力?本文将从多个维度进行分析。 性能表现是否接近旗舰水平? 综合多家国际评测机构的测试结果,Kimi K3 的性能表现基本可信。…
微信WeLM大模型Hidden Decoding更新:潜空间计算扩展到100B+ MoE架构
微信自研大语言模型 WeLM 近日再次更新。WeLM 官方博客发布了一篇题为《Hidden Decoding at Scale:面向前沿大模型的潜空间计算扩展》的技术论文,将此前已在中小规模模型上验证的「隐式解码」机制,扩展到了 100B+…