#MoE

Strata开源项目:12GB显存本地运行千亿参数大模型
很多人觉得本地部署模型容易,但参数小的模型干不了活,上千亿参数的大模型又跑不起来。 正巧这两天,GitHub 上有一个很火的开源项目Strata,已狂揽了 26000+ Star。使用它,能让我们在一台普通配置的游戏电脑上,也能跑起 125…
CosmoEdge:开源边缘 AI 视频分析引擎,29 类场景模板+开放词表检测
想让楼道里的摄像头自动发现垃圾,再把现场截图发给管理人员,第一反应是找一个能识别垃圾的模型。但模型找到后,视频怎么接入?哪些区域需要检测?发现一次就提醒还是持续一段时间再报警?几路摄像头一起跑设备能不能撑住?真要做成一套能用的系统,模型之外…
Reflection Beam:英伟达投资的开源新模型,对标智谱 GLM-5.2
英伟达投资了一个叫 Reflection 的模型公司,发布了第一个开源模型 Beam,对标智谱的 GLM-5.2 官方说两者在高级推理测试上分数相当,Beam 的推理算力只要 5.2 的三分之一到四分之一 彭博和金融时报都表示:它是美国在开…
Mistral Large 4 发布:1T 参数 49B 激活,aka「大胖猫」欧洲最强开源模型
今天早些时候,美国那边开源了个 glm5.2 级别的模型 而刚刚,欧洲的希望 Mistral 发布了 Mistral Large 4,aka Le Chonk 大胖猫 Mistral 官方推文 总参数 1.05T,每次只激活 49B,另带…
Qwen3.8-Flash上线:Next架构MoE模型,输入0.8元/百万Tokens,缓存低至0.1元
千问AI平台正式上线 Qwen3.8-Flash 模型。这款采用 Next 代架构的多模态混合专家(MoE)模型,在编程和智能体任务中展现出极高的性价比。 Qwen3.8-Flash 总参数达千亿级别,但每次推理仅激活 6B(60亿)参数,…
Kimi K3 开源:全球首个 3 万亿参数 MoE 模型,100 万 token 上下文
月之暗面 Kimi K3 模型如约开源。这是全球首个 3 万亿参数级别的开源模型,采用 MoE 架构,总参数 2.8 万亿,实际激活参数 1040 亿,支持 100 万 token 上下文窗口,同时具备原生视觉理解能力。 核心结论:Kim…
Kimi K3 开源:2.8 万亿参数 MoE 架构,100 万 token 上下文,训练效率提升 2.5 倍
Kimi K3 模型权重正式开源,参数量达到 2.8 万亿,实际激活参数 1040 亿,支持 100 万 token 上下文窗口,同时具备原生视觉理解能力。这是目前公开的首个 3 万亿参数级别的开源模型。 核心结论:Kimi K3 在综合能…
Kimi K3 深度评测:2.8T 参数开源模型,性能能否媲美旗舰?
近日,Kimi K3 正式发布,成为目前参数规模最大的开源大语言模型,引发业界广泛关注。如何看待这一模型的实际能力?本文将从多个维度进行分析。 性能表现是否接近旗舰水平? 综合多家国际评测机构的测试结果,Kimi K3 的性能表现基本可信。…
微信WeLM大模型Hidden Decoding更新:潜空间计算扩展到100B+ MoE架构
微信自研大语言模型 WeLM 近日再次更新。WeLM 官方博客发布了一篇题为《Hidden Decoding at Scale:面向前沿大模型的潜空间计算扩展》的技术论文,将此前已在中小规模模型上验证的「隐式解码」机制,扩展到了 100B+…
实测美团LongCat-2.0:5万张国产芯片跑出的万亿参数MoE大模型
美团发布了 LongCat-2.0,一个总参数 1.6 万亿(激活约 480 亿参数)的 MoE 模型。值得瞩目的是,该模型从预训练到大规模部署,全程跑在 5 万张国产算力芯片上,耗时一个多月,处理超过 35 万亿 tokens,全程无回滚…