#推理优化

DeepSeek集群日处理155万亿Token:80%毛利率背后的推理架构拆解
继 DeepSeek 开源内部大规模生产级推理框架后,官方又在知乎发布了技术报告,将超大规模集群调度的底层设计完整公开。最引人注目的是:单一集群服务吞吐达 155 万亿 Tokens/天,单卡每小时收入 38 美元(按谷价),在极低 API…
GLM-5.3-FlashX 上线:推理提速 5 倍达 200 tokens/s,Agent 构建推理 Infra
智谱上线 GLM-5.3-FlashX,推理速度最高 200 tokens/s,较 GLM-5.3-Flash 模型提速 5 倍,价格提价 2.5 倍,API 同步开放。这背后是在 10 万张国产芯片提供的推理算力基础上,进一步加大对 In…