#LLM
DeepSeek开源DeepInfer推理框架：单卡日收入255元，核心技术Apache 2.0开放
DeepSeek 近日将自研的高性能推理框架 DeepInfer 全面开源，并首次公开了推理吞吐量与收入数据。
数据显示，单张 GPU 每小时推理收入约 38 美元，按 6.7 汇率折合每小时 255 元人民币。以此计算，单卡日收入约 61…
3块钱2小时训练大模型：MiniMind全家桶从0到1全流程解析
很多人觉得，训练一个大模型需要几十万美金、几百张 H100 GPU、团队花几个月。OpenAI 训练 GPT-3 花了 460 万美元。
但 jingyaogong 做了一个项目告诉你：普通人也能从零训练自己的大模型。
成本：3 块钱（电费…
2026年最值得关注的10个开源Coding LLM：从云端API到本地GPU部署
开源 coding model 在 2026 年追上了前沿水平。DeepSeek V4 Pro 最近据报道在 SWE-bench Verified 基准测试中达到了 80.6%，与全球最昂贵的闭源模型并驾齐驱。但问题在于：当前最优秀的开源 …
24GB显存能部署多大模型？详解KV Cache与大模型显存需求计算
模型量化后只有 4GB 左右，显卡 24GB，为什么一开长上下文或多人并发就不够用了？原因是，模型文件大小不等于部署时的显存需求，大语言模型的推理部署也不能只看模型权重。
模型权重只是 GPU 的核心占用。模型运行时，还要为已经读过的内容保…
模型如何获得更好的推理表现：8 种测试时计算机制详解
让大语言模型（LLM）获得更强推理表现的方法，主要可以归为两类：
并行扩展（parallel scaling）：对同一个提示多次采样，再从多个候选结果中进行选择。
顺序扩展（sequential scaling）：在给出最终答案前，延长单…
AirLLM：4GB 显存跑 70B 大模型的逐层加载推理方案
之前通过 Ollama、SGLang 在本地部署过大模型的朋友都知道，受限于显卡显存，基本上只能部署小参数且量化后的模型。
这些模型在本地跑基本是残血状态，拿来玩玩还可以，但效果往往差强人意。
最近在 GitHub 上发现一个 3 万 St…
Hallmark：2.1万Star的AI编程Skill，57道检测关卡告别AI味前端页面设计
用 Claude Code、Codex 等 AI 工具写前端页面，对任何人来说几乎没有了门槛。
只需简单一句话描述需求，几分钟就能拿到一个完整且能部署运行的页面。
但这些页面基本一个样：紫色渐变大标题、所有元素居中、三列圆角图标大卡片。
大…
Hallmark：2 万 Star 的 AI 网页设计 Skill，内置 57 道反套路检测
用 AI 生成网页时，最大的挑战不是实现不了，而是做出来一看就是「AI 做的」。紫青渐变、居中标题按钮、三等分功能卡片——这些元素单独看都没有问题，但组合在一起就变成了 AI 页面的标准模板。更麻烦的是，即使反复修改…
ai-agent-book：12K Star 的开源 AI Agent 全书，从原理到工程实践
前阵子一个做后端的朋友被老板安排带队搞 AI Agent 项目。他 Java 写了八年，LLM 调用过几次，但要设计一个生产级 Agent 系统，脑子里一片空白。"Agent 到底是什么？不就是 LLM 加工具调用吗？那跟之前调 API 有…
Awesome LLM Apps：100+可运行AI Agent模板，克隆就能用
想做一个 AI Agent，搜了一堆资料，打开十几个标签页，每个都在讲概念。RAG 是什么意思，Agent 的 ReAct 循环怎么设计，MCP 协议又是什么鬼。看了一小时，代码一行没写。
然后你找到了一个 GitHub 仓库：Awesom…