很多人觉得，训练一个大模型需要几十万美金、几百张 H100 GPU、团队花几个月。OpenAI 训练 GPT-3 花了 460 万美元。

但 jingyaogong 做了一个项目告诉你：普通人也能从零训练自己的大模型。

成本：3 块钱（电费 + 云 GPU）
时间：2 小时
硬件：一张 RTX 3090（24GB 显存）
60,663 Star，Apache 2.0 协议，完全开源。

▲ MiniMind 全家桶：从 LLM 到 VLM 到 Omni，完整开源。

MiniMind 是什么

MiniMind 是一个从零训练大语言模型的完整教程 + 可运行代码库。

核心卖点：全程用 PyTorch 原生实现，不依赖 transformers 等高层封装。

这意味着你需要自己写 Tokenizer、自己实现 Pretrain、自己写 SFT/LoRA/DPO/PPO、自己实现 Tool Use 和 Agentic RL、自己做 Adaptive Thinking 和模型蒸馏。不是"调包侠"，是真正理解每一步在做什么。

全家桶矩阵

MiniMind-3（主项目）⭐ 60K

64M 参数 LLM，2 小时从 0 训练。dim=768, n_layers=8，参数量约 64M，体积约 256MB。

支持功能：Pretrain（预训练）、SFT（监督微调）、LoRA（低秩适配）、RLHF（DPO/PPO/GRPO/CISPO）、Tool Use（工具调用）、Agentic RL（智能体强化学习）、Adaptive Thinking（自适应思考）、模型蒸馏。

MiniMind-V（视觉语言）⭐ 8.6K

65M 参数 VLM，2 小时从 0 训练。支持图像理解、图文对话、视觉问答。

MiniMind-O（全模态模型）⭐ 2.5K

0.1B 参数 Omni 模型，听 + 说 + 看。支持语音识别、语音生成、图像理解、文本对话。

技术架构

模型架构：对齐 Qwen3/Qwen3-MoE 设计，标准 Transformer，RoPE 位置编码，SwiGLU 激活函数，RMSNorm 归一化。

训练流程：数据清洗 → Tokenizer 训练 → Pretrain → SFT → RLHF → 蒸馏

关键代码全部手写：

• train_pretrain.py — 预训练
• train_full_sft.py — 全参数微调
• train_lora_sft.py — LoRA 微调
• train_dpo.py — DPO 优化
• train_ppo.py — PPO 强化学习
• train_grpo.py — GRPO 算法
• train_cispo.py — CISPO 算法
• train_tool_use.py — 工具调用
• train_agentic_rl.py — 智能体学习

怎么跑起来

环境准备：

git clone https://github.com/jingyaogong/minimind.git
cd minimind
pip install -r requirements.txt

下载数据：将 pretrain_t2t_mini.jsonl 和 sft_t2t_mini.jsonl 放入 dataset/ 目录。

开始训练：

# 预训练
python train_pretrain.py

# 监督微调
python train_full_sft.py

# LoRA 微调
python train_lora_sft.py

# 断点续训
python train_pretrain.py --from_resume 1

能干什么

直接对话：运行 eval_llm.py 或 scripts/web_demo.py。

接入 Ollama：ollama run minimind

接入 llama.cpp：转换权重后直接使用。

浏览器运行：64M 参数模型压缩后可运行在 WebAssembly，无需后端，隐私安全，零延迟。

为什么值得学

这不是玩具项目。很多开源项目只是给你一个训练好的模型让你用。MiniMind 给你的是完整的训练链路，让你真正理解：

1. Transformer 的每个组件是怎么工作的
2. 数据是怎么被清洗和准备的
3. Tokenizer 是怎么训练的
4. 预训练损失是怎么下降的
5. SFT 为什么要这么做
6. RLHF 的各个算法有什么区别
7. 工具调用是怎么实现的
8. 模型蒸馏的原理

对开发者：想深入理解 LLM 原理，想自己微调模型但不懂底层，想研究强化学习在 LLM 上的应用。

对学生：课程项目、毕业设计、大模型入门实践。

对研究者：复现论文中的算法，实验不同训练策略。

和同类项目对比

写在最后

技术民主化的浪潮已经来了。以前训练一个模型需要百万美元和数百张 GPU，现在 3 块钱 + 2 小时，你也能从零训练一个 LLM。

60K Star 说明很多人需要这个。它不仅仅是一个项目，更是一套可以运行的教科书。

Github：

LLM：https://github.com/jingyaogong/minimind

VLM：https://github.com/jingyaogong/minimind-v

Omni：https://github.com/jingyaogong/minimind-o