MiniMind

MiniMind 是 GitHub 用户 jingyaogong 开源的项目，README 说它要“完全从 0 开始”训练一个规模约 64M 的超小语言模型，同时“也是一套面向 LLM 入门与实践的教程”。项目给出完整的模型结构和训练流程，包括预训练、监督微调（SFT）、LoRA、强化学习、工具调用和模型蒸馏，也支持混合专家（MoE）结构。最值得看的是，核心算法都用 PyTorch 原生代码一步步写出来，没有套用第三方库封装好的接口，每一步都看得见。README 有中文和英文。

适合谁：有 Python、PyTorch 基础，手上有显卡，想亲手把小语言模型从预训练一路做到微调和部署的开发者，不写代码的读者用不上。

使用前提：仓库免费，代码是 Apache-2.0 许可。训练要自己的显卡，或者租云端显卡。作者注明，“2 小时”指的是监督微调（SFT）阶段在单张 NVIDIA 3090 上跑完一轮的时间，“3 块钱”是这段时间的显卡租金，不是整个训练流程的成本。如果打开 wandb、swanlab 这类外部训练日志，或者用托管推理、云端显卡，训练记录和数据可能会上传到这些服务。训练数据和第三方模型的许可要分别看。

以上根据项目公开说明整理，本站没有实际测试。