DeepInfer

DeepInfer 是 DeepSeek 公开的高性能推理框架，README 说它就是支撑 DeepSeek 大规模线上服务的那一套。它支持在 NVIDIA 显卡和华为昇腾（Ascend）NPU 上离线运行 DeepSeek-V4.1-Flash 模型。推理在你自己的机器或集群上跑，示例里没有看到把提示词发回 DeepSeek 在线服务的步骤。它是一套要自己编译部署的框架，不是现成的托管服务。

适合谁：负责模型部署和推理基础设施的工程人员。不写代码的读者用不上。

使用前提：照 README，从克隆仓库、准备环境、运行 build.sh 开始，需要 NVIDIA 或昇腾的驱动依赖和编译工具。build.sh 会安装对应的依赖；在 NVIDIA 分支上会强制替换 NCCL 包，还会在本地编译 FlashMLA、DeepEP、DeepGEMM 等组件再安装，最好放在专门的环境里装。模型从 Hugging Face 标识或本地检查点加载，模型权重另受模型条款约束。不需要付费 API 账号，显卡和云算力自理。代码是 Apache-2.0 许可。

以上根据项目公开说明整理，本站没有实际测试。