vLLM

vLLM 是一个开源的大语言模型推理和部署引擎，最早出自加州大学伯克利分校的 Sky Computing 实验室，现在由来自几十家学术机构和公司、两千多位贡献者共同维护。它解决的是“模型有了，怎么又快又省地跑起来给人用”：用 PagedAttention 技术管理显存，把同时进来的请求连续拼批处理，支持多种量化格式，还能把一个模型拆到多张显卡上跑。它支持 Hugging Face 上两百多种模型架构，可以开一个和 OpenAI 接口兼容的服务，也支持 Anthropic Messages 接口，能流式输出，支持工具调用。硬件方面支持 NVIDIA、AMD、Intel 显卡和多种 CPU，也有谷歌 TPU、苹果芯片等硬件的插件。它特别的地方是开源界最常用的大模型部署引擎之一，自己部署模型的团队很多都从它起步。

适合谁：要在自己的服务器上部署开源大模型的开发者和团队。不写代码的读者用不上。

使用前提：用 uv 或 pip 安装，需要能跑大模型的硬件，显卡、内存要求取决于你选的模型。软件免费，算力和托管费用自己承担。部署成对外服务时，接口访问权限和日志由你自己管，请别把没设密码的接口直接开到公网。模型本身的使用许可要另外看各个模型的条款。Apache-2.0 许可。

以上根据项目公开说明整理，本站没有实际测试。