它是什么
colibri 由 Vincenzo Fornaro(GitHub 用户 JustVugg)开发,README 的说法是“在你已有的电脑上运行非常大的开源模型”。它用纯 C 编写,每个模型家族一个引擎文件。对混合专家模型(MoE),它只把当前用到的“专家”放进内存,其余的从硬盘按需读取,所以不靠显卡也能用 CPU 运行。安装脚本会检测你的硬件、推荐合适的模型并下载权重,之后用 coli chat、coli web 或 coli serve 开始聊天或开服务。它提供兼容 OpenAI 和 Anthropic 接口格式的 HTTP 服务和 MCP,有显卡时也可以用 CUDA、Vulkan 或 Metal 加速。
适合谁:想在自己电脑上离线跑大模型、愿意折腾安装的开发者。不写代码的读者用不上。
使用前提:Windows 运行 START-HERE.bat,Linux 和 macOS 运行 start-here.sh。模型权重很大,从几十 GB 到上 TB 不等,要预留硬盘空间和下载时间。本地服务默认监听 127.0.0.1:8000。程序本身是 Apache-2.0 许可,模型权重各有自己的许可,例如 Qwen-Image-2.1 不能商用,用前请看对应模型的条款。以上根据项目公开说明整理,本站没有实际测试。