// 01 Colibrì 是什么
快速结论
Colibrì（GitHub 项目 JustVugg/colibri）是一个用纯 C 编写、零依赖的 MoE 大模型推理引擎，主打「在约 25GB 内存的消费级机器上跑 GLM-5.2（744B 参数 MoE）」。它把显存、内存与磁盘当作同一套内存层级来管理，通过从磁盘流式调取专家权重（experts streaming）实现大模型本地运行。该项目仅有 GitHub 仓库、无独立官网，截至 2026-07 版本为 v1.0，国内可直接访问 GitHub 获取（拉取代码可能需要加速）。
适合谁优先使用
- 想在本地跑超大 MoE 模型、但没有多卡服务器的个人开发者与研究者
- 关注推理引擎实现、需要零依赖纯 C 代码便于移植与审计的工程师
- 对「量化会不会偷偷降精度」敏感、要求路由语义不被改写的使用者
- 需要在离线／内网环境部署大模型推理的团队
核心能力拆解
专家磁盘流式加载
把 MoE 的专家权重放在磁盘，按路由结果流式调入，使 744B 规模模型可在约 25GB RAM 的机器上运行。README 示例显示 int4 精度下约 32 秒完成加载、常驻内存 9.9GB。
不静默改精度
默认策略明确声明：快速内存不足时只会降低速度，不会静默改变模型精度或路由语义。这是它与部分“自动降级”方案的关键区别。
纯 C 零依赖
整个引擎用纯 C 实现、无外部依赖，便于编译移植和代码审计，适合嵌入受限环境。
可视化监控面板
内置 ./coli web 网页面板，可看实时 token 速率、每轮耗时拆解、显存／内存／磁盘分层占用条；Brain 页把 19,456 个专家渲染成“皮层”视图（颜色表示存储层级、亮度表示路由热度），Atlas 页展示专家的主题亲和度。
和同类工具怎么选
| 需求 | 优先考虑 | 判断标准 |
|---|---|---|
| 消费级机器跑超大 MoE | Colibrì | 专家磁盘流式是其核心设计，内存门槛压到 ~25GB |
| 开箱即用、图形界面装完就聊 | Ollama / LM Studio 等 | Colibrì 偏工程与研究向，需自行编译配置 |
| 要求精度与路由语义不被改动 | Colibrì | 默认策略明确不静默降精度 |
| 追求最高吞吐、有多卡预算 | vLLM / SGLang 等 | 磁盘流式换来的是低内存门槛，不是高吞吐 |
国内平替：本地推理引擎生态里，llama.cpp 系方案同样支持消费级硬件与量化部署，可作为对照选择。
限制与避坑
- 速度受存储 I/O 影响明显：README 中 4 tok/s、TTFT 1.6s 的数据是专家全驻留在 6× RTX 5090 的条件下取得，纯磁盘流式场景速度会低得多，别按最优数据预期。
- 仅有 GitHub 仓库、无官网与商业支持，属个人开源项目，生产环境使用需自行评估维护风险。
- 需要自行编译与配置，对不熟悉 C 工具链的用户门槛较高。
- 大模型权重本身仍需数百 GB 磁盘空间，“25GB 内存”指的是运行内存而非存储占用，别搞混。
常见问题
Colibrì 免费吗？
是开源项目，代码在 GitHub 公开获取，本身不收费；但运行所需的模型权重与硬件成本需自备。
25GB 内存真的能跑 744B 模型吗？
可以运行，原理是把专家权重留在磁盘按需流式调入，代价是速度受磁盘 I/O 限制。README 中的高速数据是在多卡全驻留条件下测得，不代表纯 CPU＋磁盘场景。
国内能访问吗？
项目托管在 GitHub，国内可访问，拉取代码时可能需要加速手段。
NavXD 使用建议
Colibrì 的价值在于把「跑超大 MoE」的硬件门槛从多卡服务器压到一台大内存 PC，适合研究、验证和离线部署场景。如果你要的是稳定生产推理服务或开箱即用体验，它还不是合适选择；但如果你想在自己机器上真正跑一次 744B 模型、并且在意精度不被静默改动，它值得一试。
// 02 核心 功能
- 核心定位纯 C 零依赖的 MoE 推理引擎，专家磁盘流式加载，约 25GB 内存跑 GLM-5.2 744B（GitHub 开源）。
- 分类索引当前归档在 AI 编程，方便和同频工具横向比较。
- 能力标签关联标签包括 开源、MoE、编程、本地部署。
- 使用入口已记录可访问入口，可通过本页主按钮跳转。
// 03 使用 场景
- 快速判断是否适合当前任务结合 AI 编程 定位和 开源、MoE、编程 标签，先判断它是否匹配你的工作流。
- 横向比较同类工具从相同分类和标签继续探索替代工具，减少只看单个产品带来的选择偏差。
- 沉淀工具选型资料把官网入口、平台、版本和 NavXD 标签合并成一页，适合做选型记录或团队分享。
