dots.llm1

dots.llm1是由中国社交平台小红书（RedNote）的 Humane Intelligence Lab（hi lab）开源发布的一款大型稀疏专家（MoE）语言模型。它总参数 142B，但每次推理仅激活 14B，有着媲美主流大模型的性能，且训练数据纯净、不依赖合成数据。

2. 怎么使用？

• 从 Hugging Face 下载：包括基础版（base）和指令调优版（inst），均支持 32K 长上下文。

• Docker 部署：提供官方容器镜像，可通过 vLLM、sglang 等框架快速启用具 OpenAI 兼容 API 的推理服务。

• 本地 Python 调用：使用 transformers 加载模型并在 CPU/GPU 上执行文本生成或聊天任务 。

3. 主要功能

• 🔹 高效 MoE 架构：每令牌仅激活 14B 专家参数，推理高效节能。

• 🔹 长上下文支持：最大可处理 32,768 token，适合长文档与上下文应用。

• 🔹 多语言能力：涵盖中英双语，兼容 base 与 inst 指令版，适应对话与生成任务。

• 🔹 中间断点公开：每训练 1T tokens 发布断点，助力研究者深入学习路径。

4. 技术原理

• MoE 架构与稀疏激活：采用 128 个专家中的 top-6 专家动态激活，加上共享专家以优化效率。

• InfLLM v2 稀疏路由机制：实现高效专家选择与大规模参数并行处理。

• 高质量预训练数据：11.2T 真实文本 token，无合成数据，保证语义质量。

• 分布式高效计算：结合 interleaved 1F1B 通信策略与 grouped GEMM 优化，支持多 GPU 加速训练。

5. 应用场景

• 通用问答与对话助手：适合构建本地部署的智能对话系统。

• 长文档生成与总结：凭借 32K 上下文能力，可进行报告撰写、剧情生成等。

• 代码生成与理解：指令版适应代码生成任务，能协助开发与自动化编程。

• 本地部署节省成本：MoE 稀疏激活特性支持在有限资源场景下高效运行。

• 研究与教学资源：中间 checkpoint 可作为研究工具，深入分析学习过程。

6. 项目地址

• GitHub 仓库：rednote-hilab/dots.llm1（MIT 协议），包括源码、Docker 和部分示例。

• Hugging Face 模型库：提供 dots.llm1.base 和 dots.llm1.inst 两个版本，以及可试用 demo。

• ArXiv 技术报告：详细阐述模型架构与训练策略 。

• 媒体报道：SCMP 文章确认其性能与架构创新。

• YouTube 分析视频：多个评测视频展示实际性能表现。