混元‑A13B

什么是混元‑A13B？

混元‑A13B（Hunyuan‑A13B）是腾讯混元团队发布的开源 MoE（稀疏专家混合）大模型，具有 800 亿总参数、13B激活参数，兼顾推理效率与模型能力。

• 架构类型：Mixture‑of‑Experts，13B激活但达 80B总参数

• 多 Agent 能力：支持调用多工具（地图、天气、编程等）

• 超长上下文处理：原生支持 256 K token，适合长文档理解与分析

• 推理效率：比同级模型推理速度更快，吞吐量约为 2 倍

• 开源可部署：已上线 GitHub 与 Hugging Face，支持 INT4/INT8/FP8 等量化，单卡部署可行

架构与训练原理

MoE 专家机制

混元‑A13B 采用 Mixture‑of‑Experts 架构，共有数十个专家模块，推理时仅激活约 13B 参数，从而在保留能力的前提下大幅降低计算开销。

双模式推理：快思考 v.s 慢思考

1. 快思考：用于日常问答，计算资源低，响应快

2. 慢思考：启用 Chain‑of‑Thought 逻辑推理，用于复杂任务

256K 超长上下文窗口

原生支持 256K tokens，以应对论文、法律条文、商业报告等长文理解任务，显著缓解上下文遗失问题。

混元 Scaling Law 科学设计

团队构建适用于 MoE 架构的 Scaling Law 理论，优化模型层次、专家数量与预训练策略。

阶段式后训练

从基础模型（Pre-train）、指令微调（Instruct）、CoT + 强化学习等多阶段训练，强化推理、Agent调用、文本生成能力 。

性能评测

多项基准测试

• MMLU / BBH / SuperGPQA / MultiPL-E / MBPP 等评测坐稳前列

• 数学、科学题表现优异：如 GPQA、MATH、CMATH 达高分区间

Agent 工具调用

在 BFCL‑v3、τ‑Bench、C3‑Bench 中获得领先，支持规划路线、执行编程、信息检索等。

推理吞吐量与部署效率

配合 TensorRT‑LLM 引擎，推理吞吐可达 2000 tokens/s，支持 TP/EP/FPT‑X 量化策略。

部署与推理优化指南

本地部署要求

• 单卡（中低端 GPU）部署可行

• 支持量化版本：INT8、INT4、FP8（GPTQ）

推荐推理引擎

• TensorRT‑LLM：NVIDIA 官方优化，全栈加速支持

• 摩尔线程支持：国产 GPU 深度适配

高效模式切换

通过 prompt 增加 /think 或 /no_think 控制推理模式，兼顾速度与推理深度

可选量化模式

提供 INT8、INT4、FP8 等多种量化模型选择，适配性能与精度权衡

应用场景示例

1. Agent 任务生态

• 旅游规划：调用地图、天气和酒店 API 提供完整行程安排

• 数据分析：自动生成图表、清洗数据、输出 Excel 报告

2. 长文处理

• 论文摘要、法律条文解析、商业报告提炼，适合大文本需求

3. 教育与科研

数学题、多步逻辑、代码评估基于 ArtifactsBench 提供优质支撑

已在腾讯内部 400+ 业务中应用，日请求量超 1.3 亿次，用于客服准确回答与文案生成

常见问题（FAQ）

Q1: 模型需要 GPU 吗？
A：是的，建议使用至少一张中低端 GPU，可部署的量化模型选项较多。

Q2: 如何控制推理速度？
A：可通过 prompt 中 /think 或 /no_think 控制推理模式；量化、TensorRT 等引擎提升速度。

Q3: 支持长文本吗？
A：可处理 256K token 上下文，适合长文档总结与结构提炼。

Q4: 量化会影响表现吗？
A：INT8/INT4/FP8 均为低损性能格式，适当量化不会显著影响结果；可按需求选择。

Q5: 支持开源部署吗？
A：支持，GitHub 已开源 Pretrain、Instruct 和 各量化版本，API 可接入 腾讯云。

Q6: 是否可商业使用？
A：开源协议允许商业使用，具体请参见 GitHub LICENSE；API 部分可能需契约限制。

Q7: 使用模型需要付费吗？
A：GitHub 上的开源版本免费；通过 API 或部署托管可能涉及费用，详见腾讯云条款。

总结与展望

混元‑A13B 是开源 MoE 模型的新里程碑，兼具高效推理、超长上下文、工具协同、多模态能力。适用于 Agent 工具场景、长文摘要、教育工具、客服智能化等广泛领域。未来腾讯混元将持续拓展 0.5B–32B dense 模型及专家显示激活模型，并开放多模态基础模型（图像、视频、3D）与插件，构建完整 AI 生态。