DeepSeek-V3-0324 SITES

模型概述

DeepSeek-V3-0324 是 DeepSeek AI 开发的一个开源大型语言模型，2025 年 3 月 24 日发布。它是 DeepSeek-V3 的更新版本，旨在提升效率和性能，特别在编码和推理任务上表现出色。

架构与训练

该模型采用 MoE 架构，总参数为 6710 亿，激活参数为 370 亿，显著降低了计算需求。它使用 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构，并通过辅助损失免费策略实现负载平衡。训练过程包括在 14.8 万亿高质 tokens 上预训练，使用 FP8 混合精度训练，总成本为 278.8 万 H800 GPU 小时。后期通过从 DeepSeek-R1 知识蒸馏增强推理性能。

功能与性能

DeepSeek-V3-0324 支持功能调用、JSON 输出和 FIM 完成，适合多种应用。在基准测试中，MMLU-Pro 从 75.9 提升至 81.2，GPQA 从 59.1 提升至 68.4，AIME 达到 39.6，显示显著改进。它在 Mac Studio 上运行速度达每秒 20 tokens，效率高。

可用性

该模型在 Hugging Face 上以 MIT 许可开源，支持商业使用和修改，可通过 API、聊天机器人和移动应用访问。

详细报告

DeepSeek-V3-0324 是 DeepSeek AI 开发的一个先进的开源大型语言模型，于 2025 年 3 月 24 日发布，标志着人工智能领域的一个重要进展。该模型是 DeepSeek-V3 的更新版本，旨在提升效率、性能和可访问性，特别在编码和推理任务上表现出色。以下是其详细描述，包括架构、训练过程、功能、性能和可用性。

模型背景与发布

DeepSeek-V3-0324 的发布没有正式公告，但通过 Hugging Face 和其他平台（如 OpenRouter）提供，体现了 DeepSeek AI 推进开源 AI 的承诺。该模型的命名“0324”反映其发布日期，强调其为 2025 年 3 月 24 日的更新。

架构细节

DeepSeek-V3-0324 采用 Mixture-of-Experts (MoE) 架构，总参数为 6710 亿，激活参数为 370 亿。这种设计通过仅激活与任务相关的“专家”参数，显著降低了计算需求。模型还使用 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构，这些在 DeepSeek-V2 中已验证。关键架构特征包括：

• 辅助损失免费策略：用于负载平衡，确保专家使用均匀分布，减少性能退化。
• 多 token 预测 (MTP) 训练目标：提升性能并支持推测解码，加速推理。

这些优化使得模型在保持高性能的同时，显著降低了推理和训练成本。

训练过程

训练过程包括多个阶段，确保模型在广泛任务上的表现：

• 预训练：在 14.8 万亿多样化、高质量 tokens 上进行，覆盖广泛的语言和领域数据。
• 训练效率：使用 FP8 混合精度训练，优化计算资源利用率。
• 分布式训练：克服跨节点 MoE 训练中的通信瓶颈，实现计算与通信的重叠。
• 总训练成本：约 278.8 万 H800 GPU 小时，其中预训练占 266.4 万，后期训练占 10 万。
• 后期训练：通过从 DeepSeek-R1 知识蒸馏增强推理性能，DeepSeek-R1 是一个专注于推理的模型，性能可与 OpenAI-o1 媲美。

训练过程稳定，无不可恢复的损失峰值或回滚，确保模型的高质量输出。

功能与应用

DeepSeek-V3-0324 支持多种高级功能，使其适用于多种应用场景：

• 功能调用：允许模型与外部函数交互，扩展其实用性。
• JSON 输出：生成结构化 JSON 响应，方便数据处理。
• FIM 完成：支持数学表达式和公式的完成，特别适用于科学计算。

这些功能使其在聊天机器人、API 服务和移动应用中表现出色。例如，它可以在 OpenRouter 上通过聊天界面测试。

性能评估

DeepSeek-V3-0324 在多个基准测试中表现出色，特别是在编码和推理任务上，与领先的闭源模型（如 Claude 3.7 Sonnet）竞争。以下是关键基准测试结果：

• MMLU-Pro：Massive Multitask Language Understanding Pro，评估语言理解能力，DeepSeek-V3-0324 的提升显示其在复杂任务上的进步。
• GPQA：Graduate-Level Google-Proof Q&A Benchmark，测试生物、物理和化学领域的推理能力，68.4 的得分表明其在高难度问题上的竞争力。
• AIME：American International Mathematics Examination，作为数学基准，39.6 的得分反映其在数学推理上的表现。

此外，模型在 Mac Studio 上运行速度达每秒 20 tokens，仅消耗 200 瓦功率，效率远超预期，成为开源模型中的佼佼者。

可用性与访问

DeepSeek-V3-0324 以 MIT 许可开源，托管在 Hugging Face，支持商业使用和修改。用户可以通过以下方式访问：

• Hugging Face：下载模型权重，运行本地推理。
• API 和聊天机器人：通过 DeepSeek API Docs 和 OpenRouter 使用。
• 移动应用：iOS 和 Android 上的 DeepSeek 应用，支持实时交互。

这种广泛的可用性使其成为开发者、研究人员和企业的理想选择。

潜在影响与未来展望

DeepSeek-V3-0324 的发布被认为可能为 DeepSeek-R2 的基础，预计 2025 年 4 月或 5 月发布一个更专注于推理的模型。其高效运行和开源性质挑战了闭源模型的商业模式，如 OpenAI，特别是在成本和可访问性方面。

结论

DeepSeek-V3-0324 是大型语言模型领域的重大进展，结合了高性能和开源可访问性。其 MoE 架构、广泛的训练和增强的推理能力使其在编码、数学和语言理解任务上表现出色。作为 2025 年 3 月 26 日的最新信息，DeepSeek-V3-0324 无疑将推动 AI 研究和应用的进一步发展。