国产大模型 DeepSeek-V3 开源：6710 亿参数自研 MoE，性能和 GPT-4o 不分伯仲，怎么使用
2025-02-24 18:40 浏览:79
内容概要：本文介绍了大型混合专家（MoE）语言模型DeepSeek-V3的技术报告。DeepSeek-V3拥有总计671亿参数，在每个令牌激活约37亿参数，采用Multi-head Latent Attention (MLA)架构和DeepSeekMoE架构确保高效的推理和成本效益的训练。为优化推理和成本有效训练，DeepSeek-V3还引入了无辅助损失策略用于负载均衡以及多令牌预测训练目标，旨在增强性能。同时文中讨论了预训练、后训练阶段，及其硬件部署策略，并展示了全面评估表明DeepSeek-V3相较于其他开源模型表现更为优秀且与顶级闭源模型媲美。