【AI 天才研究院】DeepSeek：开源大模型的崛起与未来展望
本文阐述了DeepSeek的相关情况及其相关背景与技术基础。涉及其引起关注的原因以及技术核心要素等关键内容要点如下：
模型效果与成本优势：开源模型SOTA中略胜GPT4o，在仅使用2048张H800硬件资源（约两个月时间）完成670亿参数模型训练任务的同时实现成本控制在557万美元以内（仅为GPT4o六分之一、Lama3十分之一），预训练时长更是国外同等水平的一半。
该体系在算法层面基于MoE+MLA架构设计，在FP8精度下训练了超过80%的参数量，并采用多token预测机制；从基础设施层面引入双向管道调度方案；数据层面则运用高质量数据集（含20-30%合成数据），通过知识蒸馏显著提升了模型性能。
团队规模约100人均为模型开发人员且无商业化部门存在；在人才选拔上偏好培养年轻博士生，并以其竞赛成绩作为主要筛选标准；薪酬水平与大型企业持平以上；组织架构扁平化管理注重将个人绩效与创新成果直接挂钩。
在创新激励机制上强调目标设定的清晰明确性，并通过倒逼机制推动技术创新；创始人不仅重视并鼓励创新行为的发生，还愿意承担相应的研发风险；团队内部信息高度透明化运作，在促进高效协作的同时也营造了良好的工作氛围。
当前业务表现方面：B端调用量保持稳定在每日80-9百亿tokens范围内运行，在推理阶段处于收支平衡状态；未来规划包括逐步扩展V系列至更大规模并加入多模态能力，在R系列研发中探索新型思维结构可能性以及海外研究院的设立初步规划。
目录
DeepSeek：开源大模型的崛起与未来展望
摘要
1. 引言
2. DeepSeek 概况与发展历程
2.1 模型演进历程
2.2 技术文献与行业报道
3. 模型效果与成本优势分析
3.1 性能对比
3.2 成本优势
4. 技术创新探讨
4.1 算法创新：MoE 与 MLA 架构
4.1.1 MoE（混合专家）架构
4.1.2 MLA（多头潜在注意力）机制
4.2 FP8 混合精度训练与 MTP 多令牌预测
4.2.1 FP8 混合精度训练
4.2.2 MTP（多令牌预测）训练目标
4.3 Infra 层面优化：双向管道调度
4.4 数据层面的创新：高质量数据与蒸馏
5. 团队与组织架构
5.1 团队构成
5.2 激励机制与薪酬体系
5.3 组织结构与文化
6. 成功因素探析
6.1 目标的纯粹与明确
6.2 创始人风险承担与创新鼓励
6.3 团队信息透明与协作氛围
6.4 聚焦底层技术与无商业化焦虑
7. 现状与未来规划
7.1 当前应用现状
7.2 未来 V 系列发展规划
7.3 R 系列与新思维结构探索
7.4 海外布局与 2B 业务拓展
8. 结论
参考文献
下面概述了一篇大约一万字的论文围绕DeepSeek的相关内容涵盖的内容包括模型效果与成本优势技术创新团队与组织架构成功因素以及现状与未来规划等多个领域
DeepSeek：开源大模型的崛起与未来展望
摘要
近年来，在多个领域取得重大进展的大规模预训练语言模型正在逐渐缩小开源模型与闭源模型之间的差距。
DeepSeek-V3: 于2024年底发布, 包含大约6710亿个参数, 成本约为558万美元, 利用包含1480万亿标记的数据集进行训练, 花费约55天时间完成训练任务。通过基准测试, DeepSeek-V3的表现优于Llama 3.1和Qwen 2.5等模型, 同时与GPT-4o和Claude 3.5 Sonnet等先进模型相当。其架构采用专家混合与多头潜在注意力Transformer结构, 包含一个共享专家单元以及256个路由专家节点, 每个标记激活涉及约370亿个可训练参数。
DeepSeek 被视为国产大模型领域的领军者，在其最新发布的产品线中推出了重量级产品 DeepSeek-V3 系列。该系列基于采用多头潜在注意力（MLA）和 FP8 混合精度训练等创新技术的基础上构建而成的 MoE（混合专家）架构，在性能上显著超过了 GPT-4o 的水平的同时也实现了较之前大幅下降的训练成本。据官方数据显示，在两个月的时间内仅使用约 2048 张 H800 GPU 卡就完成了约 6711 亿参数规模下预训练工作的任务目标，并将总预算控制在了约557万美元左右水平区间内
本研究型模型DeepSeek-R1已于2025年1月正式发布。该模型主要聚焦于逻辑推理能力、数学推理能力以及实时问题解决能力。其通过强化学习机制完成训练任务，并未经过监督微调过程即可应用。采用组相对策略优化方案（GRPO）以提升其推理效能，在涵盖数学运算与编程任务等多个领域时，其表现已达到与OpenAI官方模型o1相当水平。
其AI模型以其高效性和低成本著称。例如, DeepSeek-V3 模型采用了约2,000块NVIDIA H800芯片,经过55天的时间进行训练,总费用约为5,580万美元——这一成本远低于行业同类产品的水平。这种高效的性能促使领先科技公司在人工智能基础设施方面重新审视了巨额投资的价值。
1. 引言
伴随着人工智能技术的持续发展，在线大规模预训练语言模型研究正以前所未有的速度取得进展。自Llama、GPT-4等闭源或半闭源模型取得显著成效以来，开源领域逐渐成为行业关注的核心焦点。作为中国领先的开源大模型项目提供商，深度求索项目不仅实现了参数规模与计算效率方面的显著突破，并且凭借其低训练成本与卓越性能赢得了广泛关注。从最初推出的基础版本系列到融合混合专家架构与多层感知机技术的V2系列再到目前展现出强大实力的V3版本，在技术研发与工程实践方面均展现了中国式大模型的技术优势与综合能力
本文致力于深入探讨 DeepSeek 的核心技术、组织架构以及成功要素，并结合最新行业动态和技术研究文献，在当前人工智能生态系统中突出该模型的重要影响和发展趋势。
2. DeepSeek 概况与发展历程
2.1 模型演进历程
DeepSeek 系列模型的发展经历了从最初的密集型 Transformer 架构向与 Llama 相似的体系转型，并最终实现了融合多头潜在注意力机制与多 token 预测训练目标的跨越式发展。
- DeepSeek系列模型：最初版本主要基于标准Transformer架构设计，在经过大规模预训练后实现了与国际顶尖模型相当的性能水平。
- DeepSeek-V2系列：该版本采用MoE架构和MLA技术对传统注意力机制进行了优化处理，在降低计算成本的同时显著提升了模型上下文处理能力（将窗口范围扩展至128K）[citation needed]。
- DeepSeek-V3作为最新发布版本，在V2的基础上进一步优化与提升。该模型采用了创新的小专家设计（共256个），每个token仅占用37B激活参数量的同时总参数规模达到671B级别。此外还集成了一套先进的FP8混合精度训练方案以及去辅助损失负载均衡策略，并以MTP为训练目标实现了高效的训练效率与卓越的性能表现。
2.2 技术文献与行业报道
基于 Hugging Face 提供的模型参数与技术报告, DeepSeek-V3 已经完成了148万亿个token级别的预训练任务.该模型通过监督式微调（SFT）与强化学习（RL）技术的结合,显著提升了其推理效率与准确性.经过一系列基准测试,该系统在数学运算与代码生成等多个领域均展现了卓越的能力,其性能已接近当前主流开源大语言模型如GPT-4o与Claude-3.5 Sonnet等顶尖产品.此外,包括新浪财经、搜狐以及博客在内的多家权威媒体对此进行了深入报道,并对其高效性和低成本优势进行了详细分析
3. 模型效果与成本优势分析
3.1 性能对比
DeepSeek-V3 通过一系列创新技术的应用，在多个评测基准上表现出显著的成绩。具体表现为：
- 在多个领域如数学推理、代码生成以及自然语言理解等方面表现卓越的DeepSeek-V3，在性能上已达到甚至略微超越GPT-4o水平，并与Claude 3.5 Sonnet等顶尖模型展开比拼，在综合能力方面占据绝对领先地位。
- 相较于同类开源模型而言，在激活参数利用率和处理长段落信息的能力（最高可支持长达128千字符的信息处理）方面表现出明显优势。经过一系列基准测试评估，在AGIEval、CMath及MMLU等多个关键指标上均展现出了显著的技术优势。
3.2 成本优势
段落保持不变
- 硬件投入方面：DeepSeek-V3 仅使用了约2,048张H800 GPU，在两个月的时间内就完成了全部预训练工作。相较于GPT-4o所使用的庞大GPU集群而言，这一方案显著降低了硬件投入成本。
- 经济成本方面：据公开报道显示，“其预训练总成本约为557万美元”，这一数值较GPT-4o的总预算低66%，较Llama3低90%；同时相比国外同类模型而言，在相同时间内完成了一轮完整的训练任务。
- 计算效率方面：该模型通过FP8混合精度训练策略并结合高效的分布式调度机制，在每万亿token的GPU小时消耗上仅为180K（即1.8万），展现出极高的计算效率与性价比。
这种高性能与低成本相结合的方式，在DeepSeek-V3模型中得以完美体现并获得广泛认可。该模型因其卓越性能与理想成本比，在开源领域占据重要地位的同时也展现出独特的价值优势
4. 技术创新探讨
DeepSeek-V3 在实现显著成就方面得益于其在技术创新方面的显著进展。接下来将从算法、硬件和数据等不同领域展开详细讨论。
4.1 算法创新：MoE 与 MLA 架构
4.1.1 MoE（混合专家）架构
- 核心思想：MoE架构通过将模型划分为多个独立的专家模块，在处理每个token的过程中仅激活少部分专家模块以完成运算任务，在此过程中显著减少了计算负担与内存占用压力。DeepSeek-V3创新性地采用细粒度设计，在保证准确性的同时实现了对运算资源的有效分配与优化，在参数规模上相较于传统密集架构达到了更高的资源利用率。
- 负载均衡策略：针对MoE架构可能存在的专家负载不平衡现象,V3团队创新性地提出了一种无需额外损失的负载均衡机制,成功平衡了各 expert的工作负荷分配问题,这一机制的成功实施显著提升了整体系统效能。
4.1.2 MLA（多头潜在注意力）机制
- 技术原理 ：MLA 技术通过在传统多头注意力机制中引入秩减维与潜在向量学习方法，在降低键值缓存维度的同时进行投影变换操作，在提升模型性能的同时实现了对计算资源的有效优化。
- 优势 ：该机制不仅显著提升了模型在长序列信息捕捉方面的性能，在实际应用中显著提升了推理效率和预测精度。
4.2 FP8 混合精度训练与 MTP 多令牌预测
4.2.1 FP8 混合精度训练
- 技术实现 ：在训练过程中，DeepSeek-V3 通过 FP8 精度进行大部分前向计算，并采用细粒度的 per-tile 和 per-group 量化策略以有效降低数值误差。这种方法不仅保证了模型训练的稳定性，并且显著降低了显存占用和通信带宽的压力。
- 实际效果 ：这种训练方法使得模型能够在更低的成本下实现更大规模的参数训练，并被视为当前大规模模型训练领域的重要突破。
4.2.2 MTP（多令牌预测）训练目标
- 原理与优势：传统模型通常仅进行单一token预测，在MTP技术下同一位置能够同时预测多个token，从而提升了数据利用率的同时，在推理阶段通过投机采样加速解码过程以显著提高生成效率和连贯性。
- 应用效果：经过MTP优化的DeepSeek-V3在数学运算与代码处理等方面均展现了显著的提升能力，并在多项基准测试中取得了卓越的表现。
4.3 Infra 层面优化：双向管道调度
旨在提升GPU利用率的DeepSeek-V3，在基础设施层面经过多方面的优化工作。
- 双层管道调度机制：该系统通过充分挖掘设备闲置时间资源，并实现计算与通信任务的有效并行执行模式，在推理过程中的延迟问题上取得了显著改善效果。实际应用表明，在实际部署环境中将模型输出效率提升了三倍多（从 20TPS 升至 60TPS），带来了至少两倍以上的性能提升。
citeturn0search7 - 通信优化方案：本研究采用NVLink、InfiniBand等高速通信接口，并搭配先进的调度算法方案，在最大限度地降低了跨节点通信中的瓶颈问题的基础上实现了对大规模分布式训练过程的有效支持。
4.4 数据层面的创新：高质量数据与蒸馏
- 数据集构建：DeepSeek-V3的预训练数据集包含148万亿个高质量token，在20%至30%之间采用了合成数据比例，并通过严格筛选和去重处理确保了多语言和跨领域的广泛覆盖性的同时显著提升了数学与编程样本的比例以增强模型在这些领域的强大能力。
- 知识蒸馏：团队在后训练阶段通过将长链推理模型（DeepSeek-R1系列）的知识融入到V3中实现了对V1验证与反思模式的整合显著提升了模型在推理任务中的性能同时对输出风格和长度进行了规范性控制。
5. 团队与组织架构
5.1 团队构成
该研究团队共有约100名成员。这些核心成员均是高水平的模型开发人员。他们主要来自国内外顶尖科研机构的人才 pool, 其中许多人是年轻博士或博士后研究人员, 在各类算法竞赛中屡屡获奖, 而这也成为了我们选拔人才的重要标准之一。这些优秀人才在技术领域造诣极高, 同时对前沿科技的发展充满热情, 这也为我们的持续创新注入了源源不断的动力
5.2 激励机制与薪酬体系
- 薪酬水平：团队薪酬水平对标行业领先企业水平，在人才招聘方面展现出显著的竞争优势。高薪激励政策不仅能够稳定队伍人员配置质量，还能够激发团队成员在科研创新和工程实践中的主动探索精神。
- 激励机制：组织采用扁平化管理模式结构，在信息传递效率和服务层面实现优化提升。绩效考核体系将个人绩效与创新产品研发目标紧密挂钩，并通过持续改进产品性能来增强团队整体效能。
5.3 组织结构与文化
- 组织扁平化：DeepSeek 的组织架构展现出显著的扁平化特点，在决策层与执行层之间实现了高效的协同沟通。其内部不设传统的商业化部门，在技术研发与突破方面始终保持专注，在避免商业压力干扰的同时推动了科研工作的创新发展。
- 团队文化：公司的创始人秉持着"追求卓越、勇于尝试"的企业精神，在日常工作中倡导员工之间紧密合作且开放的态度，并积极分享最新的研究成果及实验数据等关键成果。这种以开放透明为主导的文化氛围使公司在遇到复杂的技术难题时能够快速进行方案设计并及时进行策略调整,从而有效推动项目整体进展。
6. 成功因素探析
DeepSeek仅用几个月时间推出了高性能及高性价比的大模型，并未列举成功因素的具体原因。
6.1 目标的纯粹与明确
- 技术研发：DeepSeek 项目始终致力于"基础技术"的关键突破与持续优化，并刻意避免短期内向市场转化。团队坚持技术至上主义，在高效算法设计与创新工程实现方面持续发力以提升模型性能；这种纯粹的技术导向使技术创新得以持续驱动并在关键指标上实现不断超越。
6.2 创始人风险承担与创新鼓励
- DeepSeek 的创始人自项目初期便展现出对前沿技术的极度热情与坚定追求，在探索新型训练模式与架构设计方面始终保持开拓进取的态度。无论是 FP8 混合精度还是 MTP 多令牌预测等创新方案, 即使面临较高的风险也不可阻挡, 他们始终坚信唯有持续的创新才能推动项目的成功突破。正是这种勇于探索的精神, 不仅为团队注入了强大的信心与动力, 更成为激励我们不断前行的重要精神支柱。
6.3 团队信息透明与协作氛围
- 内部协作：团队内部重视信息共享与横向协作关系的建立，并定期组织技术交流会以促进各子模块之间的互动。信息流通透明且讨论环境开放性高，在遇到技术难题时团队成员能够集思广益地寻找解决方案。
- 扁平化管理：扁平化的管理模式打破了传统的层级架构限制，在这种模式下每位成员都获得了参与项目决策的权利，并充分调动了每位成员的专业技能与创新思维。这种模式不仅增强了团队执行力还培养了创新能力。
6.4 聚焦底层技术与无商业化焦虑
- 科研环境 ：由于团队内部缺乏商业化的部门安排, 成员无需因市场竞争或商业利益而分散注意力, 因此能够更加专注地进行技术优化与创新. 这样的科研环境使团队在面对技术难题时始终保持坚韧不拔的精神, 从而促使产品持续创新与进步. citeturn0search3
7. 现状与未来规划
7.1 当前应用现状
截至 2024 年 11 月，《DeepSeek》在 B 端市场的日均调用量已达 800 至 900 亿 tokens，在推算与支出方面已达到均衡状态。这些数据不仅验证了该模型在实际应用场景中的稳定性能，并且凸显出其技术 already reached a stage where it can be widely deployed. 此外，在多个云平台中已成功整合《DeepSeek-V3》，进一步强化了行业内的技术基准水平。
7.2 未来 V 系列发展规划
- 参数规模扩大与多领域能力 ：未来的V系列模型将致力于扩大其参数规模，并进一步增强其在自然语言理解、代码生成以及图像文本多模态处理等方面的能力。通过整合更多领域数据以及采用更为高效的算法架构策略，在多个应用场景中实现更为精准和高效的性能表现。
- 性能与效率的双倍提升 ：新一代V系列版本将继续保留FP8混合精度和MTP多令牌预测的优势，并进一步探索更为优化的并行计算策略和技术路径，在训练及推理成本方面实现显著缩减。这一改进举措旨在全面支持更为广泛的应用领域需求。
7.3 R 系列与新思维结构探索
- 深入探索新型架构设计思路 ：R 系列拟着重构建基于强化学习的知识蒸馏体系，在保持高效推理能力的同时实现对复杂逻辑推理能力和长链推理任务的全面提升。通过融合强化学习与知识蒸馏技术的创新应用方案，在提升模型性能方面展现出显著优势。
- 系统性构建强化学习框架 ：基于 DeepSeek-R1 的成功应用经验，R 系列将致力于系统性构建多阶段强化学习的知识蒸馏框架，在标准大语言模型基础上实现专家级推理能力的有效延伸。通过创新性的技术方案设计与实践验证，在关键指标上达成与部分主流开源模型相媲美的性能水平。
7.4 海外布局与 2B 业务拓展
- 海外研究院设立：未来, DeepSeek 将布局海外, 引进全球优秀人才, 共同开发适用于不同国家的大模型.此举不仅有助于提升技术国际化水平,还能显著提升大模型在全球范围内的落地效果.
- 2B 业务拓展：伴随着AI技术的持续发展, DeepSeek 将致力于企业级服务市场的战略布局, 为金融、医疗等行业的用户提供定制化解决方案.通过打造多样化的企业级服务方案, 我们将促进AI技术在全球范围内的广泛应用.
8. 结论
DeepSeek 项目凭借技术创新与低成本高效率的优势迅速在开源大模型领域实现了跨越式发展。通过融合 MoE+MLA 架构、创新性的 FP8 异构精度训练方案以及多步并行预测机制等前沿技术组合, DeepSeek-V3 在性能表现上与国际顶尖水平接轨, 同时实现了训练与推理成本的全方位优化, 达到了显著的成本效益提升效果。与此同时, 公司推行高效的组织结构与以科学为导向的文化氛围, 有效推动了技术创新工作的开展, 并为其长远发展提供了强劲动力支持。当前, 该技术已在 B 端市场实现了一系列精准识别、高效处理与深度学习能力的应用成果, 并将随着 V 系列产品的持续迭代优化与 R 系列产品的全面铺开, 结合国际化战略规划的推进, 助力 AI 行业迎来更加广阔的机遇与发展空间
综上所述，在过去的努力中
参考文献
- DeepSeek-V3卡片及技术报告发布于开源平台Hugging Face平台, 发布时间为上个月。
- 《中国MoE一夜走红 大模型新领军者横扫GPT-4o》发表于搜狐科技, 时间是上个月。
- 《国产大模型DeepSeek-V3风靡全球》发表于新浪财经, 时间是上个月。
- 招商证券称DeepSeek助力高性能AI普惠生态建设 已发布于新浪财经, 时间是上周。
- 《深度解析DeepSeek框架: 创新与应用详解》发表于博客, 时间是上个月。
- 《DeepSeek原理图解析指南》发布于手机网易网, 时间是两周前。
- 《DeepSeek V3版本备受关注》发表于博客, 时间是上个月。
- 维基百科新增DeepSeek词条 已发布
本文深入探讨了DeepSeek在技术创新、组织架构构建以及市场应用拓展等方面展开全面阐述。该研究充分展示了国产大模型在全球人工智能领域占据领先地位的能力。与主流封闭源模型相比，DeepSeek-V3展现出卓越的技术性能的同时兼具较低的成本优势这一技术优势不仅支持了AI生态系统的普惠发展其创新性地引领了开源大模型的发展方向并为其在各行业中的广泛应用奠定了坚实基础
（完）