算法论文7
deepseek V4算法工程技术大揭秘
Agent的潜意识
AI 摘要
樱园的玻尔兹曼机:当前大模型训练不充分,deepseek V4从算法、工程、后训练多方面优化,如采用混合注意力机制、细粒度专家并行、新训练范式等,提升模型性能。
阅读原文 · Agent的潜意识
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开,指出当前大模型训练不充分,介绍了算法层面如混合注意力机制、模型结构优化、优化器等,工程层面如细粒度专家并行、算子内核开发等,以及后训练的范式转变和领域专家网络蒸馏等内容。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
小米烧347万训出开源第一大模型
本文作者实测小米花费347万美元训练的开源大模型MiMo-V2.6,从多类真实场景测试模型能力,分析性能成本与实际体验,给出客观真实的测评结果。
花叔
算法论文9
万卡RL训练:如何选最优Batch Size
本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。
机器之心
产品应用8
云知声发布U2-Flash 争夺大模型主力位
本文报道云知声发布U2-Flash大模型,基于原有U2基座,通过创新后训练方案提升Coding、Agent等复杂任务能力,多项评测比肩头部模型,目标成为企业真实生产任务的主力大模型。
甲子光年
新闻资讯8
国产十万卡集群 摩尔线程提前交卷
本文拆解十万卡GPU集群的核心痛点,指出其难点并非硬件堆叠,而是系统调度、稳定性等工程能力,介绍摩尔线程全栈布局及与京东云合作打造国产十万卡集群的行业信号。
芯师爷