搜索：大规模专家并行

「大规模专家并行」共找到 904 篇相关文章

DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了

DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。

2025年，国内神秘A - M - team在Hugging Face开源32B推理模型AM - Thinking - v1。它在多推理评测中击败DeepSeek - R1，与超大规模模型成绩相当。团队靠后训练方案挖掘32B模型潜力，探索小体量实现大能力路径。

2026年5月极客时间企业版联合《培训》杂志举办DTDS大会，四位产业一线实践者拆解企业AI转型难题。协鑫科技张诗笳给出AI人才培养体系；赵钰莹发布8大岗位AI技能图谱；广新集团李志刚分享创新加速三步法；黄林给出未来趋势判断与诊断模型。

本文将线性POD与非线性Autoencoder通过可学习参数融合，提出可学习加权混合自编码器架构。在多数据集验证中，该方法克服了POD和纯AE的局限，在复杂PDE系统预测中表现出色，或可降低大规模计算成本。

本文整理自阿里专家向邦宇的分享。探讨构建 Vibe Coding 工具，介绍其分类、在阿里现状。指出用户使用中面临代码质量等问题，产品自身有设计、安全挑战。还分享 Agent 建设经验，强调适配国产模型及模板化的作用。

随着AIGC转向产业落地，监管对生成内容管控成必然趋势。全国首个AI生成内容合规团体标准《人工智能生成内容合规管理指南》应运而生，它规范合规要求，还通过四大路径解决企业合规痛点，现公开征集起草单位与专家。

在 2025 年 QCon 全球软件开发大会（北京站）上，阿里云算法专家张颖莹分享《AI 驱动的智能异常处置：从异常发现到根因定位》。她介绍阿里云计算平台运维挑战，给出算法选型与设计思路，还提及后续平台建设规划。

马斯克发布Grok 4.1，同时霸榜大模型竞技场第一和第二。它在思考与非思考模式表现出色，还在新专家榜和职业榜霸榜。此外，它在情商测试表现佳，还加强快速回复、改善幻觉问题，已向所有用户开放。

自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。

文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。