「并行 - 蒸馏 - 精炼」共找到 363 篇相关文章
又一推理新范式：将LLM自身视作「改进操作符」，突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
传统高保真CFD模拟计算资源消耗大，现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架，实验表明其在流场重构精度上较传统U - Net提升约10%，预测速度提升2 - 3个数量级。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
2026开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026年刚开场，Self - Distillation成大模型领域高频词汇。传统强教师依赖范式难适配大模型持续进化，MIT等顶尖机构发布三项成果，用不同方法实现自蒸馏，推动模型持续学习。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。
黄仁勋人生首条推文力挺开源，“Kimi恐慌”成为风暴眼
当地时间7月24日，英伟达创始人黄仁勋发首条推特分享联名信力挺开放权重AI。此事与新开源模型Kimi K3引发的‘Kimi恐慌’相关，‘开源vs闭源’路线之争因此推向高潮。同时，围绕模型蒸馏是否侵权争议不断。
Claude Code 团队的 10 个内部技巧，但你不一定都要学
Claude Code团队分享10条内部技巧，像并行运行、Plan Mode等。介绍各技巧做法、价值及注意点，如并行运行虽提升效率但非适合所有人，投资CLAUDE.md性价比高，且强调找到适合自己的使用方式。
博士宿舍激情脑暴，革新了Scaling Law？Qwen和浙大联手推出新定律，直接干掉95.5%推理内存！
近日，阿里与浙大合作提出并行计算缩放定律 ParScale，可在不增参数下提升大模型能力，推理效率更高。它通过引入并行流实现，在数学、编程等任务表现佳，适合边缘设备，代码已开源。