「训练推理效率」共找到 4428 篇相关文章
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活
在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。
从后训练回到预训练，LLM+RL 的潜力兑现有有机会走更远吗？
RL与LLM结合是重要技术方向，应用从后训练延伸至预训练。虽看似为LLM+RL带来希望，但RL本身有局限。微软等提出的RPT有潜力，不过训练语料等未广泛验证，且需大量计算资源。
40倍推理加速！复旦&微软：用「非线性流」拟合复杂轨迹，2步生成媲美原画
ArcFlow是复旦与微软提出的图像生成加速方案，引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质，实现约40倍推理加速和4倍训练收敛加速，微调极少参数，在多模型验证效果出色。
直播预约 | 推理模型的“过思考”现象与高效推理，2.5h的深度分享
本期GenTalk学术分享邀请刘梓辰、齐朋辉等4位博士生，在2025年6月6日15:00 - 17:30带来“推理模型的‘过思考’现象与高效推理”报告，由夏鹤明主持，NICE学术等支持。将分析‘过思考’因素，总结高效推理思路。
RL训练一层就够了！单层RL超越全参数训练，跨任务跨模型跨算法全部验证
明尼苏达大学、北大和亚马逊团队研究发现，RL收益集中在中间层，训练单层可超全参数训练。他们提出层贡献度指标，经多模型、算法、任务实验验证，还给出三种训练优化策略。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
马斯克发布 Grok 4 模型：推理能力较前代提升 10 倍，各学科测试接近满分
xAI 发布 Grok 4 及 Grok 4 Heavy 模型，推理能力较前代提升 10 倍，多测试接近满分。马斯克称其为世界最好 AI。它在多方面表现出色，如长任务能力强、推理效率佳等，但代码能力欠佳，且付费昂贵。后续还将推多款模型。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
刚刚，DeepSeek最新发文！V3/R1训练细节全公开，信息量巨大
网信办新规生效，DeepSeek回应，标注AI生成内容，公开V3/R1训练细节。介绍训练分预训练和优化训练，深挖数据使用，还谈及推理、开源情况，也提到对抗AI幻觉与滥用风险的措施。