「训练推理效率」共找到 4331 篇相关文章
全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。
Token洪流的转向：当AI Agent成为Token消耗的主宰，什么样的推理服务基础设施才是刚需
Token消耗量转移，AI Agent成Token消耗主宰，大模型推理服务底层逻辑重塑。文章介绍AI Agent时代范式转变、对推理基础设施的需求，还阐述了为其打造的AI Serving Stack架构及优势，它获2025年度相关卓越奖。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
刚刚，Andrej Karpathy放出大招：开源nanochat项目，仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。
OpenAI重大发现：GPT-4b micro改造诺奖研究，山中因子重编程效率提高50倍
OpenAI与Retro Bio合作，用新模型GPT - 4b micro设计出新型山中因子变体，使重编程效率提高50倍。此前山中因子重编程效率极低，限制其应用，此次改进是突破。研究还在多方面验证了变体效果。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。
搜索Agent最新高效推理框架：吞吐量翻3倍、延迟降至1/5，还不牺牲答案质量丨南开& UIUC研究
大语言模型驱动的搜索智能体有能力但效率低。南开和UIUC研究人员剖析效率瓶颈，提出SearchAgent-X框架，实现吞吐量提升、延迟降低，且不牺牲答案质量，还揭示AI智能体平衡和等待问题。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
Agentic RL训练：它不是单一 RL 算 法，而是一整套环境建模、学习信号、异步数据流、策略优化和基础设施的协同系统
文章指出Agentic RL训练不是单一算法，而是协同系统。它与传统RL不同，有四个训练变化。理解它要围绕三个不变量，还从环境建模等八个方面阐述，强调其竞争在于环境、信号、分布与系统的协同闭环。