「训练可用度」共找到 5812 篇相关文章
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
一键式训练端到端Agent，Qwen3+MCP工具集高效集成！
RLFactory是开源的端到端RL后训练框架，将环境与RL后训练解耦，有极致易用、高效训练等特点。它让用户专注奖励逻辑和工具配置，还能提升训练效率，用Qwen3和MCP工具可快速训练DeepSearch模型。
微软 SkillOpt：不动模型权重，只训练那份「技能说明书」
微软研究院 Yifan Yang 等人推出 SkillOpt，思路反直觉，不动模型权重，把「技能文档」当可训练参数。它在 52 个组合中表现最优，技能可迁移，代码已开源，还支持多操作。
重磅开源！首个全异步强化学习训练系统来了，SOTA推理大模型RL训练提速2.77倍
清华大学和蚂蚁技术研究院联合团队开源全异步强化学习训练系统 AReaL-boba²，坚持“全面开源、极速训练、深度可定制”理念，实现异步 RL 训练，训练速度最高提升 2.77 倍，支持多轮智能体强化学习训练。
后训练中的RL已死？MIT新算法挑战传统后训练思维，谢赛宁转发
MIT研究人员提出RandOpt新算法，挑战传统后训练思维。该算法通过随机扰动和集成突破限制，在多任务中表现出色，揭示了预训练模型权重空间的“神经丛林”现象，引发AI社区关注。
字节跳动&清华大学开源多模态时序大模型ChatTS，可实现时序数据对话与推理
字节跳动与清华合作开源多模态时序大模型ChatTS，可实现时序数据对话与推理。它用合成数据训练，解决了数据稀缺等问题，在评估中表现远超基线模型，未来可拓展至更高阶任务。
总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。
4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦
香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。
听说，大家都在梭后训练？最佳指南来了
大模型时代，Scaling Law 边际效益递减，业界转向后训练。《Post-training 101》博客可助初学者入门，涵盖从预训练到指令微调、SFT 原理、多种强化学习技术及模型评测方法等内容。