「训练方法升级」共找到 4013 篇相关文章
刚刚,中国AI闯入全球编程前二!前面只剩Claude
Code Arena最新榜单出炉,Qwen3.7 - Max以1541分冲进全球第四,是前五中唯一非Claude模型。它在多项测试中表现出色,是为长时间自主执行任务设计的Agent基座模型,编程跃升或与环境扩展、长程自主执行训练方法升级有关。
只需一次指令微调,大模型变身全能专家天团,8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本,稀疏混合专家架构虽能提升推理效率,但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE,单阶段微调就能升级大模型,还解决传统方法两大局限,在性能和效率上双突破。
字节最新大模型秘籍:只挑能有推理潜力的数据训练!1.3B模型无需标签自动挑选
字节Seed团队发布AttentionInfluence成果,用1.3B模型给7B模型选数据,无需训练和标签。通过比较基础与弱化模型损失差异评估数据影响,在多基准测试提升模型性能,还能结合分类器全面提升表现。
DeepSeek 新模型 R1-0528 悄悄开源,与o3 相当,实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528,基于DeepSeek-V3-0324模型,架构和训练方法有改进,性能与o3相当,实测表现不错。
The Batch: 882 | Qwen3-Next 提速
阿里巴巴对开源权重模型 Qwen3 全新升级,发布 Qwen3 - Next - 80B - A3B 的 Instruct 和 Thinking 版本权重。其融合新研究成果,推理能耗低、速度快,还优化架构和训练方法提升效率与稳定性。
真正的AI竞争力,藏在大模型“后训练”这一步
当全球聚焦基座模型参数竞赛时,后训练变革正悄然发生。产业共识是,大模型后训练是AI落地产业必经之路。后训练技术从SFT演进至强化学习范式,企业应用也有了从技术到商业价值的完整链路。
清华SageAttention3,FP4量化5倍加速!且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3,实现5倍于FlashAttention的推理加速,首次支持8比特训练。在多种大模型上保持端到端精度,代码将分别于6、7月开源。
字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio署名
现代LLM依赖显式文本生成训练“思考”,未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro,将推理能力构建到预训练阶段,实现参数效率提升,还降低了有害性。
Cursor 1.0 正式上线,写代码、审代码,一站式全能!多项功能体验升级!
Cursor 1.0正式发布,带来多项重磅升级。有自动代码审查与BugBot、后台智能体全面开放、Jupyter Notebook深度集成等功能,还引入记忆系统,升级一键集成与可视化体验。在对手被封杀背景下这次升级意义重大。
科普向:一文解构大模型后训练,GRPO和它的继任者们的前世今生
文章深入解读大模型后训练,先对比 PPO 与 GRPO,指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法,如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性,还提及 GRPO 其他缺陷。