「预训练范式」共找到 2901 篇相关文章
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
上交大智能计算研究院论文：不只算对答案，大模型如何真正学会运筹建模丨ICLR 2026
上海交大智能计算研究院提出 StepORLM，通过生成式过程监督提升运筹建模可靠性。研究反思传统训练范式局限，在多数据集测试中，小参数的 StepORLM 表现超大型模型，还分析现有方法缺陷并提出解决框架，有重要方法论和应用意义。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
因果发现大模型迎来「理论破局」： DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
清华姚班团队，开源具身智能视觉语言动作（VLA）模型工具箱，打造行业通用技术底座
清华姚班团队所在的原力灵机公司，开源了基于PyTorch的视觉语言动作（VLA）模型工具箱Dexbotic。它能打造通用底座，解决行业研发困境，其预训练模型表现出色，还与Hugging Face合作推出评测平台。
阿里开源DeepResearch模型，超强“AI研究员”，开启自主智能体新纪元
阿里巴巴通义实验室开源Tongyi DeepResearch模型，是全球首个性能能与OpenAI DeepResearch较量且全开源的Web Agent。它采用先进架构，有两套推理范式，训练方法论有创新，实测表现佳，应用场景广，用Apache - 2.0许可证。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
阿里安全AGI一次发布3款LLM，8B多维度领先GPT-5.4
近期，阿里安全AGI实验室发布3款Yuvion LLM，在AI安全与内容安全领域多维度领先。它以‘对抗即智能’为原则，构建五类数据体系，采用三阶段训练范式，通过YLRE四级评测体系验证能力。