搜索：双预训练架构

「双预训练架构」共找到 3616 篇相关文章

大模型训练的不稳定性有望彻底解决，MIT新研究用谱正则化替代层归一化

MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。

德国TNG公司开源DeepSeek R1增强版DeepSeek - TNG - R1T2 - Chimera，基于三大模型混合开发，采用创新AoE架构，推理效率比R1 - 0528快200%，成本大减，在主流测试中性能更好。还介绍了AoE架构构建子模型方法。

大模型后训练越发关键，GRPO 有缺陷。作业帮与香港科技大学（广州）团队在 NeurIPS 2025 提出 GVPO 方法，解决 GRPO 稳定性难题，理论有最优解保证，实验表现超现有方法。

文章从AI系统分类及架构出发，分析不同类型AI系统的威胁特征，并介绍现有的威胁分析框架。目前AI应用架构经历从GenAI到AI Agents，再到Agentic AI的演进，各方向独立发展，且威胁各有特点又有重合。

大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。

随着 AI Agent 应用发展，记忆系统成为构建实用 AI Agent 系统的关键技术。文章介绍了记忆基础概念、Agent 框架集成记忆系统的架构，阐述了短期记忆的上下文工程策略和长期记忆技术架构及集成，还分析了行业趋势与产品对比。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。

CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。

受Kimi K2团队启发，SGLang RL团队落地INT4量化感知训练流程方案，在强化学习多方面取得进展，还在slime框架复现全流程方案，实现媲美BF16精度，提高Rollout效率，为社区提供开源参考。