「预训练框架」共找到 3466 篇相关文章
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。
上海AI Lab提出CANON：让RLVR自主识别优质推理模式
上海AI Lab与上海交大团队提出创新框架CANON，解决将人类先验知识融入RLVR训练的难题。它通过条件分组与对比机制，自适应放大有益指标变化趋势，在数学和逻辑推理任务上成果卓越，还能提升推理效率。
斯坦福7B智能体全面超越GPT-4o，推理流登顶HF
传统智能体系统难兼顾稳定性和学习能力，斯坦福等团队提出AgentFlow框架，通过模块化和实时强化学习优化策略，使7B参数模型在多任务上超越GPT - 4o等大模型，为AI发展提供新思路。
大模型如何泛化出多智能体推理能力？清华提出策略游戏自博弈方案MARSHAL
近日，清华大学等机构研究团队提出 MARSHAL 框架，利用强化学习让大模型在策略游戏自博弈。实验表明，多轮、多智能体训练提升了模型博弈决策水平，将推理能力泛化到通用多智能体系统，在一般推理任务表现显著提升。
让大模型学会“像人一样”查证真伪
伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1，为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据，让模型学会像人一样查证，在多数据集上表现出色。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。
手机跑推理模型：Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型，仅需900MB内存就能在手机运行。它专为简洁推理训练，性能提升明显，多数性能基准超Qwen3 - 1.7B，在多平台表现佳，还支持主流推理框架。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。