搜索：混合注意力模型

「混合注意力模型」共找到 7807 篇相关文章

何恺明新作：给扩散模型加正则化，无需预训练无需数据增强，超简单实现性能提升

何恺明最新论文研究扩散模型与表征学习的联系，提出Dispersive Loss正则化方法。它无需正样本对，有高通用性、低计算开销等优势，在多模型测试中提升了生成质量，在其他任务也有潜力。

上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench，填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要，当前验证方法有困境，新模型验证精度高且能用于强化学习。

对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。

斯坦福Chelsea Finn课题组与清华陈建宇团队联合提出可控生成世界模型Ctrl - World，可让机器人在“想象空间”预演任务。该模型使用零真机数据，提升下游任务指令跟随成功率。其相关论文已发布于arXiv平台。

Aether AI与加州大学圣地亚哥分校研究发现现有世界模型会无视动作控制信号，根源是隐动作模型受视觉混杂因素污染。团队提出CD - LAM，从上游净化隐动作表征，实验显示其能降动作误差、提画面质量，降低后训练开销。

Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。

近日，清华大学等机构研究团队提出 MARSHAL 框架，利用强化学习让大模型在策略游戏自博弈。实验表明，多轮、多智能体训练提升了模型博弈决策水平，将推理能力泛化到通用多智能体系统，在一般推理任务表现显著提升。

Google AI Studio负责人Logan认为，大模型一年内将吞噬Harness，90%的Agent中间件公司最多存活12个月。创业公司应深耕垂直领域，Google用Anti - Gravity平台串联产品，推动智能体发展，且模型后训练潜力巨大。

苹果论文称推理模型无推理能力，引发争议。Anthropic的Claude Opus以第一作者写论文反击，指出苹果研究有混淆‘推理失败’与‘输出截断’等三大问题，还通过实验证明模型能力，强调需更聪明评估方法。

当前大语言模型在长周期任务中，长时持久记忆管理陷入“精度不够”和“成本太高”的两难困境。中国人民大学团队提出MemSifter框架，将记忆检索工作外包给轻量级代理模型，在8个权威测试中超越现有方案，且已开源。