「新注意力机制」共找到 4298 篇相关文章
GAIR Paper 105｜离线强化学习新突破——ROMI：破解对抗式模型学习「过保守、训不稳」深层困局｜ICLR 2026
本文聚焦基于模型的离线强化学习，指出RAMBO算法存在保守性难控和训练不稳问题。为此提出ROMI方法，引入鲁棒价值感知框架与隐式可微自适应加权机制，在多基准任务上超越基线算法。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
刚刚，Claude两个新模型曝光！
开发者在Anthropic的API中发现Claude的两个新模型代号claude - marshmallow - eap和claude - melon - eap，目前处于内部测试阶段。社区有多种推测，且Anthropic命名风格改变，新模型或下月发布。
新范式来了！新能量模型打破Transformer++扩展上限，训练扩展率快35%
研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。
2025年8月全球新媒体艺术盘点
MANA平台8月全球新媒体艺术盘点，涵盖20件来自多国的作品，有荷兰模拟雷暴的艺术晚宴、中国探讨具身智能的作品等，涉及多领域创新，展现新媒体艺术多元魅力。
小扎新AI，凉得彻底？
9月25日，Meta推出嵌入Meta AI应用的AI视频流Vibes，可浏览、二创和分享AI视频，改写短视频玩法。它降低创作门槛，融入Meta生态，野心勃勃，但也带来版权等争议，还将与硬件结合，AI视频或成新全民入口。
Anthropic将在两周内推出新思考模型！
据The Information报道，Anthropic将在未来几周推出Claude Sonnet和Claude Opus两款新模型，能在「思考」和「工具使用」间切换，还可自动测试纠正代码。虽此前产品有不足，但新模型处理复杂任务更出色。
Show me《指环王》！卡帕西强推大模型评测新基准
大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。