「注意力残差」共找到 555 篇相关文章
大神周末开源省token野路子，claude fable5账单砍掉6成
外网大神周末开源插件，将模型上下文等渲染成图片，可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地，fable5证明其极限省钱且效果保留。
ICSE 2026杰出论文 | 突破代码模型真实工程落地瓶颈，北大团队提出SEAlign对齐框架：显著提升软件工程智能体决策质量
现有代码模型在经典基准表现好，但在真实软件工程环境表现差。北大金芝、李戈团队提出 SEAlign 框架，通过识别与对齐智能体轨迹关键决策点，提升模型在真实工程任务表现，成果获 ICSE 2026 杰出论文奖。
阿里Qwen3.5小模型发布：0.8B参数就能处理视频，边缘AI时代真的来了
阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
突发！英伟达H200对华解禁，老黄赢麻了
特朗普拍板允许英伟达向中国出售H200，美确保“代差优势”，还抽25%分成。H200性能是H20的6倍，虽落后最新架构，但适合训练推理，此决定或为英伟达带来巨额销售额。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。
无代码产品功能设计不要盲目追求AI自动化｜对话影刀AI Power
量子位智库对话影刀AI Power产品经理该汗，探讨AI自动化产品开发。影刀AI Power定位企业场景，具多功能，能提高业务效率。交流涉及场景适配、差异化路径、功能布局等问题，还分享付费转化等看法。
墙体的AI革命！智能超表面如何让建筑「听懂」6G信号？
在5G基站功耗高、室内信号衰减成瓶颈的当下，文章探讨6G如何借智能超表面和建筑无线友好性优化室内流量。还分析建筑设计对信号的影响，以及人类移动行为给超表面嵌入建筑信道带来的挑战。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。