「密集注意力」共找到 247 篇相关文章
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
Anthropic：上下文工程在AI Agents的正确打开方式！
在‘提示工程’后，‘上下文工程’成焦点。它是提示工程延伸，因信息过多模型会‘失焦’，上下文是稀缺资源。文章介绍高效上下文‘解剖学’、运行时检索策略、长周期任务应对方法等。
视频生成比播放还快：开源VDN-H3，14秒视频11秒搞定
近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。
清华东门1公里：AI原点社区的10万补贴和一天1块钱的工位
文章介绍北京AI原点社区，它2026年1月入选北京首批人工智能创新街区。这里无物理边界，三区融合，核心区16万平。企业可通过原点学堂等入驻，有补贴等资源。个人不挂靠公司也能用其资源，并给出使用建议。
多人会话视频生成新突破：香港科技大学，浙江大学用单人数据实现多人交互视频生成
香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。
独家丨MiniMax 高级研究总监钟怡然已于半年前离职
AI 科技评论独家获悉，MiniMax 高级研究总监钟怡然已离职，去向未公开。他曾主导设计 MiniMax - 01，该模型在超长上下文处理能力上表现突出，走出独特架构创新与效率优化路径。
「Tokens是胡扯」，Mamba作者抛出颠覆性观点，揭露Transformer深层缺陷
Mamba作者Albert Gu在博客中探讨状态空间模型（SSM）和Transformer权衡，抛出‘Tokens是胡扯’观点，揭露Transformer深层缺陷，如分词问题、处理噪声能力弱等，还分析两类模型特点及结合优势。
开源多模态大模型EarthMind，观测地球统一框架
地球观测数据复杂，现有多模态模型难适用。意大利、德国多所高校研究人员联合开源多模态大模型EarthMind，引入空间注意力提示模块，实现跨模态融合和多粒度理解，解决地球观测难题。
刚刚国产双响炮炸场！智谱「牛来模型」和阿里Qwen3.8-Flash双双亮相屠榜
智谱发布GLM - 5.3 - Flash（牛来模型），原生多模态，支持1M token上下文，运行在国产芯片，价格实惠。阿里开源Qwen3.8 - Flash - Next权重，成本低性能优，在四大维度重构架构。
解码提速15.1倍、多任务性能不降：复旦&引望WAM-Diff2打通自动驾驶VLA自回归—扩散转换
视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。