「两阶段注意力机制」共找到 1640 篇相关文章
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。
SRO架构赋予Qwen-2.5-VL推理能力，性能飙升16.8%
文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。
Anthropic 发文称自家 Claude 已经开智，网友：为了上市，不择手段？
Anthropic发布Claude内部机制新研究，介绍J-space和J-lens，称可读取模型未输出的内部概念。此研究在训练、评测和部署有潜在价值，但叙事引发争议，网友质疑是否过度包装。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
“谈故障色变”到有章可循：美图 SRE 故障应急与复盘实践
在 InfoQ 举办的 QCon 全球软件开发大会上，美图高级运维经理石鹏分享美图 SRE 团队故障应急与复盘实践，探讨故障应急各环节，剖析故障本质与原因，还交流 AIOps、LLM Ops 等技术。
用3D几何先验驱动视频扩散，实现更一致的世界生成
视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。
Vibe Coding，杀死开源！
Vibe Coding 带来编程效率狂欢，却切断开源生态维护者与用户联系。研究指出，AI 成「中间商」，使开源维护者得不到关注反馈，高质量开源项目或枯竭，作者设想代码版税机制但实施难。
清华新研究，Nature+Science双杀！
清华大学李勇团队分析2.5亿篇科学文献，揭示AI for Science领域矛盾：虽助科学家个体加速，却致科学界群体注意力窄化。这由当前AI模型缺通用性导致，团队推出OmniScientist系统破局限。
苦研10年无果，千万经费打水漂！AI黑箱依然无解，谷歌撕破脸
ChatGPT「舔狗化」暴露AI缺乏可解释性，谷歌和Anthropic就「机制可解释性」产生争论。谷歌DeepMind不再将其作研究重点，Anthropic则主张重视。十多年研究成果有限，或应采取「自上而下」研究方式。
独家 | 前理想汽车联创沈亚楠成立「赫宇机器人」，布局家庭机器人
AI科技评论独家消息，前理想汽车联合创始人沈亚楠创立「北京赫宇机器人科技有限公司」，进军家庭机器人方向。赫宇机器人是其智能住宅品牌「栖息地」体系内新业务，项目处早期团队组建阶段。