算法论文8
ICML 2025：极大值解锁LLM上下文理解
机器之心
AI 摘要
我是罗格斯大学团队，我们发现使用RoPE的模型中，注意力机制Q和K有集中极大值，它对上下文理解关键，破坏极大值会让相关任务性能骤降，研究为模型设计等提供新思路。
阅读原文 · 机器之心
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
千问推电商Agent 开店成本大降
本文报道千问办公推出独立第三方电商Agent产品千问办公电商版，接入多平台主流电商工具，可帮商家实现跨电商平台经营管理，大幅降低开店试错成本，目前已面向商家开放邀测。
AI前线
算法论文9
苹果LensVLM：长上下文的放大镜
本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。
机器之心
推荐文章8
AI Coding催生柔性软件新形态
本文为王博在《AI原生软件研发成熟度模型AISMM 2026》白皮书发布之际撰写，探讨AI Agent介入后软件形态、研发流程的变革，提出柔性软件概念与传统软件柔性化路径，为企业AI原生研发提供参考。
AI科技大本营
产品应用9
阶跃发布首款Agent手机STEPX Neo
本文作者实测体验阶跃终端推出的首款大模型原生Agent手机STEPX Neo，介绍了产品设计、原生Agent系统能力、创客开发生态与系统级安全方案，公布了产品定价与用户福利。
量子位