搜索：关键token检测

「关键token检测」共找到 1813 篇相关文章

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

昆仑万维旗下天工AI发布SkyClaw - v1.0，为Agent场景深度优化，免费试用后将开源，价格低。性能超同级别开源对手，逼近闭源巨头。训练围绕环境构建、数据合成、强化学习展开，适合长链路Agent工作流。

随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。

4月27日，国家发改委叫停外资收购Manus项目。该项目从2025年12月Meta宣布收购起备受关注。此次监管选择外商投资安全审查路径，预示AI时代监管侧重技术控制权，也可能加速VIE架构消亡。

2026年3月23 - 24日西门子将在北京举办科技大会，将系统呈现AI进入现实工业系统后的技术结构，探讨AI融入生产体系问题。大会还将举行多场活动，众多企业领袖将参与对谈。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。

在国产GPU上市黄金窗口期，天数智芯上市后首场发布会引发广泛讨论。其公布架构路线图，2027年前追赶英伟达，之后转向创新架构设计。还提出回归计算本质、提供高质量算力两条架构判断，并展示边端算力产品及应用。

上下文工程优化是Agent创业公司新一年竞争重点，其信息质量很大程度决定Agent表现。文章结合Manus、Cursor团队思路，给出做好上下文工程要点，如缩减上下文、搭建工具行动空间、多Agent协作等。

Sora APP上线不到5天下载达100万次，近200万周活用户中70%在创作。其核心团队分享对AI社交思考，介绍玩法、设计理念，还谈及推荐算法、创作门槛、商业化等方面规划。