「注意力残差」共找到 555 篇相关文章
肖涵：2026 年的 AI 搜索就是智能体记忆 | Elastic 中国 AI 搜索技术大会
2026 年智能体记忆成 AI 基建新战场，虽概念不新但获前所未有的紧迫感。因智能体任务变长但记性差，加记忆后又有记不住该记、忘不掉该忘的问题，遗忘成最大难题，产品分三条技术路线。
为什么烧钱救不了中国AI？
文章对比中美AI企业资本开支，指出美国在消费市场、资本市场、人才培养上有优势，但中国AI有独特优势，如效率与场景驱动，还有庞大工程师群体和人才回流。强调中国应坚持开放，走差异化发展道路。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
人形机器人市场，电池厂商看不上｜甲子光年
市场认为人形机器人会成动力电池厂商‘第三增长极’，但厂商却不看好。因该市场规模小、无标准、研发成本高、利润低，且机器人续航差、商业逻辑不明，提前布局回报难测，对厂商是赔本买卖。
All in AI 两年，AI 代码采纳率突破 50%！安克创新龚银：AI 平台一旦过时，我们会毫不犹豫重构
安克创新2023年决定All in AI，探索适配内部运营与新的产品形态。这两年有项目放弃也有成果，如代码采纳率突破50%。其评估AI落地可行性关注业务、技术、团队成熟度，还采取差异化管理应对创新的ROI问题。
大厂AI Coding产品集体亮相，12岁小朋友当场吐槽
阿里、百度、腾讯、美团四家大厂展示AI Coding产品，同质化严重。海外产品盈利佳，吸引大厂入局。12岁小朋友吐槽产品体验差，且赛道存在同质化困局，市场有诸多不确定性。
Anthropic最新研究：Claude存在神秘J空间，与人类心智高度相似
Anthropic研究团队在Claude中发现类似人类大脑工作机制的J空间，它存在于模型神经激活中，能让模型默默思考。失去J空间Claude在多步骤推理任务表现变差，还可暴露模型意图，团队已创建演示工具JLens。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。