搜索：Attention性能瓶颈

「Attention性能瓶颈」共找到 2428 篇相关文章

重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%

GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。

谷歌前 CEO Eric Schmidt 做客播客，探讨 AI 未来。他认为 AI 被严重低估，数字超智能十年内或到来，瓶颈是电力。还谈及 AI 对就业、商业、教育等方面的影响，以及潜在风险和应对建议。

在OpenAI官方播客节目中，Sam Altman透露GPT-5今夏或登场，还探讨AGI定义、“星际之门”算力项目、AI硬件等。如模型命名或改，算力项目解决瓶颈，重视超级智能等。

有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。

当地时间6月25日，IBM发布全球首个亚1纳米芯片技术0.7纳米节点，晶体管密度翻倍，性能和能效大幅提升。该技术源于纳米堆叠架构，若5年内量产有望革新AI芯片架构，但量产面临诸多挑战。

东南大学耿新团队针对模型多任务融合问题提出论文《Model Merging in the Essential Subspace》。指出多任务融合失败源于关键方向重叠冲突，提出 ESM 方法，能让不同任务在模型中稳定共存，实验显示其性能更优。

Claude Opus 4.6遭差评，用户感其「变笨」，输出浅、易失败、违规提示增多。AMD总监用6852次日志证明其「思考深度」降67%，价格高却性能倒退。Anthropic虽称优化，但用户不满默认值被改。

Meta联合多机构发布论文，提出HyperAgents框架，让AI不仅改进自身，还能改进「改进自己的方法」。它打破传统AI自我改进瓶颈，在多领域测试表现出色，还自发形成记忆机制，有迁移和叠加效果。

天下苦机器人看不清透明和反光物体久矣，问题出在深度相机。蚂蚁集团具身智能公司蚂蚁灵波开源深度视觉模型LingBot - Depth，无需换硬件，用创新算法和大量数据提升性能，还将开源数据集。

清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构，仅用单阶段训练和固定超参数，在1.5B模型上刷新性能纪录，计算量仅为复杂方法50%，挑战了复杂技术堆叠现状。