搜索：高效注意力机制

「高效注意力机制」共找到 1491 篇相关文章

反击AI论文！arXiv每年拒掉2%造假内容，自动化工具加入审核

AI生成论文泛滥，arXiv等预印本平台升级审核机制，用自动化工具检测。Nature发现每年约2%论文因AI使用被拒，如bioRxiv等平台每天拒绝不少AI手稿。平台既要防造假，又要避免误伤合理AI润色。

腾讯悟空AI Agent对魔搭社区SWIFT框架开展深度安全审计，通过人机协同发现两个较难利用的RCE 0day漏洞，获官方致谢。该框架在易用性和高效性上表现出色，此次发现推动了其安全性提升。

快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。

本文作者分享编写系统级提示词经历，指出‘规则清单式’设计有规则打架、维护难、价值稀释问题。引入系统架构思维，构建四层设计框架，给出编译原则与模板，还重构‘AI编程助手’提示词，实现从‘规则管理者’到‘系统设计师’转变。

深度学习之父Hinton在上海演讲《数字智能是否会取代生物智能》，指出人类可能是大语言模型，也会有幻觉，但大语言模型优于人类大脑，知识传递高效。他呼吁建立国际社群，培养不夺权的好AI。

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。

Spring 之父 Rod Johnson 开源专为 JVM 生态设计的 AI 智能体框架 Embabel，旨在弥合生成式 AI 的‘承诺’与‘现实’差距。它采用 GOAP 方法保证确定性，有弹性执行与动态重规划能力，还引入多种机制确保可控性与安全性。

马里兰大学CASE Lab团队研究商业不透明大模型服务（COLS），定义其风险，提出三层审计蓝图。还推出验证框架CoIn，能高效识别token数量膨胀，有可定制性且审计开销低，为构建信任提供技术支撑。

本文深度解读DeepSeek最新发布的V4.1 Flash大模型，详解其全新CED架构与第二代压缩稀疏注意力CSA2，揭秘其通过架构创新大幅压缩KV缓存、降低显存算力成本，在长上下文Agent场景实现性能反超的细节。