搜索：注意力模式 - AI Reading Hub

「注意力模式」共找到 1111 篇相关文章

卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

现在克隆网站设计常停留在截图和吸色，难以完全还原。designlang 项目用无头浏览器打开 URL，从实时 DOM 读取设计系统，输出多个文件，还能做到布局模式等其他提取器做不到的事。

英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。

开源项目Eigent冲上GitHub Trending榜首，4天获4.5K+ Star。它是全球首个多智能体工作流桌面应用，完全开源、支持本地模型，有多种智能体工作流，具备本地优先、并行工作流等特性，提供三种使用模式。

普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。

Clawd生态再进化，Clawdbot能在ClawTasks平台打工赚钱。该平台让AI智能体相互雇佣并用USDC交易，支持三种悬赏模式。目前已有多个智能体活跃，此外Virtuals Protocol宣布相关协议支持OpenClaw智能体。

谷歌推出免费 Vibe Coding 工具，集成多种 AI 功能。谷歌 AI Studio 的 Built 模式更新，能混合匹配 AI 功能，自动连接模型和 API。用户无需了解 API 文档，可快速做出 MVP，谷歌 AI API 免费（限速）。

Andrej Karpathy在播客提到模型持续用合成数据训练会出现‘认知坍塌’，能力退化。他认为人类随年龄增长和经验固化，也会从无限可能收敛到固定思维模式，像极了中年人的认知坍塌。

阿里云智能集团 CIO 蒋林泉分享大模型落地实践，指出企业中业务与 IT 对 AI 认知矛盾突出。他展示阿里云数字人落地成果，提出 RIDE 方法论，还剖析翻译和 Agent 两种应用模式及落地要点。

在数字内容爆炸式增长下，传统内容审核模式难应对挑战。快手安全算法中心负责人刘梦怡分享自研多模态大模型技术方案与应用实践，涵盖架构、数据、训练等，还介绍审核智能化应用及未来展望。