「分组查询注意力」共找到 291 篇相关文章
马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！
文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。
用 AI 开发网站？这个 MCP 必装，Next.js 原生 MCP 已上线！
Next.js官方发布了自己的MCP，具备自动化调试等诸多功能，能增强代理在该框架下的开发能力。它可集成Playwright MCP，查询文档和最佳实践等，还说明了使用流程、提问方式及原理。
全新开源视频换装框架MagicTryOn
现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
谷歌Gemma 4全系开源：3.8亿激活超越20倍体量模型，手机秒变AI工作站
谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。
华为攻克AI推理「想太多」问题！新方法让大模型推理提速60%，准确率还高了
华为提出高效推理方法S - GRPO，突破思维链「冗余思考」瓶颈。通过“串行分组 + 衰减奖励”设计，在Qwen3上有效，推理提速60%，生成答案更精确有用，在多个推理benchmark测评中表现出色。
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
Claude Code发布Agent View，多任务流的ADHD患者有救了
Claude Code发布Agent View，它像给Claude Code的tmux，能将多个Claude会话状态分类展示，帮用户分配注意力。它把Anthropic内部工作流产品化，有会话与窗口解绑、工作树隔离等设计。
3.6K Star！OpenCode 团队开源宝贝，模型价格、能力、规格一网打尽！
开发AI应用时，模型选择成难题，信息碎片化、不透明让人头疼。OpenCode团队开发的开源项目Models.dev，整合主流模型关键信息，可一站式查询、精确估算成本、对比能力，还提供公开API，社区驱动持续更新。
向量数据库要被取代？DynamoDB 开始原生支持 AI 搜索
Amazon DynamoDB 推出原生向量搜索，允许开发者将嵌入向量与应用数据存一起，直接在其中运行近似最近邻查询，无需单独向量数据库。介绍了功能特点、成本计费及开发者反馈等。