「注意力残差」共找到 555 篇相关文章
干掉 .md？兜里 Token 不够，没法和 Karpathy 共情
近日，围绕‘Markdown 是否已过时’讨论升温。Theo Browne 视频阐述‘HTML 优于 Markdown’五大理由并分享实操技巧，虽指出 HTML 有费 Token、版本控制差问题，但仍倾向用 HTML，不过也有开发者质疑。
微软急了！紧急腰斩AI产品销售指标，内部拉响红色警告
微软AI市场遇冷，多个AI产品部门下调销售目标，如Azure AI等。原因一是自身产品未落地，体验差；二是过度依赖OpenAI、英伟达等伙伴。而谷歌势头正劲，抢占其份额。
全新开源视频换装框架MagicTryOn
现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
谷歌Gemma 4全系开源：3.8亿激活超越20倍体量模型，手机秒变AI工作站
谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
Claude Code发布Agent View，多任务流的ADHD患者有救了
Claude Code发布Agent View，它像给Claude Code的tmux，能将多个Claude会话状态分类展示，帮用户分配注意力。它把Anthropic内部工作流产品化，有会话与窗口解绑、工作树隔离等设计。
AI撑爆GitHub！天天宕机，18年老兵带5万星项目「决裂出逃」
GitHub第1299号用户、Vagrant之父Mitchell Hashimoto，因GitHub连续宕机和AI转型，带着5万星项目Ghostty出逃。AI让GitHub负载剧增，其资源向AI倾斜致基础设施维护变差，“去GitHub化”声音渐大。
2026！开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026 年刚开始，大模型领域研究者达成默契，arXiv 论文高频出现 Self-Distillation。传统强教师依赖范式难适配模型持续进化，Self-Distillation 成破局点。MIT 等机构发布三项研究成果，均用信息差实现模型自驱动升级。
ICCV25 Highlight｜格灵深瞳RICE模型狂刷榜单，让AI「看懂」图片的每个细节
格灵深瞳公司灵感团队自研的视觉模型基座RICE（MVT v1.5）刷榜多项视觉任务，在ICCV25获Highlight荣誉。它延续MVT系列理念，提升图片内部视觉特征差异性，在多任务验证中表现优异。