「高效注意力机制」共找到 1489 篇相关文章
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。
谷歌大脑之父首次坦白！茶水间闲聊引爆万亿帝国，AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中，回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节，还谈到神经网络发展、注意力机制突破、LLM可解释性等内容，也提及未来五年规划。
OpenAI刚刚发布GPT-5，免费使用、疯狂屠榜，一夜改写AI历史
今天凌晨1点，OpenAI发布GPT - 5，采用内嵌式三位一体集成架构，有创新的实时决策路由机制。免费版ChatGPT可使用，有额度限制。测试显示其在多领域大幅超越前代，应用开发能力强，今日向部分用户推出。
生成式推荐补上关键一环！语义ID首次实现可微分联合优化 | SIGIR'26
生成式推荐依赖语义ID，可现有语义ID常先学好再冻结，与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架，让推荐损失参与语义ID学习，还设计策略解决训练问题，实验表现佳。
OpenAI发布GPT-5.4：首个原生接管电脑通用模型
OpenAI发布GPT-5.4及满血版GPT-5.4 Pro，主打专业生产力。它具备原生电脑操作能力，视觉感知、职场任务表现提升，幻觉问题被压制，代码能力强，工具调用机制优化，已在ChatGPT等全量上线，API定价上调。
ICML2026 ｜ 全新评审政策出炉！作者可选：评审是否使用AI
ICML 2026 为应对预期投稿量，提出互审数量限制和 AI 使用规定。此次引入评审类型选择机制，作者可决定评审是否用大模型，分严格禁止的政策 A 和有限制允许的政策 B，但执行或有困难。
杨植麟带 Kimi 团队深夜回应：关于 K2 Thinking 爆火后的一切争议
上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，引发广泛关注。今日凌晨，杨植麟等团队成员在 Reddit 开展 AMA 活动，回应 K2 Thinking 相关问题，如 KDA 机制应用、训练成本、速度与准确性平衡等。
500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式
香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。