「注意力改造」共找到 280 篇相关文章
谷歌大脑之父首次坦白！茶水间闲聊引爆万亿帝国，AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中，回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节，还谈到神经网络发展、注意力机制突破、LLM可解释性等内容，也提及未来五年规划。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
黄仁勋CES最新演讲：Rubin 今年上市，计算能力是 Blackwell 5 倍、Cursor 彻底改变了英伟达的软件开发方式、开源模型落后先进模型约6个月
英伟达CEO黄仁勋在CES 2026演讲宣告AI转折，披露‘物理AI’路线图。提到开源模型突破但落后先进约6个月，还发布多款成果，如AlphaMayo、GROOT 1.6等，以及AI超算Vera Rubin，展现全栈式AI布局。
OpenAI和DeepMind大佬离职联手，誓用AI科学家实现室温超导！已融3亿美元
OpenAI后训练负责人和DeepMind的AI4S大佬离职成立Periodic Labs，专注用AI Agent改造科研，攻克室温超导等难题，已获3亿美元融资。团队目标是培养AI科学家，构建自主实验室，还将应用于产业。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
OpenClaw逼出Claude最强反击！GUI操控电脑和真人无差别，网友：这得花多少token？
Claude Code升级Computer Use能力精准反击OpenClaw，基于GUI操作，像真人操控电脑。升级后无需API或CLI改造，能操控传统软件，还上线远程控制、定时任务功能，有安全分层设计。已向Claude Pro和Max用户开放。
阿里Qwen3.5小模型发布：0.8B参数就能处理视频，边缘AI时代真的来了
阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。