「注意力去偏」共找到 443 篇相关文章
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
中国AI芯片大突围，DeepSeek V3.1引爆算力革命
DeepSeek V3.1发布，是中国AI技术自主性的战略突围。它有6850亿参数，采用UE8M0 FP8适配国产芯片，具混合推理架构、Agent能力等。其发布或重塑AI产业格局，推动国产芯片发展。
谷歌大脑之父首次坦白！茶水间闲聊引爆万亿帝国，AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中，回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节，还谈到神经网络发展、注意力机制突破、LLM可解释性等内容，也提及未来五年规划。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
AI Pin 们折戟后，第二代 AI 硬件闷声发了大财
过去两年，第一代AI硬件喊出‘杀死智能手机’口号，赚足目光。当下，创业者不再将取代手机作为目标。第二批AI硬件‘边界感’强，专注细分场景，同时，科技巨头正布局全新AI层，‘隐形OS’雏形已现。
一个Markdown就是一名员工！YC CEO给年轻人的忠告：现在一个人能顶400人，大厂中层最该被AI替换
YC总裁Garry Tan在深度对谈中表示，传统SaaS模式或失效，个人开发者效能因AI提升。他强调创业别追热点，应关注兴趣与独特知识，还指出大公司中层官僚体系未来可用Agents替代。
谁说3DGS必须靠LiDAR？如视Argus入选ECCV，让图像也能提供LiDAR级位姿约束
消费级3DGS应用走向普通用户，但需精确位姿约束，过去靠LiDAR，成本高。如视Argus入选ECCV 2026，能从图像预测位姿等，为3DGS提供精准约束，推动其走向低成本采集时代。
告别直接生成，文生图进入Agent时代：港中文联合伯克利开源Gen-Searcher
过去文生图多是‘直接出图’，遇真实世界知识等易翻车。港中文等团队提出Gen - Searcher，让图像生成模型像Agent一样搜索等，数据、模型和代码均已开源，实验显示它提升了生图准确性和质量。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。