「注意力残差」共找到 555 篇相关文章
Ilya 最新访谈，预训练时代终结后，AI行业来到了哪里？
Ilya接受90多分钟深度访谈，指出当前大模型泛化能力远不如人，Scaling时代终结，研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题，预测超级智能5 - 20年到来。
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
DeepAgent：能够自主找工具的深度思考智能体，工具&任务随心配
现有智能体框架自主性差、工具使用受限。中国人民大学等机构研究者提出DeepAgent，能自主思考、发现工具并执行动作。它在多基准测试中表现出色，为构建更强真实世界智能体迈进重要一步。
AI点外卖哪家强，美团LongCat团队做了个全面评测
美团LongCat团队发布贴近生活场景的大模型智能体评测基准VitaBench，以三大高频生活场景为载体，构建含66个工具的评测环境。评测显示现有智能体与应用需求差距大，该基准已全面开源。
GPT-5：前端开发者的“选择自己的冒险路线”
OpenAI 称 GPT - 5 在前端编码出色，内部测试 70% 时间胜 OpenAI o3，获 Vercel 支持。但部分开发者看法不一，有人体验变差，也有人认为它表现一般，还探讨了其让开发者绕开 React 的可能。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
谷歌大脑之父首次坦白！茶水间闲聊引爆万亿帝国，AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中，回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节，还谈到神经网络发展、注意力机制突破、LLM可解释性等内容，也提及未来五年规划。
GPT-5真的拉胯吗？机器之心一手实测，网友：还我4o、还我4.5
OpenAI发布GPT - 5后评价褒贬不一。有人认为它进步大，也有人差评，如制作游戏、重构代码失败。机器之心实测发现其表现不稳定，写作、推理、编码能力有好有坏，复杂任务表现欠佳。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。