「高效注意力机制」共找到 1489 篇相关文章
CoT推理大溃败?哈佛华人揭秘:LLM一思考,立刻就「失智」
新研究揭示思维链CoT会分散模型「注意力」,使大模型推理时易出错。研究指出在需遵守指令任务中,用CoT推理模型准确率下降,还总结了四大模式,并提出四种缓解策略。
刚刚,DeepSeek首曝V3降成本秘诀!软硬协同突破Scaling天花板
DeepSeek最新论文从硬件架构和模型设计双重视角,探讨如何相互配合实现低成本大规模训练和推理,分析硬件特性对架构选择的影响,研究两者相互依赖关系,还为未来协同设计提出建议。
刚刚,DeepMind通用科学智能体AlphaEvolve突破数学极限,陶哲轩合作参与
DeepMind发布革命性进化编码智能体AlphaEvolve,由LLMs驱动,可演化代码库、发现和优化算法。它结合LLM创造力与自动化评估,减少幻觉,在多领域应用前景大,还与陶哲轩合作探索数学应用。
「推理革命」爆发100天:DeepSeek-R1复现研究全揭秘!
本文深入梳理围绕DeepSeek-R1的复现研究,解析监督微调、强化学习等关键技术细节,介绍相关数据集、训练方法及奖励机制等,还探讨了推理语言模型更多发展方向,为研究提供基础。
一篇Self-Evolving Coding Agents最新综述
当今编码智能体部署后大多静止,自进化编码智能体应运而生,可让Agent通过交互更新自身。文章介绍了其概念、分类,探讨组件进化机制、时机及评估方法,也提及带来的新挑战。
Qwen3.8-Max:编程与办公,全面跃升
今日正式发布Qwen3.8-Max,下周将开源其及Qwen3.8 - 27B模型权重。它参数达2.4万亿,在多方面全面提升。开发者可通过千问AI平台获API服务,性价比高。在编程、办公等场景表现出色,用户反馈良好。
横扫八大数学竞赛:清华微软联合提出STAR-PólyaMath,Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath,构建探索 - 推理 - 验证框架,解决大模型长程数学推理瓶颈,在八大数学竞赛基准获最优成绩,还可泛化到其他推理场景。
一文搞懂如何在Codex中使用goals
OpenAI文章介绍Codex中Goals的使用,包括定义、使用方法、与普通prompt区别、编写要点、激活后变化、内部设计等,还给出复现论文示例,指出适用与不适用场景,称其改变Codex运作模式。
万帧照片级仿真,打通视觉机器人学习的感知与物理鸿沟:国产仿真器GS-Playground入选RSS 2026
清华大学等联合提出高通量视觉高保真仿真器GS - Playground,被RSS 2026录用。它解决现有仿真器渲染开销高、资产制作依赖人工、Sim2Real迁移鸿沟大等问题,是全栈重新设计的仿真基础设施。
一年磨一剑,今年最炸机器人Demo来了!1亿美元种子轮团队出手,单个模型解锁单手打蛋解魔方弹钢琴
Genesis AI发布机器人基础模型GENE - 26.5,让机器人可自主完成烹饪、实验室操作等复杂任务。该团队全栈自研,从硬件、数据、模型到训练评估都有独特方案,曾获1.05亿美元种子轮。