「两阶段注意力机制」共找到 1640 篇相关文章
一次缓存引发的文件系统数据不一致问题排查与深度解析
本文详述由自研分布式文件系统客户端 EFC 缓存架构更新引发的数据不一致问题排查过程。经多轮分析,发现是版本号回退致客户端读旧数据。修复后测试无异常,还揭秘部分 POSIX 接口底层情况。
隐形束缚:RLVR为何无法突破LLM的推理边界?
大型推理模型进展依赖带可验证奖励的强化学习(RLVR),但它能否扩展模型推理能力存疑。本文通过理论证明与实验,揭示RLVR存在“隐形束缚”,只能在基座模型初始能力内优化,难以发现新解。
突破单token预测局限!南洋理工首次将多token预测引入微调,编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练,难理解跨多token完整概念。南洋理工大学提出概念感知微调(CAFT)技术,首次将多token预测引入微调,能让模型理解完整概念,多领域实验显示其可显著提升模型性能。
媲美DeepSeek!腾讯开源新版混元模型:AI Agent强化,超30种智能体指令
腾讯开源混元大模型最新版本Hunyuan - A13B,为专家混合模型,有800亿参数,130亿激活。支持快慢思考模式,针对AI Agent强化,设计超30种智能体指令。测试成绩超DeepSeek - R1等,架构和训练有优化。
OpenAI员工爆料:已抢先体验GPT-5!7月上线,疑似完全多模态
新智元报道,X上神秘爆料与网友灰度测试经历让GPT - 5讨论再升温。奥特曼称今年夏天可能推出,迈向完全多模态。此外,还提及OpenAI核心团队动态、出走高管新动作及AI发展风险与监管建议。
Kimi新模型拿下代码开源SOTA,仅仅72B,发布即开源
深夜,Kimi发布新开源代码模型Kimi - Dev,在SWE - bench Verified上以60.4%成绩获开源SOTA。参数量72B,编程水平强。采用MIT协议,权重和代码已发布。官方透露了部分关键技术,更多细节待后续报告。
DeepSeek们越来越聪明,却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证,模型推理能力变强时,提示词遵循能力变差。研究团队对15个模型测试,发现用CoT推理后执行准确率下降,还提出4种提升指令遵循效果的方案。
王炸!微软AI Agent支持A2A、MCP协议,智能体黄金时代降临
今天凌晨微软官网宣布Azure AI Foundry和Microsoft Copilot Studio支持Agent开发协议A2A,还会与谷歌合作扩大该协议。此前微软已支持MCP,两协议能打破智能体诸多壁垒,提升开发、自动化效率。
AI的“铟”谋:暴涨的稀散金属,正在反噬谁?
AI虽未必造成铟短缺,却改变其未来价值预期,投机资金借此炒作,使铟价脱离产业实际。铟在总量上有盈余,但高纯铟产能不足,且市场流通盘小,价格被炒高,给中国制造业带来阵痛。
“大脑在硅谷,身体全靠中国!”机器人泰斗揭秘真相:后空翻只是杂耍,端起咖啡才是真AI
在最新一期播客中,机器人学泰斗 Sergey Levine 与 Ryan Peterman 深度对话,触及行业焦点如机器人发展阶段、波士顿动力淡出原因等。他强调,机器人技术尚处底层搭建期,需重视先验知识、软硬件结合,跨越鲁棒性门槛。