「轨迹匹配」共找到 203 篇相关文章
人类秒懂,AI崩溃:一个简单测试,就让GPT-5、Gemini等顶级模型集体“翻车”
来自多机构研究团队发现,OpenAI的GPT-5等顶级AI模型,面对‘看得见但读不懂’文字时表现极差。VYU团队实验显示,人类能轻松读懂的切分拼接文字,AI却全军覆没,原因是其靠模式匹配,不懂文字结构。
吴恩达新作:87%推理token用不着,丢掉反而快3倍
吴恩达新作Prefix Sliding指出,模型推理时丢弃中间已贬值token,只保留前缀+滑动窗口,无需训练可提速3倍,配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
利用Loop语言模型扩展隐式推理 | 直播预约
当前大语言模型依赖显式文本生成推理,未充分利用预训练数据。将介绍最新工作Ouro,Loop语言模型家族,核心创新多,虽参数少却性能优,还会讨论其推理轨迹及模型Scaling新可能。
Google 推出了免费 Vibe Coding 工具,一键集成聊天、视频、图像AI,真的很氛围。
谷歌推出免费 Vibe Coding 工具,集成多种 AI 功能。谷歌 AI Studio 的 Built 模式更新,能混合匹配 AI 功能,自动连接模型和 API。用户无需了解 API 文档,可快速做出 MVP,谷歌 AI API 免费(限速)。
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。
AI工具的真相与幻象:从客服看AI应用的理性边界
文章以某科技公司AI产品部门负责人张文的经历为例,讲述AI客服系统失败、AI编程助手成功的情况,指出AI应用存在期望与场景不匹配问题,还探讨了AI落地转变及组织搭建难题与解决办法。
该工作引来马斯克回复,让Gork破防:CoT是真正的推理,还是训练数据的统计插值?
大型语言模型(LLMs)的思维链(CoT)推理能力被视为突破性进展,但论文揭示CoT可能只是数据分布内的模式匹配幻象,通过实验证明其在分布偏移时表现急剧退化,挑战主流认知。
LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能
这篇创新研究介绍了LoRI技术,证明即使大幅减少LoRA的可训练参数,模型性能依然强劲。研究团队在多个任务上测试了LoRI,发现仅训练LoRA参数的5%,LoRI就能匹配或超越其他方法的性能。
又一推理新范式:将LLM自身视作「改进操作符」,突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符,探究并行 - 蒸馏 - 精炼(PDR)推理方法。实验显示,PDR在数学任务中提升准确率,还训练8B模型让推理方法更适配,减少训练与部署的不匹配。
Skills驱动推理新范式,清华&北大:Token立省59%,准确率不降反升
当前推理模型虽准确率高,但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架,将历史推理轨迹蒸馏成技能卡片,在推理时检索注入,实现更少Token、更高准确率。