「长度泛化能力」共找到 3441 篇相关文章
o1核心贡献者离职后首发声：AI是史上最强杠杆，超越人力、资本和代码
刚被曝加入Meta的前OpenAI核心研究员Hyung Won Chung，分享对AI未来的思考。他认为AI是最强大杠杆，能成个人能力倍增器，智能体开启无需许可的复合杠杆，还能推动人类科学进步。
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。
美国版梁文锋来了
美国互联网券商巨头Robinhood的CEO Vlad Tenev投身AI创业，与Tudor Achim联合创立Harmonic AI，从数学突破开始，目前已完成B轮融资，估值达8.75亿美元，目标是构建数学超人类的AI系统。
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
中学生就能看懂：从零开始理解LLM内部原理【十】｜ “过拟合” 与 Dropout
文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长，此前方法难公平比较。团队提出「KV 足迹」指标，改进方法并推出 PruLong 优化内存，节省空间且保性能。
纳米 AI 梁志辉：超级搜索智能体是 AI 时代的真正入口
纳米AI梁志辉认为超级搜索智能体是AI时代真正入口。纳米AI推出的「超级搜索智能体」结合多Agent协作等能力，是新解决方案。演讲分享了360对AI搜索、智能体搭建及浏览器的看法与探索。
百度在 AI IDE 上的决心
百度发布国内首个多模态、多智能体协同的AI IDE：Comate AI IDE。其功能完备，百度在AI IDE赛道决心大。随着模型和Agent能力提升，百度认为未来IDE竞争本质是Agent竞争，其早有相关布局。
无需人类插手！AI战队自主进化，人类玩家瑟瑟发抖
论文《Agents of Change: Self - Evolving LLM Agents for Strategic Planning》以桌游《卡坦岛》为“考场”测试AI战略能力。研究团队设计四代AI特工，实验显示能自我进化的AI完爆静态AI，不过也存在计算成本高、依赖基础模型等问题。