「训练效率」共找到 3068 篇相关文章
Meta|提出RECAP,通过动态目标重加权回放,解决RLVR遗忘【文末送书!Agent相关】
近年来,可验证奖励强化学习(RLVR)提升了大模型在多任务上的性能,但带来“能力退化”问题。Meta等提出RECAP策略,结合“回放”与“动态目标重加权”,保持模型通用能力,提升推理性能,还提高推理效率。
计算所 x 上交大论文:只用双人数据,也能生成多人动画丨CVPR 2026
中国科学院计算技术研究所与上海交通大学团队提出多人物动画生成框架MultiAnimate,引入身份标识与空间关系建模方法,用双人数据训练,能扩展到多人动画生成,优于现有方法。
东方理工团队提出HiDrop:重构MLLM计算路径,压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop,基于MLLM不同层功能差异,设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示,它能压缩约90%视觉Token,保持98.3%性能,实现训练和预填充加速。
RAG创新了,MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题,现有方案有额外成本。MCompassRAG不切细、不rerank,给粗chunk加主题元数据当指南针,训练推理分离,实验显示信息效率提升、延迟降低。
统一VLA范式!港科大开源StarVLA乐高式架构,复现成本大幅降低
当前具身智能的VLA赛道陷入「碎片化」泥潭,方法难对比、复现成本高。港科大开源StarVLA,提出「乐高式」统一架构,构建模块化开源底座,实现双向模块化,还支持多种训练范式,打通Sim2Real。
CMU&斯坦福提出Reasoning新范式!自己找“窍门”,教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低,论文提出创新方法,让模型利用“推理抽象”,通过RLAD两玩家强化学习框架训练,在多基准测试提升性能,还分析了其作用、局限与未来方向。
Claude code让程序员消失,Anthropic却说用AI编程会让你变傻
Anthropic科学家实验发现,新手过度依赖AI编程,概念理解、代码阅读和调试能力显著退化,效率未提升。研究识别六种AI使用模式,指出主动思考才是技能形成途径,应保留人脑训练的“摩擦力”。
Karpathy再放大招:8000行代码复现ChatGPT全栈,最低成本仅100美元,4小时跑完
Andrej Karpathy发布项目nanochat,是全栈式ChatGPT克隆体训练/推理流水线,代码约8000行,覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现,还回答网友关于架构、训练数据等问题。
快慢Reasoning综述!
大型语言模型在复杂推理任务中有‘无差别计算’缺陷,阻碍其在多场景应用。本文提出双层效率优化框架,梳理两类前沿技术,通过实验揭示瓶颈,为轻量化推理指明路径。
让AI学着“看菜下碟”!港中大等新框架让推理长度减少90%,准确率反增17%
香港中文大学等研究者提出TON选择性推理框架,使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制,实验显示其让推理长度最多减90%,准确率还提升,有益模型部署。