「合成持续训练」共找到 2613 篇相关文章
一招缓解LLM偏科!调整训练集组成,“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法,可提升LLM综合性能。研究发现SFT阶段数据数量非关键,配比不当会加剧模型“偏科”。以Llama3.1 8B测试,IDEAL能提升代码能力,还指导了超参数选取。
首钢园具身智能持续进化!他山科技携手图灵奖顶尖学者激活数字科创“触觉引擎”
当具身智能成下一代AI核心战场,他山科技签约图灵奖得主理查德·萨顿教授,通过“机器人幼儿园”模式探索进化路径。其自主研发触觉感知技术,与萨顿强化学习理念结合,为具身智能发展提供新思路。
突破视觉仿真算力瓶颈!新一代具身智能仿真框架开源:高吞吐并行高保真渲染助力规模化训练
具身人工智能向以视觉为中心转型,但面临“看得真”和“训得快”难题。清华大学智能产业研究院等提出GS - Playground通用多模态仿真框架,融合高吞吐量并行物理仿真与高保真视觉渲染,成果被RSS 2026录用,将开源。
大模型能“原地”改参数了!字节Seed&北大新论文:测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案,让大模型能“原地改参数”。它复用Transformer的MLP模块,解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题,实验证明可提升模型长文本任务表现。
vivo AI Lab提出自我进化的移动GUI智能体,UI-Genie无需人工标注实现性能持续提升
香港中文大学MMLab和vivo AI Lab团队提出自我进化框架UI - Genie,构建奖励模型UI - Genie - RM解决轨迹验证难题,通过数据生成和模型迭代闭环实现智能体与奖励模型双向增强,在多基准测试中表现出色,打破人工标注瓶颈。
超越免训练剪枝:LightVLA引入可微分token剪枝,首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架,它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题,提出两大创新,在LIBERO实验中性能超经典模型,还实现推理加速。
大模型也需要自我反思,上海AI Lab合成“错题本”让大模型数学成绩提升13.3%
上海AI Lab提出LEMMA方法,构建“错误 - 反思 - 修正”数据,让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据,实验显示在Llama3 - 8B上数学解题准确率提升13.3%。
基础模型又一关键拼图,腾讯混元发布训练新范式「无相」:引入功能性记忆,打破静态权重枷锁
腾讯混元团队发布HY - WU范式,打破静态权重束缚,引入功能性记忆,实时生成个性化参数。应用于图形编辑基模效果好,在图像编辑任务表现优秀,还对未来AI架构提出多方面展望。
刚刚!OpenAI训练GPT-4b攻克诺奖级“细胞再生”难题:效率狂飙50倍,连DNA损伤都能修复
OpenAI联手Retro Biosciences研发GPT - 4b micro用于蛋白质工程,让诺奖级细胞再生技术效率提升50倍,设计的新蛋白质还有DNA损伤修复功能,结果在多方面获验证。
该工作引来马斯克回复,让Gork破防:CoT是真正的推理,还是训练数据的统计插值?
大型语言模型(LLMs)的思维链(CoT)推理能力被视为突破性进展,但论文揭示CoT可能只是数据分布内的模式匹配幻象,通过实验证明其在分布偏移时表现急剧退化,挑战主流认知。