「RL训练方法」共找到 3344 篇相关文章
揭秘大模型评测:如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程,包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战,如设计维度和集,还给出评测方法及案例,像蚂蚁评测集、业务自动化评测。
数据减少超千倍,500 美金就可训练一流视频模型,港城、华为Pusa来了
香港城市大学与华为香港研究所合作推出 Pusa 项目,它基于 FVDM 理论,可极低成本微调大规模预训练视频模型,成本降超 200 倍、数据减少超 2500 倍,代码已开源。
传言:中国AI 公司人肉运硬盘到马来西亚训练模型,美国芯片禁令形同虚设?
《华尔街日报》传言中国AI公司工程师人肉运硬盘到马来西亚训练模型。美国芯片禁令下,中国公司难进口先进硬件,采用复杂方式规避。任正非和黄仁勋都认为可集群补单芯片性能,美国制裁效果堪忧。
谷歌分布式训练开启另一轮扩展定律!百万芯片高压高故障仍然零全局停机
谷歌Decoupled DiLoCo研究打破大模型训练锁步模式,让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损,还能提升系统有效工作时间,有算力撷取和异构计算等红利。
1人顶1个Infra团队!OpenAI前CTO新招,让大模型训练跌成白菜价
大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker,潞晨云微调SDK兼容其范式,实现算法设计与基础设施解耦,降低成本,提升人效,适用于多场景。
SMO | 西工大宁晨伽、张伟伟等:基于共享并行神经网络架构的多精度气动融合方法
高可靠性气动数据降本增效是关键命题。本研究总结主流多精度建模方法,提出基于共享并行架构的融合策略,区分公共与私有特征,提升融合框架表征能力,还通过算例验证方法有效性。
紫东太初推出GMC核心集剪枝方法,少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈,传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法,具双阶段架构,优势多,实验显示其能在减少Token同时保持性能。
碾压π0.5,复旦团队首创「世界模型+具身训练+强化学习」闭环框架
复旦团队针对当前 VLA 策略依赖模仿学习、真实机器人在线 RL 成本高、传统物理仿真器有局限等问题,提出 ProphRL 框架。该框架以世界模型 Prophet 为核心,结合 RL 算法,为具身智能落地提供更可行路径,实验效果显著。
LLM加RL遭质疑:故意用错奖励,数学基准也显著提升,AI圈炸了
华盛顿大学等机构论文引爆AI界,其发现用虚假奖励训练Qwen2.5-Math-7B模型,也能提高MATH - 500成绩。虚假奖励对Qwen模型有效,但在其他模型上有限,凸显RLVR有效性与模型能力有关。
「上下文学习」之后,腾讯混元第二篇公开研究:精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc,可将全局梯度突刺定位到具体异常 token,降低 RLVR 训练观测与分析门槛,助力解决训练不稳定问题,让模型调优更科学。