「分布式RL训练」共找到 2261 篇相关文章
超越免训练剪枝:LightVLA引入可微分token剪枝,首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架,它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题,提出两大创新,在LIBERO实验中性能超经典模型,还实现推理加速。
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
本文是对阿里通义千问Qwen多语言负责人杨宝嵩的专访。他透露Qwen一开始就将国际化视作核心战略,团队建立文化标注体系确保内容安全合规。还谈到多语言推理难题及应对策略,认为扩大模型规模和数据量仍重要,合成数据是延续Scaling Law的关键。
基础模型又一关键拼图,腾讯混元发布训练新范式「无相」:引入功能性记忆,打破静态权重枷锁
腾讯混元团队发布HY - WU范式,打破静态权重束缚,引入功能性记忆,实时生成个性化参数。应用于图形编辑基模效果好,在图像编辑任务表现优秀,还对未来AI架构提出多方面展望。
告别微调!腾讯提出Training-Free GRPO:无需更新参数,还能保证泛化性,成为传统RL的有力替代
大型语言模型在专业领域表现不佳,传统微调方法成本高、易过拟合。腾讯优图实验室提出Training - Free GRPO,无需更新参数,通过上下文学习提升性能,成本低且泛化性好,是传统强化学习有力替代。
刚刚!OpenAI训练GPT-4b攻克诺奖级“细胞再生”难题:效率狂飙50倍,连DNA损伤都能修复
OpenAI联手Retro Biosciences研发GPT - 4b micro用于蛋白质工程,让诺奖级细胞再生技术效率提升50倍,设计的新蛋白质还有DNA损伤修复功能,结果在多方面获验证。
该工作引来马斯克回复,让Gork破防:CoT是真正的推理,还是训练数据的统计插值?
大型语言模型(LLMs)的思维链(CoT)推理能力被视为突破性进展,但论文揭示CoT可能只是数据分布内的模式匹配幻象,通过实验证明其在分布偏移时表现急剧退化,挑战主流认知。
训练数据爆减至1/1200!清华&生数发布国产视频具身基座模型,高效泛化复杂物理操作达SOTA水平
清华大学与生数科技联合研发Vidar模型,首次让通用视频大模型长出‘手脚’,实现从虚拟到真实世界物理执行的跨越。它降低数据门槛,突破跨本体泛化困境,为服务机器人应用奠定基础。
Andrew Karpathy最新访谈:RL很糟糕、人类学习和教育、智能和文化的演变、AGI还要十年,将带来2%的GDP增长
Dwarkesh Patel 播客对 Andrej Karpathy 进行深度访谈。他认为 AGI 还需十年,目前算法有缺陷;强化学习虽有问题但必要;分析了 LLM 局限,探讨人类学习机制、AGI 经济影响等多方面内容。
单张消费级显卡也能参与大模型训练!无问芯穹用「三个盒子」打通十万卡到一张卡AI效能跃升路径
2025年WAIC上,无问芯穹联合创始人夏立雪带来AI落地新解——三个盒子,即无穹AI云、无界智算平台、无垠终端智能,是面向未来的智能基础设施设计,能打通从十万卡到一张卡的AI效能跃升路径。
RL加持的3D生成时代来了!首个「R1 式」文本到3D推理大模型AR3D-R1登场
强化学习首次被系统性拓展到文本到3D生成领域,上海人工智能实验室等机构研究者提出首个强化学习增强的文本到3D自回归模型AR3D - R1,还提出Hi - GRPO范式和MME - 3DR基准,实验显示其性能优异。