不对称训练」共找到 3303 篇相关文章

算法论文8

RL 效率无损飙升 3 倍:厦大-Shopee-清华联合首创,将投机解码首次引入 RL,推理能力稳如初!

传统RLVR训练中,rollout阶段耗时成瓶颈。厦大 - Shopee - 清华联合团队提出SPEC - RL,将投机解码引入RL,训练提速2 - 3倍,避免重复生成,与主流算法兼容,在多项基准测试中性能稳定。

深度学习自然语言处理
开源动态8

补齐OpenClaw进化拼图!AReaL v1.0开源,智能体强化学习「一键接入」

2026 年 Agent 仍是热门赛道,OpenClaw 热度持续。但 Agent 强化学习训练缺乏成熟体系。蚂蚁和清华联合打造的 AReaL v1.0 开源,实现 Agent 一键接入 RL 训练,还革新了训练引擎,降低开发门槛。

机器之心
产品应用8

豆包背后的“超算大脑”:字节ByteRobust系统跑20多万张GPU,性能刷新SOTA

字节跳动自研的ByteRobust系统登上SOSP 2025,部署于超20万张GPU平台,9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障,由控制和数据平面构成,能自动发现修复故障,提升训练效率与稳定性。

AIGC开放社区
算法论文8

“坏”数据让模型更“好”?重新审视数据过滤

传统观点认为大型语言模型预训练应过滤“坏数据”,但论文《When Bad Data Leads to Good Models》提出反直觉观点,适度加入有毒数据,通过后训练技术可降低模型毒性,保持一般能力,挑战常规做法。

深度学习自然语言处理
开源动态7

OpenAI没做到,DeepSeek搞定了!开源引爆推理革命

文章围绕大语言模型推理能力展开,介绍了推理模型概念,回顾RLHF训练流程,对比OpenAI的PPO和DeepSeek的GRPO,还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。

新智元
算法论文8

Monet:赋予多模态大模型如人类一般的抽象视觉思考能力

文章介绍了Monet模型,它实现了训练MLLM直接在连续隐空间思考的方法,内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点,提出SFT+RL训练框架,构建数据集,经测试,Monet提升了视觉推理能力。

机器之心
算法论文8

阿里+清华发现80/20法则:LLM只靠20%的token就能学会Reasoning

阿里与清华研究发现,训练大语言模型(LLM)推理时,真正关键的是20%的高熵token,其余80%低熵token几乎无用。仅用20%高熵token做强化学习,效果超全量训练,还提出RLVR训练策略提升效率。

深度学习自然语言处理
算法论文7

Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制

论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。

深度学习自然语言处理
算法论文8

19年丢数据,擦写6万次坏,原子级材料重新定义未来芯片

上海大学王震宇副教授团队在《自然·电子学》发文,用二硫化铌和二硫化钼做出新型非易失存储器,能保持数据约19年、擦写超6万次,还具备计算和存储两种本领,对未来低功耗计算和存内计算有吸引力。

DeepTech深科技
新闻资讯8

OpenAI新模型GPT-5.1发布,跑分刷榜,主打一个说人话

OpenAI发布GPT-5.1,主打更智能、更具对话性,无跑分打榜,有人设说人话。包括Instant和Thinking两个子模型,简单问题快,复杂问题智能。本周逐步向用户免费开放,还更新了语气风格等功能。

量子位