算法论文8
阿里清华：20%高熵token驱动LLM训练
深度学习自然语言处理
AI 摘要
阿里与清华：训练LLM推理时，20%高熵token是关键，用其强化学习效果超全量训练；仅调整高熵token能避低熵干扰，提升效率，大模型更能利用其探索能力。
阅读原文 · 深度学习自然语言处理
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
谷歌Gemini 4 Argon上线 API限时五折
本文报道谷歌DeepMind刚刚上线Gemini 4 Argon大模型，介绍其核心能力、多领域应用案例与定价信息，模型聚焦复杂任务处理，当前API开放且限时五折优惠。
机器之心
新闻资讯8
Meta押千亿赌Muse Wonder，败则破产
本文披露Meta AI负责人亚历山大王的爆料，扎克伯格豪掷千亿美金押注未经验证的Muse Wonder大模型项目，失败Meta将陷入严重财务危机，目前该模型已跻身顶级大模型队列。
新智元
新闻资讯9
谷歌Gemini 4 Argon全球可用
本文报道谷歌正式全球上线Gemini 4 Argon，详细说明了开放范围与定价规则，放出大量谷歌内部及合作方的实际应用案例，覆盖多领域，回应了此前对该模型实用性的质疑。
AGI Hunt
推荐文章9
Agent落地不靠更强模型靠工程系统
本文邀请蚂蚁、腾讯、京东的多位技术专家，围绕Agent落地生产环境展开讨论，提出当模型能力逐渐商品化后，真正的竞争壁垒已经转移到模型之外的工程系统，核心是从Harness到Loop的理念转变。
InfoQ