算法论文8
阿里清华：20%高熵token驱动LLM训练
深度学习自然语言处理
AI 摘要
阿里与清华：训练LLM推理时，20%高熵token是关键，用其强化学习效果超全量训练；仅调整高熵token能避低熵干扰，提升效率，大模型更能利用其探索能力。
阅读原文 · 深度学习自然语言处理
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构，阐述 AgentLoop 平台接入方式及价值，还详述评估器设计思路、展示评测结果，最后总结方法论并展望后续工作。
阿里云开发者
开源动态8
腾讯开源框架，一句话造3D世界
香港科技大学（广州）和腾讯团队开源VibeWorlding框架，实现说句话造3D世界。它由VWE - Bench和VibeWorlding - Gym组成，开源模型经强化学习训练后成绩逆袭，证明强化学习解锁3D推理潜力巨大。
AIGC开放社区
新闻资讯7
OpenAI：暂停前沿模型强化学习训练
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
机器之心
开源动态7
HarnessEval开启RSI时代新评测范式
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
特工宇宙