算法论文8

Qwen&清华：20%token训练大模型更佳

量子位2025-06-05

AI 摘要

Qwen与清华团队：大模型强化学习用20%高熵token，效果超全量token，还发现RLVR是微调，高熵token或与泛化能力有关，clip - higher方法更优。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

千问把全模态Agent打入白菜价

本文是对千问最新推出的Qwen3.8-Omni-Flash全模态模型的实测，该模型大幅降低全模态Agent使用成本，API价格远低于竞品，开放1M上下文免费测试额度。

本文解读了耶鲁、斯坦福等多机构联合提出的INFUSER大模型自进化新方法，针对现有方法仅以难度筛选训练数据的缺陷，提出用影响力分数筛选高价值训练题，实现双模型协同动态进化，实验验证效果显著。

今年8月，清华赵明国教授团队联合字节跳动Seed等在《Science Robotics》发表论文，提出视觉驱动的反应式足球技能学习框架。该研究历经22年技术接力，成果在真机和赛事中验证，加速进化平台助力研究。

前Qwen一号位林俊旸官宣创业公司Pragmatik Labs，方向为做横跨数字与物理世界的下一代Agent。公司获高榕、红杉、腾讯等投资，投后估值达20亿美元。虽无产品模型，但凭借林俊旸过往成绩受关注。