「语言偏好」共找到 1165 篇相关文章
突破Pass@1瓶颈：一种让LLM自我博弈、永不枯竭的RL新范式，超越基线22.8%！
近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。
英伟达开源9B参数小模型，比Qwen3快6倍
英伟达推出新型小型语言模型Nemotron Nano v2，在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高，速度快6倍。它兼顾推理与非推理任务，支持“思考”预算控制，还开源了创建模型的绝大部分数据。
解决扩散模型过拟合的创新框架T-LoRA
预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。
AI安全上，开源仍胜闭源，Meta、UCB防御LLM提示词注入攻击
Meta和UCB开源安全大语言模型Meta - SecAlign - 70B，其对提示词注入攻击鲁棒性超闭源方案，还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法，该模型打破闭源垄断，开源代码助力安全AI建设。
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
Agent可以自己进化了？！
论文《Automated Design of Agentic Systems》提出让Agent扮演设计师，“元代理”能自动生成新代理设计方案。用编程语言作设计空间，实现“设计自由”。实战中，AI设计的Agent全领域超越人类，还具备知识迁移能力，未来或有自主进化的AI生态。
突破多模态奖励瓶颈！中科院清华快手联合提出R1-Reward，用强化学习赋予模型长期推理能力
多模态奖励模型（MRMs）对提升多模态大语言模型表现至关重要，强化学习理论上可引入长期推理能力，但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型，在多模态奖励模型benchmark上有显著提升。
The Batch: 948 | GLM 5.1：面向长时任务的能力提升
Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。
RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘
近年来，基于可验证奖励的强化学习（RLVR）成为提升大语言模型推理能力的重要路径，但许多经RL微调的模型出现‘越训越单一’问题。复旦大学等团队聚焦长期被忽视的KL散度项，提出DPH - RL方法，可缓解多样性坍塌。