「多步推理」共找到 5669 篇相关文章
Qwen&清华团队颠覆常识:大模型强化学习仅用20%关键token,比用全部token训练还好
Qwen与清华LeapLab团队研究发现,大模型强化学习训练推理能力时,仅20%高熵token就能撑起效果,甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录,还探讨了强化学习的相关特性。
10行代码,AIME24/25提高15%!揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞,提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记,遏制熵塌缩,在部分数据集上性能提升显著。
成本暴降88%!通义实验室、北大发布ZeroSearch,无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要,但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此,通义实验室和北大提出 ZeroSearch 框架,无需真实搜索即可激活 LLM 检索能力,显著降低成本。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理,通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程,以及优化策略和配置启用方式。
全球第一AI科学家天团,首战封神!2.5个月找到治盲新药,医学圈震撼
世界首个AI科学家天团发布首个成果,2.5个月发现治疗失明新药。AI包办写论文全过程,人类只需执行实验。团队推出全自动化多智能体系统Robin,将开源代码,它可跨领域应用,标志科研新范式诞生。
百万规模数据集打造人形机器人通用大模型,实现精细动作跨平台、跨形态动作迁移丨北大人大联合发布
北大和人大团队在通用人形机器人动作生成领域取得重大突破,首创通用动作生成框架Being - M0,构建百万规模动作生成数据集MotionLib,研发文本驱动动作生成模型,实现人体动作向多类型人形机器人迁移,文章将发表于ICML2025。
Gemini:约束
本文围绕“约束”展开探讨,通过对话形式深入剖析其内涵。指出约束不仅是限制,更是塑造和成全;它存在于多个层面,影响着人、组织和事物的发展。还通过公司和人的具体案例,构建了分析约束的框架。
刚刚,Jev全网解禁!1.2亿Token限时免费用
本文报道TypeSafe AI旗下专做结构化决策判断的AI模型Jev全网解禁,开放所有用户直接使用,新用户赠送1.2亿Token额度且输出免费,Jev配合大模型的玩法引发全球开发者热潮,展示了多个实用落地场景。
复旦上线音视频模型新裁判:一万组数据对齐人类审美
现有音视频生成领域的奖励模型多依赖局部指标打分,不符合人类整体审美感受,易让模型“刷高分”却未真正提升生成质量。复旦大学团队推出VA-Judger,基于一万组人类偏好数据训练,可从整体维度判断生成质量,对齐人类审美。
深度解读 DeepSeek V4.1 Flash 全新架构,如何成为显存杀手
本文深度解读DeepSeek最新发布的V4.1 Flash大模型,详解其全新CED架构与第二代压缩稀疏注意力CSA2,揭秘其通过架构创新大幅压缩KV缓存、降低显存算力成本,在长上下文Agent场景实现性能反超的细节。