「状态熵」共找到 208 篇相关文章
突破Pass@1瓶颈：一种让LLM自我博弈、永不枯竭的RL新范式，超越基线22.8%！
近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。
拆解 Claude 5.1：38 小时不睡觉的背后，Anthropic 正在终结「模型论」
Anthropic 更新 Claude 5.1，推出 Fable 5.1 和 Mythos 5.1，将‘智力’与‘权限’物理剥离。前者负责通用任务，后者面向专业场景。此次更新展示模型解决长时任务状态一致性等问题的能力，还体现了能力权限分离等变化。
为大模型思考装上“猎鹰重装引擎” ：腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。
「上下文工程」 已经30岁了，而你可能刚知道它
上海创智学院刘鹏飞老师团队提出上下文工程2.0，剖析其本质、历史与未来。上下文工程已发展30年，是熵减少过程，旨在弥合人机认知鸿沟。其历史呈收敛曲线，每次技术突破引发三重连锁反应，当前人类正处通向3.0转折点。
哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。
从MiniMax到DeepSeek：为何头部大模型都在押注「交错思维」？
昨日推特博主公布国内几大开源模型在 mini - SWE - agent 测试成绩，MiniMax 新一代大模型 M2 表现最佳。其采用的「交错思维」技术成亮点，解决了状态漂移问题，正成高性能 Agent 模型标配。M2 既强又省，还给出使用最佳实践。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
老牌Transformer杀手在ICLR悄然更新：Mamba-3三大改进趋近设计完全体
Transformer架构仍是AI主流，Mamba作为挑战者影响力大。Mamba-3在ICLR 2026盲审，有梯形离散化、复数化状态空间模型、多输入多输出状态空间模型三大改进，实证表现佳，适合多场景。