「状态熵」共找到 201 篇相关文章
哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。
从MiniMax到DeepSeek：为何头部大模型都在押注「交错思维」？
昨日推特博主公布国内几大开源模型在 mini - SWE - agent 测试成绩，MiniMax 新一代大模型 M2 表现最佳。其采用的「交错思维」技术成亮点，解决了状态漂移问题，正成高性能 Agent 模型标配。M2 既强又省，还给出使用最佳实践。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
老牌Transformer杀手在ICLR悄然更新：Mamba-3三大改进趋近设计完全体
Transformer架构仍是AI主流，Mamba作为挑战者影响力大。Mamba-3在ICLR 2026盲审，有梯形离散化、复数化状态空间模型、多输入多输出状态空间模型三大改进，实证表现佳，适合多场景。
Anthropic 技术栈里的「五宗罪」由何而来？
Anthropic的Claude模型升级后，用户却觉得不好用。X上帖子指出其存在文本和代码标记、模型能力、定价、长上下文等问题，这些问题卡在生成、计算、上下文和Agent运行时的5个具体位置，导致各方面互相拖后腿。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
24小时、78轮实验、持续迭代，AiScientist自己把最优解一步一步逼出来了
中国人民大学高瓴人工智能学院的AiScientist挑战让AI持续推进研究工程。它采用“thin control over thick state”设计，通过分层编排和File - as - Bus等方式，在多任务上表现出色，为AI科研工程补上关键底座。
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。