「推理时扩展」共找到 2911 篇相关文章
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
谷歌在NeurIPS 2025发布两项大模型新架构研究，通过‘测试时训练’机制，推理阶段可将上下文窗口扩展至200万token。新成果Titans和MIRAS结合RNN速度与Transformer性能，突破超长上下文瓶颈。
ICML 2026 | 大模型为什么算不对加法？南大团队提出等本位和轨迹，揭示LLM算术错误的几何机制
南大团队研究LLM在多操作数加法中的内部表征结构，发现算术状态呈高度结构化几何流形。提出等本位和轨迹与噪声量化模型，解释模型算错加法原因，还设计推理时纠错方法。
RLPT：腾讯混元在预训练数据上实现自主强化学习
腾讯混元团队发布RLPT，是在预训练数据上应用强化学习的方法，可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力，无需人工标注，在Qwen3 - 4B - Base模型实验中性能显著提升。
DeepSeek深夜炸场，开源了一个新项目&论文，V4打前站？
凌晨，DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力，在多方面实验表现出色，如推理任务增幅大于知识任务，还分析了其机理和系统效率。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
DeepSeek 模型技术之旅：从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。