「推理缓存优化」共找到 3038 篇相关文章
Thinking Machines再发文：模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究，提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形，设计Manifold Muon优化器，实验显示效果好，但计算开销和理论问题待解决，代码已开源。
扩散语言模型深度思考
作者探讨扩散语言模型（dllm），认为其建模方式或冲击AR。团队在AAAI报告介绍多项工作，还整理当前diffusion问题及观点，如推理架构、词表、优化范式等，并附项目网站和agent demo。
缩放定律Scaling正慢性死亡，算力收益递减，AI的下一个增长极是模型如何交互
前Google Brain科学家Sara Hooker论文指出，统治AI十年的缩放定律Scaling走向慢性死亡，算力收益递减，研究重点将转向推理时算力和模型如何交互，还分析了算力崇拜兴起、缩放法则裂痕及未来方向。
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
5700问答对全面评估拷问AI空间感！最新空间智能评测基准来了丨浙大&成电&港中文
当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。
冗长响应缩减80%，DeepSeek GRPO获得颠覆性改进，微软GFPO问世
微软研究员曝出颠覆性强化学习算法 GFPO，能削减推理多余 token 长度达 80%。它基于 DeepSeek 的 GRPO，可同时优化多响应属性，团队还提出自适应难度变体，实验显示 GFPO 在多方面表现出色。
LLM总是把简单任务复杂化，Karpathy无语：有些任务无需那么多思考
随着推理大模型和思维链普及，大模型有了‘深度思考’能力，但现在有些偏科，简单任务也复杂化。AI大牛Andrej Karpathy发长文指出该现象，认为是基准测试优化所致，大模型发展不能只追求分数。
告别VAE压缩损耗，南京大学用DiP让扩散模型回归像素空间，实现10倍加速与SOTA级画质
南京大学、腾讯优图实验室和新加坡国立大学发布DiP框架，即将开源。该框架不依赖VAE，仅增0.3%参数量，推理提效10倍，在ImageNet获1.79的FID分数，解决扩散模型在像素空间难兼顾质效的问题。
DeepSeek研究员1200行代码复刻vLLM，H800硬件实测性能反超原版
DeepSeek研究员俞星凯搞出开源项目Nano - vLLM，仅用不到1200行代码实现最小化且完全可读的vLLM。它有快速离线推理、代码可读性强、含优化套件等特点，在H800硬件实测中性能反超原版vLLM。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。