「推理成本」共找到 3256 篇相关文章
内存一年疯涨170%，云账单里的“隐性成本”该算清了
2025年下半年存储价格成焦点，DRAM合同价同比涨幅达171.8%，致企业IT采购成本上升。华为云更新Flexus云服务器系列，基于柔性算力技术，打破CPU与内存固定绑定，减少浪费，还引入应用级加速，提升性能。
刚刚，Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》，指出大语言模型推理不确定性的真正元凶是缺乏批次不变性，还解释核函数计算中数字加法顺序问题，介绍使核具有批次不变性的方法并给出实验结果。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
腾讯提出“我思故我玩”Agent：LLM构建推理与规划世界模型
腾讯与武大联合发表论文提出 CEL 新型 Agent 架构，通过 LLM 驱动两阶段循环实现“思考式学习”。它能填补传统方法短板，在小游戏实验中表现出色，有可解释性等优势，但也有实验环境局限等问题。
0.016%参数撬动18%性能：关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术，传统PEFT方法需修改大量参数，新兴ReFT虽只需调整少量参数，但存在不足。本文提出CRFT，仅用0.016%参数量就提升性能，为轻量化推理增强开辟新路径。
Mira Murati 创业公司首发长文，尝试解决 LLM 推理的不确定性难题
OpenAI前CTO Mira Murati创立的Thinking Machines Lab首发文章《克服LLM推理中的不确定性》，指出大语言模型推理难获可复现结果，深入探究其不确定性根源，提出使核函数具备批次不变性的方法并给出实现与实验。
“烧掉94亿个OpenAI Token后，这些经验帮我们省了43%的成本！”
作者以月耗94亿OpenAI Token实战经历，分享优化成本经验，如选对模型、用提示词缓存、设账单预警等，降低成本43%，不过网友对此有不同看法。
超越GPT-5.2和Gemini-3-Pro！商汤多模态搜索、推理模型开源
商汤开源多模态自主推理模型SenseNova - MARS（8B/32B双版本），它通过强化学习整合工具，在多模态搜索与推理测试中超越Gemini - 3 - Pro与GPT - 5.2，还采用创新算法稳定训练，构建新基准评测。
刚刚，GPT-5.4核心内幕炸裂剧透！或拥有永久记忆，极限推理狂飙
多方消息显示GPT - 5.4已开启测试，多次意外曝光。它或有极限推理模式、翻倍上下文、长任务表现佳，甚至可能拥有永久记忆。OpenAI因对手紧逼，模型更新接近月更。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。