「推理性能优化」共找到 4157 篇相关文章
Stanford、Meta和Google等发现LLM存在五大天花板，再扩算力已无用
论文《On the Fundamental Limits of LLMs at Scale》指出，LLM性能提升有理论天花板，扩展中会遇幻觉、上下文压缩等五大根本限制，源于计算、信息与学习理论，未来应转向‘有限优化’。
刚刚，英伟达革了自己的命：智能体自主进化7天，干掉所有算子工程师、GPU专家
英伟达新研究AVO构建了新型进化变异算子，用自主编码智能体取代经典方法。智能体7天自主进化，优化MHA内核，性能超cuDNN和FlashAttention - 4，还能快速适配GQA，展现强大泛化能力。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。
腾讯发布超低成本AI训练法！120元效果秒杀70000元微调方案
腾讯提出无训练组相对策略优化Training-Free GRPO，无需调整参数，在提示词中学习经验就能提升模型性能。实验显示，该方法在数学推理和网页搜索任务上效果显著，成本远低于传统方法。
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
ICLR 2026｜UIUC：一行代码彻底解决LLM推理的过度思考！
2025年DeepSeek发布推理大模型，引发RLVR研究热潮，但该方法有“过度思考”问题。伊利诺伊大学香槟分校等研究者提出Self - Aligned Reward（SAR），能提升推理准确度和效率，有望推动大模型推理系统发展。
OpenAI自曝：AI推理砸钱越多，碾压人类越狠！
OpenAI研究员探讨推理模型时代。Noam Brown强调预训练和推理范式，指出当前AI胜在通用性。推理范式成本低、效果好，如o系列模型表现出色。首席经济学家谈AI经济影响，称其重塑企业格局。