搜索：推理优化技术

「推理优化技术」共找到 5270 篇相关文章

AMD跑GLM 5.2，成本只要英伟达一半

推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。

强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。

本文介绍了高性能计算（HPC）在大模型时代的重要性，以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术，陈文光、翟季冬等助力大模型训练，武永卫团队优化推理，张悠慧探索类脑计算。

AI浪潮倒逼半导体产业创新，存算一体技术应运而生。但该技术应用存在问题，排序难题制约其发展。北大团队国际首次实现基于存算一体技术的高效排序硬件架构，成果发表在《自然∙电子》。

AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。

2025年DeepSeek发布推理大模型，引发RLVR研究热潮，但该方法有“过度思考”问题。伊利诺伊大学香槟分校等研究者提出Self - Aligned Reward（SAR），能提升推理准确度和效率，有望推动大模型推理系统发展。

OpenAI研究员探讨推理模型时代。Noam Brown强调预训练和推理范式，指出当前AI胜在通用性。推理范式成本低、效果好，如o系列模型表现出色。首席经济学家谈AI经济影响，称其重塑企业格局。

特拉维夫大学团队开发新方法，给LLM推理任务装进度条，控制推理深度和速度。提出“思维进度向量”TPV预测推理位置，干预TPV可“超频”“降频”，模型已在GitHub开源。

白杨SEO从网站代码优化、站内内容、站外推广三方面，介绍让AI推荐企业官网及做好官网GEO优化的方法。如代码优化要主动提交网站、部署SSL证书等，还给出企业官网老板执行清单。

港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。