搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹

英伟达将在GTC大会发布新AI推理系统，核心芯片基于Groq的LPU架构，首位大客户是OpenAI。选择外部架构与时间窗口有关，推理场景中LPU更适配。同时，英伟达推理芯片面临诸多威胁。

OpenAI“最新最强版”推理模型o3 - pro引发关注。首位全职提示工程师给它设难题，它推理后答对。OpenAI前员工借此讽刺苹果。各大评测榜单显示其表现与官方有差异，苹果&SpaceX前工程师分享使用心得，肯定其表现。

字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。

快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。

文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。

Meta等联合提出元认知复用机制，让模型总结解题思路，提炼为“行为”存于“行为手册”。实验显示，该机制在数学基准测试中显著优化，保持准确率时最多减少46%推理token使用量。

今天凌晨微软官网开源Phi - 4家族最新版Phi - 4 - mini - flash - reasoning，它参数小性能强，适合边缘设备。采用自研SambaY架构，推理效率涨10倍，延迟降2 - 3倍，多场景测试表现优异。

Meta FAIR研究员François Fleuret提出《The Free Transformer》，对解码器Transformer扩展。它通过引入随机变量，让模型先计划后执行，用约3%计算开销，在编程等任务上性能提升最高达55%。

上海AI Lab与上海交大团队提出创新框架CANON，解决将人类先验知识融入RLVR训练的难题。它通过条件分组与对比机制，自适应放大有益指标变化趋势，在数学和逻辑推理任务上成果卓越，还能提升推理效率。

Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。