搜索：推理性能优化

「推理性能优化」共找到 4171 篇相关文章

让推荐学会思考：用强化学习激活大模型的序列推理能力

文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。

英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。

腾讯混元团队开源仅3B参数的HiVG，它是面向SVG生成的层次化分词框架，减少63.8% token数量，多项指标超越GPT-5.2等闭源模型及8B级开源模型，还在人类评测中表现出色。

在大模型工程化需求下，AMD 联手 GPU MODE 发起 2026 线上黑客松：AMD E2E Model Speedrun 全球挑战赛，豪掷 110 万美元。大赛分预选赛和决赛，各设丰厚奖励，目前预选赛已进入倒计时。

多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。

查询推荐是电商搜索关键功能，传统方法有局限。快手提出OneSug端到端生成式框架，统一多阶段，提升效果与效率，成果入选AAAI 2026，已在快手电商全量推广，显著提升多项指标。

DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。

多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。

浙江大学与港大团队推出「Prior Depth Anything」，融合深度传感器数据与AI深度图，一键补洞、降噪、提分辨率。无需额外训练，可提升3D模型深度质量，零样本刷新多项深度处理纪录。

英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。