「推理性能优化」共找到 4157 篇相关文章
苹果应用商店ASO优化：Today、热搜、专题、内购、预定优化介绍（进阶篇五）
ASO进阶篇第五章深入探讨了苹果App Store中Today、热搜、专题、内购和预定等曝光位的优化策略，旨在帮助应用开发者提升App的曝光率和下载量。
SEO是什么？SEO一般指搜索引擎优化
搜索引擎优化(SEO)是通过分析搜索引擎排名规律，优化网站内容，提高自然排名的技术。它关乎网站能否在行业内占据领先地位，获取品牌收益。但SEO方法有黑白帽之分，选择不慎可能面临搜索引擎惩罚。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
只用2700万参数，这个推理模型超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型（HRM），该模型仅2700万参数、1000个训练样本，就在复杂推理任务上超越DeepSeek和Claude等模型，还引入近似梯度等创新设计。
Transformer可以改装成Mamba了：苹果把推理成本直接打成线性
苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。
用子模优化做文本选择、段落重排和上下文工程
文章围绕子模优化展开，介绍其在文本选择、段落重排和上下文工程中的应用。指出当前重排器的缺陷，通过子模优化可解决冗余问题。还给出实验结果，凸显其优势，如理论保证、自动停止机制等。
Meta通过简单算术解锁LLM SoTA性能
大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
Meta「透视」AI思维链：CRV推理诊断，准确率达 92%！
Meta FAIR团队在论文中提出CRV方法，可实时观察AI思维过程。它通过改造模型大脑结构，让推理可见。在算术推理实验中，检测精度提升到92.47%，还能让模型修正错误。不过该技术落地尚面临诸多挑战。
拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。