「推理策略」共找到 2745 篇相关文章
GPT-5.5 Instant上线：幻觉减少52.5%，告别废话
OpenAI完成ChatGPT默认模型的静默升级，GPT-5.5 Instant全面替换GPT-5.3 Instant。它在数学推理、减少幻觉、精简回答、记忆功能等方面有显著改进，还采用灰度推送策略。开发者认为其定位是日常场景够用顺手。
这一年做 Agent 的公司，Coding 赚了钱，客服融了钱，你呢？
全球数据研究机构 CB Insights《AI Agent Bible》报告梳理 Agent 行业概况。指出未来趋势，如语音成主流交互等；分析发展受限问题、有潜力机会；还介绍不同类型 Agent 商业情况及应对推理成本策略等。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
Learning from peers！让LRM互相「传纸条」的新协作方式大幅提高准确率和效率
当前主流大模型如QwQ - 32B存在“前缀主导陷阱”，推理开头出错会使准确率暴跌。研究者受“同伴互助”启发提出LeaP框架，设计三种路由策略，实验显示小模型能借此超越大模型，开创了多种可能性。
阿里、南开大学发布免训练，视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来，扩散大语言模型（dLLM）成为文本生成新势力，生成效率高。但现有解码策略忽视中间迭代信息，研究团队观察到「先对后错」现象，提出 TCV 和 TCR 方法，显著提升模型在推理任务表现。
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。