「推理机制」共找到 2720 篇相关文章
Mistral的首个强推理模型：拥抱开源，推理速度快10倍
本周二，欧洲人工智能公司 Mistral AI 发布全新大语言模型 Magistral 系列，有企业版 Magistral Medium 和 24B 参数开源版 Magistral Small。它推理强、多语言表现好，速度比竞品快 10 倍，应用于主流云平台，成本有竞争力。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。
首次解释LLM如何推理反思！西北大学谷歌新框架：引入贝叶斯自适应强化学习，数学推理全面提升
西北大学与Google、谷歌DeepMind团队质疑传统强化学习与反思的关系，提出贝叶斯自适应强化学习方法，首次解释为何、如何及何时反思探索新策略，还给出决策数学形式，实验显示其性能更优。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
SRO赋能Qwen-2.5-VL推理性能飙升16.8%
文本领域推理模型成就大，但多模态大型语言模型推理能力扩展遇阻，如冷启动初始化不足等。提出SRO三阶段训练框架，经测试，ReVisual - R1平均性能提升16.8%。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
Meta「透视」AI思维链：CRV推理诊断，准确率达 92%！
Meta FAIR团队在论文中提出CRV方法，可实时观察AI思维过程。它通过改造模型大脑结构，让推理可见。在算术推理实验中，检测精度提升到92.47%，还能让模型修正错误。不过该技术落地尚面临诸多挑战。