「推理能力」共找到 4537 篇相关文章
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
【万字长文】大模型训练推理和性能优化算法总结和实践
本文总结大模型落地的训练、推理和性能优化算法与实践，介绍语言模型发展，对比BERT、GPT等训练方式，分析生成式大模型问题，还阐述数据处理、推理优化及训练调优等内容，并给出不同场景技术选型建议。
纯靠“脑补”图像，大模型推理准确率狂飙80%丨剑桥谷歌新研究
剑桥、伦敦大学学院和谷歌团队推出基于强化学习的视觉规划（VPRL）新范式，纯靠图像推理。新框架利用GRPO后训练，准确率达80%，超文本推理至少40%，代码已开源。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度，盘点SGLang对单机规模推理的大量工程优化技巧，涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等，助于提升DeepSeek V3/R1在单机H200上的推理性能。
PD 分离推理的加速大招，百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。
新“SOTA”推理模型避战Qwen和R1？欧版OpenAI被喷麻了
“欧洲的OpenAI”Mistral AI发布首款推理模型Magistral，却再遭质疑未与最新版Qwen和DeepSeek R1对比。该模型亮点是支持多语言推理，以纯RL方式训练，为LLM强化学习提供新范式。
谷歌新发现：DeepSeek推理分裂出多重人格，左右脑互搏越来越聪明
谷歌研究表明，DeepSeek - R1等顶尖推理模型解题时，内部会自发“分裂”出不同性格虚拟人格，像在进行社交、辩论会，且越“吵”越聪明。团队借助SAE解码其脑内群聊，还发现‘哦！’能提升推理准确率。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
无损加速视觉语言模型推理！轻松剪掉视觉冗余Token｜腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。