「推理加速」共找到 2523 篇相关文章
ICML 2025｜如何凭「自动补全」实现100K生成3×加速？
在大模型推理复杂的当下，生成超长文本成本高。BIGAI NLCo团队提出推理加速框架TokenSwift，被ICML 2025接收。它重构传统自回归推理，解决长生成瓶颈，在多模型实验中表现亮眼。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。
斯坦福大模型推理课免费了，谷歌推理团队创始人主讲
谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25讲“LLM推理”课。大模型推理是给出答案前的中间思考步骤，能让复杂问题可解、提升答案准确性。还介绍了让模型输出推理答案的方法及提升推理能力要点。
75页哈工大多模态推理大模型最新综述：感知、推理、思考与规划
哈工大提出75页多模态推理大模型综述，围绕四阶段发展路线图展开，即感知驱动的模块化推理、以语言为中心的短推理、以语言为中心的长推理、迈向原生多模态推理模型，还给出挑战性基准测试和实验案例见解。
10倍加速化学推理大模型！Haven团队在隐空间思考分子式，碾压显示CoT
Haven团队提出LatentChem，把化学推理从‘文本表面’挪到‘模型内部’，先在隐空间思考，再在语言空间回答。它拆分‘推理’与‘表达’，性能优异，为AI Scientist奠定基础。
PD 分离推理的加速大招，百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。
CVPR 2026 | 20步也能稳住画质，这个扩散加速方法不一样
扩散模型推理效率是落地应用的核心制约因素，阿里安全 AGI 实验室 - 御风大模型团队联合浙江大学提出全新扩散加速方法 TC - Padé，在低步数设置下能兼顾生成质量与推理效率，已被 CVPR 2026 录用。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
直播预约 | 推理模型的“过思考”现象与高效推理，2.5h的深度分享
本期GenTalk学术分享邀请刘梓辰、齐朋辉等4位博士生，在2025年6月6日15:00 - 17:30带来“推理模型的‘过思考’现象与高效推理”报告，由夏鹤明主持，NICE学术等支持。将分析‘过思考’因素，总结高效推理思路。