搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

NeurIPS 2025 | 中科大、港中深、通义千问联合发布CoRT：仅30个样本教会大模型高效推理，token消耗降低50%

大型推理模型在精确数学计算上存在问题，如认知冲突、行为低效、数据稀缺。中科大、港中深、通义千问联合推出CoRT框架，用创新数据合成与多阶段训练，提升模型推理能力和效率，成果已开源。

自2025年11月初发布，SGLang - Diffusion获广泛关注。过去两月持续优化，速度提升1.5倍。介绍新模型支持、LoRA支持等进展，还展示性能测试结果，阐述关键改进及未来规划。

2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。

阿里发布旗舰模型Qwen3-Max-Thinking，总参数超1万亿，在多项权威基准测试中表现优异，可与顶级闭源模型竞争。千问团队为其引入两项核心创新，提升推理性能，该模型已可免费体验。

本文基于年中报告指出，当前模型API支出翻倍，企业重心转向模型推理。Anthropic市场份额超OpenAI，开源模型企业采用率下降。代码生成成热门场景，企业换模型重性能，AI支出从训练转推理。

亚马逊云科技在2025 re:Invent大会尽显号召力，新锐Decart AI、TwelveLabs等借其技术蹿红，苹果也分享成果。它还进行自我革命，优化性能，构建生态，其中国行也即将开启。

自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。

论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。

在生成式AI浪潮中，视觉文本渲染仍是未攻克的核心难题。华中科技大学白翔教授团队等提出TextPecker，是基于结构感知的即插即用型强化学习优化策略，可适配主流生成器，提升视觉文本渲染性能，已被CVPR 2026接收。

北京时间凌晨，英伟达GTC大会召开。CEO黄仁勋称正处新平台变革开端，算力需求爆发。推出Vera Rubin系统，性能提升显著，还有新推理芯片LPU。上线NemoClaw保障安全，AI在物理世界也加速落地。