「推理性能优化」共找到 4157 篇相关文章
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
今夜无显卡！老黄引爆Rubin时代，6颗芯狂飙5倍算力
CES 2026上，英伟达黄仁勋发布Vera Rubin超算架构，推理性能比Blackwell提升5倍，训练性能提升3.5倍，成本降10倍，已投产，下半年商用。还展示自动驾驶模型等，且无新显卡发布。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。
Claude翻车：Opus 4.1白天退化，Anthropic承认并回滚更新
发布即拿下各项SOTA的Claude Opus 4.1翻车，用户反馈其变得迟钝，官方承认处理某些请求时质量退化，如白天推理性能下降，使用限制不明确，还会暴露API密钥，官方已回滚版本。
突发！OpenAI推出首款自研AI芯片：能效暴打当前SOTA，今年底G瓦级部署
OpenAI和博通联合发布自研AI推理芯片Jalapeño，它专为大模型推理设计，每瓦性能优于当前最先进水平，九个月完成设计制造，是全栈战略一部分，2026年底开始吉瓦级部署。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
英伟达护城河被AI攻破，字节清华CUDA Agent，让人人能搓CUDA内核
近日，字节跳动Seed团队和清华AIR的CUDA Agent引发轰动。它能编写经优化的CUDA内核，性能超torch.compile等。研究发布CUDA - Agent - Ops - 6K数据集，介绍系统管线设计、训练流程，实验结果佳，但有未对比复杂编译器等局限。
OpenAI首款芯片问世：用AI设计，9个月流片
本周三，OpenAI 与博通合作推出首款芯片 Jalapeño，用于人工智能推理负载，由博通制造。它用 AI 设计，9 个月流片，性能未公布但早期测试显示每瓦性能优，目标 2026 年底前初步部署。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。