「混合推理架构」共找到 3631 篇相关文章
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
AI 时代的架构治理
本文指出在生成式AI时代，软件开发生命周期瓶颈转变为组织将创意转化为成果并保持架构凝聚力的能力。传统人工监督模式难应对，提出声明式架构策略，介绍其在事件模型、OpenAPI验证器等方面应用。
阿里QwenLong-32B：1W+超长Token推理，知识密集型复杂文档高效推理
文章介绍阿里QwenLong - 32B在长文本推理的能力。长文本推理有训练效率低和优化不稳定问题，QWENLONG - L1通过强化学习等解决，还阐述其组件、训练步骤，并给出实战代码及相关链接。
破解大模型「无效并行推理」：Parallel-Probe问世，并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe，通过 2D Probing 刻画并行推理动态，发现问题后提出控制算法，能降推理延迟 35.8%、总 token 成本 25.8%，还推出 SCOUT 测试床，代码和平台已开源。
告别Reasoning模型的“灵光一现”，推理能力可控了
当前GPT - 4o、DeepSeek - R1等大模型推理的‘高级操作’随机触发，不可控。研究者受经典推理三要素启发，教会模型三种‘元能力’，经三阶段训练，模型效果提升，让推理能力可控。
AI 的“思维链”推理是海市蜃楼吗？
亚利桑那州立大学论文《大语言模型的思维链推理是海市蜃楼吗？》认为思维链推理在数据分布偏移时易出错，可能只是对训练数据模式的记忆。作者 Sean Goedecke 认为该论文结论不合理，从推理与语言、模型规模等方面提出反对意见。
直播预约 | 迈向用于演绎推理的诚实语言模型
本次讲座聚焦迈向用于演绎推理的诚实语言模型。当前语言模型难诚实推理，输入不足会产生无根据答案。为此制定多步骤任务，提出强化学习方法ACNCHOR，稳定学习过程、提高推理性能。
华为昇腾推理对决：开源vLLM vs 官方MindIE，数据说话「Qwen与DeepSeek推理实测」
文章围绕华为昇腾推理，对比开源vLLM与官方MindIE。借助GPUStack平台测试Qwen与DeepSeek模型，分析不同场景性能。指出vLLM和MindIE各有优势，还强调构建国产AI推理生态需多要素，鼓励开源协作。
大模型的新战场在推理？——《推理模型综合测评报告 2025》深度解析 | 直播预告
5月29日，InfoQ研究中心发布《推理模型综合测评报告2025》，通过五大维度、五大题型的300道测试题对八家主流推理模型全面测评，还总结各维度表现，梳理技术前置因素与趋势。6月6日有直播解读。
不换GPU，性能飙升2.8倍！英伟达用软件暴打摩尔定律
2026年1月8日，英伟达官网披露，基于Blackwell架构的推理软件栈升级，让混合专家模型（MoE）推理效率迎「阶跃式」突破，单GPU吞吐飙升2.8倍，显著降低推理成本。其通过软件针对性升级发挥硬件潜力，还进行多项优化。