搜索：推理架构 - AI Reading Hub

「推理架构」共找到 3522 篇相关文章

Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造

Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。

上海交大等团队提出LatentUM架构，摒弃像素解码中介，在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征，设计MoME架构，还能自我反思、规划路线、模拟世界演变，表现出色。

大模型推理评测多只看答案，忽略推理过程。上海多校团队提出TRM，用ME² principle刻画推理质量，DAG-based pairwise evaluation还原结构，训练奖励模型，让推理质量可度量、训练和优化。

当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。

HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。

知识图谱推理应用广泛，但现有方法面临推理效率低、表达能力不足等挑战。中科大团队提出DuetGraph，采用双阶段粗到细推理框架与双通路全局 - 局部特征融合模型，平衡推理精度与效率，缓解过平滑问题。

InfoQ对话小米小爱同学端侧AI负责人杨永杰，了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢，团队提前布局，自研框架，实现超180 tokens/s推理速度，还分享未来突破方向。

文章介绍规范驱动开发（SDD），它是软件架构重大转变，以可执行规范为核心，构建五层执行模型，反转传统架构关系，强调漂移检测，明确人机分工，具备五项核心能力，但采用时也面临多种权衡。

2026年7月ICML大会上，小米MiMo团队负责人罗福莉介绍MiMo - V2.5系列。该系列跳出传统思路，从架构、训练、推理协同设计，实现“聪明、快速、便宜”，如预训练降成本、后训练有硬核算法、推理加速达1000 TPS。

通义文档智能团队推出QwenLong - L1.5长文本推理专家，提供端到端长文本推理后训练“配方”，含数据合成管线、强化学习方法、智能体架构，在多基准测试成绩佳，代码已开源。