搜索：并行推理加速

「并行推理加速」共找到 2686 篇相关文章

我用 AI 翻译的三个阶段：提示词时代 → 推理模型时代 → Agent 时代

作者分享近 2 年 AI 翻译经验，将其分为提示词、推理模型、Agent 三个时代，介绍 Agent 翻译与提示词翻译区别，还阐述 Skill 创建迭代、三种翻译模式由来等，给出解决一致性问题等方法。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

现有大型视觉语言模型（VLM）在实时场景表现不佳，宁波东方理工大学沈晓宇团队提出TaYS，让VLM从“帧文交错”切换到“并行”，实现“边看边想”，在准确性和延迟上表现出色，推动VLM走向更真实应用。

AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。

合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。

2026年7月ICML大会上，小米MiMo团队负责人罗福莉介绍MiMo - V2.5系列。该系列跳出传统思路，从架构、训练、推理协同设计，实现“聪明、快速、便宜”，如预训练降成本、后训练有硬核算法、推理加速达1000 TPS。

MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。

大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。

文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。

AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。