「并行协同推理」共找到 2536 篇相关文章
吴恩达最新来信：是时候关注并行智能体了
吴恩达在最新来信中指出，并行智能体正成为提升AI能力新方向，多个agent协作能高效处理不同任务。相比依靠数据和算力提升性能的方法，并行agent提升性能同时无需用户久等，且大模型token成本下降使其可行。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
为大模型思考装上“猎鹰重装引擎” ：腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。
给大模型装上「思维分段引擎」：浙大InftyThink解锁无限深度推理
如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
阿里云飞天企业版X平头哥“真武”芯片，推理性能跃迁13倍，底层逻辑是什么？| Q推荐
过去几年，模型虽强但使用成本高，阻碍企业级AI深度应用。今年‘模型推理’成AI关键词，4月13日19:00，InfoQ联合阿里云邀专家围绕推理加速底层破局展开对话，探讨算力博弈、芯片性能跃迁等问题。
阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%
阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。